[work] 在pandas中遍历DataFrame行

快来打我* 2022-04-12 10:45 286阅读 0赞

有如下 Pandas DataFrame：

1.  `import pandas as pd`
2.  `inp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]`
3.  `df = pd.DataFrame(inp)`
4.  `print df`

上面代码输出：

1.  `c1 c2`
2.  `0 10 100`
3.  `1 11 110`
4.  `2 12 120`

现在需要遍历上面DataFrame的行。对于每一行，都希望能够通过列名访问对应的元素(单元格中的值)。也就是说，需要类似如下的功能：

1.  `for row in df.rows:`
2.  `print row['c1'], row['c2']`

Pandas 可以这样做吗？

我找到了[similar question][]。但这并不能给我需要的答案，里面提到：

for date, row in df.T.iteritems():

要么

for row in df.iterrows():

但是我不明白`row`对象是什么，以及我如何使用它。

## 最佳解决方案 ##

要以 Pandas 的方式迭代遍历DataFrame的行，可以使用：

*  [DataFrame.iterrows()][DataFrame.iterrows]
    
         
    
    1.  `for index, row in df.iterrows():`
    2.  `print row["c1"], row["c2"]`
 *  [DataFrame.itertuples()][DataFrame.itertuples]
    
         
    
    1.  `for row in df.itertuples(index=True, name='Pandas'):`
    2.  `print getattr(row, "c1"), getattr(row, "c2")`

`itertuples()`应该比`iterrows()`快

但请注意，根据文档(目前 Pandas 0.19.1)：

*  iterrows：数据的`dtype`可能不是按行匹配的，因为iterrows返回一个系列的每一行，它不会保留行的dtypes(dtypes跨DataFrames列保留)\*
 *  iterrows：不要修改行
    
    你不应该修改你正在迭代的东西。这不能保证在所有情况下都能正常工作。根据数据类型的不同，迭代器返回一个副本而不是一个视图，写入它将不起作用。
    
    改用[DataFrame.apply()][DataFrame.apply]：
    
        new_df = df.apply(lambda x: x * 2)
 *  itertuples：列名称将被重命名为位置名称，如果它们是无效的Python标识符，重复或以下划线开头。对于大量的列(> 255)，返回常规元组。

## 第二种方案: apply ##

您也可以使用`df.apply()`遍历行并访问函数的多个列。

[docs: DataFrame.apply()][DataFrame.apply]

1.  `def valuation_formula(x, y):`
2.  `return x * y * 0.5`
3.  
4.  `df['price'] = df.apply(lambda row: valuation_formula(row['x'], row['y']), axis=1)`

## 第三种方案：iloc ##

您可以使用df.iloc函数，如下所示：

1.  `for i in range(0, len(df)):`
2.  `print df.iloc[i]['c1'], df.iloc[i]['c2']`

## 第四种方案：略麻烦，但是更高效，将DataFrame转为List ##

您可以编写自己的实现`namedtuple`的迭代器

1.  `from collections import namedtuple`
2.  
3.  `def myiter(d, cols=None):`
4.  `if cols is None:`
5.  `v = d.values.tolist()`
6.  `cols = d.columns.values.tolist()`
7.  `else:`
8.  `j = [d.columns.get_loc(c) for c in cols]`
9.  `v = d.values[:, j].tolist()`
10. 
11. `n = namedtuple('MyTuple', cols)`
12. 
13. `for line in iter(v):`
14. `yield n(*line)`

这相当于`pd.DataFrame.itertuples`，但是效率更高。

--------------------

将自定义函数用于给定的DataFrame：

1.  `list(myiter(df))`
2.  
3.  `[MyTuple(c1=10, c2=100), MyTuple(c1=11, c2=110), MyTuple(c1=12, c2=120)]`

或与`pd.DataFrame.itertuples`：

1.  `list(df.itertuples(index=False))`
2.  
3.  `[Pandas(c1=10, c2=100), Pandas(c1=11, c2=110), Pandas(c1=12, c2=120)]`

--------------------

全面的测试

我们测试了所有可用列：

1.  `def iterfullA(d):`
2.  `return list(myiter(d))`
3.  
4.  `def iterfullB(d):`
5.  `return list(d.itertuples(index=False))`
6.  
7.  `def itersubA(d):`
8.  `return list(myiter(d, ['col3', 'col4', 'col5', 'col6', 'col7']))`
9.  
10. `def itersubB(d):`
11. `return list(d[['col3', 'col4', 'col5', 'col6', 'col7']].itertuples(index=False))`
12. 
13. `res = pd.DataFrame(`
14. `index=[10, 30, 100, 300, 1000, 3000, 10000, 30000],`
15. `columns='iterfullA iterfullB itersubA itersubB'.split(),`
16. `dtype=float`
17. `)`
18. 
19. `for i in res.index:`
20. `d = pd.DataFrame(np.random.randint(10, size=(i, 10))).add_prefix('col')`
21. `for j in res.columns:`
22. `stmt = '{}(d)'.format(j)`
23. `setp = 'from __main__ import d, {}'.format(j)`
24. `res.at[i, j] = timeit(stmt, setp, number=100)`
25. 
26. `res.groupby(res.columns.str[4:-1], axis=1).plot(loglog=True);`

![python,pandas,rows,dataframe][python_pandas_rows_dataframe]

![python,pandas,rows,dataframe][python_pandas_rows_dataframe 1]

[similar question]: https://stackoverflow.com/questions/7837722/what-is-the-most-efficient-way-to-loop-through-dataframes-with-pandas
[DataFrame.iterrows]: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.iterrows.html
[DataFrame.itertuples]: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.itertuples.html
[DataFrame.apply]: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.apply.html
[python_pandas_rows_dataframe]: /images/20220412/db6e55b2d8e047bfafd33821b793f2ba.png
[python_pandas_rows_dataframe 1]: /images/20220412/dbaefbd3f1474dbb9886a8176b043e8c.png