Pandas遍历DataFrame元素的两种高效方法

遍历DataFrame元素的实际需求

假设有一个实际需求，需要遍历CSV或Excel文件中的数据，检查每个单元格是否包含特定的关键字。

这种情况下，可以使用Python的Pandas库来高效实现该功能。

方法一：使用applymap进行全表遍历

方法一：

Pandas的DataFrame提供了一个非常实用的函数applymap，它可以将自定义函数应用到DataFrame的每一个元素上。相比传统的for循环逐个遍历，applymap的执行速度要快得多。相关代码如下：

import pandas as pd
data = [["str","ewt","earw"],["agter","awetg","aeorgh"]]
dataframe1 = pd.DataFrame(data=data,columns=["name1","name2","name3"])
print(dataframe1)
bool_array = dataframe1.applymap(lambda x:"w" in x)
out_array = dataframe1[bool_array]
print(out_array)
 
>>
  name1 name2  name3
0  str  ewt  earw
1 agter awetg aeorgh
 
 name1 name2 name3
0  NaN  ewt earw
1  NaN awetg  NaN

在上述代码中，bool_array生成一个布尔矩阵，标记出满足条件的元素位置（True）和不满足的位置（False）。随后利用该布尔矩阵对dataframe1进行索引，即可提取出所有符合条件的元素。

方法二：逐列遍历处理

方法二：

第一种方法是一次性遍历所有元素，这种方式难以按列分别处理。因此，可以换一种思路，每次只遍历一列数据。

#接上面代码
file_columns = dataframe1.columns.tolist()
for column in file_columns:
  bool_index = dataframe1[column].str.contains("w")
  filter_data = dataframe1[column][bool_index]
  print(filter_data)
 
>>
Series([], Name: name1, dtype: object)
0   ewt
1  awetg
Name: name2, dtype: object
0  earw
Name: name3, dtype: object

代码中使用的Series.str.contains是Series对象特有的字符串操作方法。此外，filter_data仅输出每一列中满足条件的元素，这使得后续的数据处理更加便捷。

高阶函数在数据处理中的优势

简要说明：

针对Pandas的DataFrame和Series，存在apply、applymap和map等强大高阶函数。它们比简单的for循环执行效率更高，熟练运用这些高阶函数能够显著提升数据处理效率。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。