Python pandas处理含重复行与空列Excel数据并提取索引的方法
本文介绍使用Python pandas库处理包含重复行和空列的Excel文件。通过设置header=None读取数据，利用notna()生成布尔列表，并对比三种获取False索引的方法：list.index()配合count、遍历判断及enumerate。最终演示如何删除空列、提取首行作为新列名并保存结果，解决数据清洗中的常见难题。
在数据处理过程中，经常会出现列或行内容相同的情况，此时往往需要对特定的某一列或某一行执行特定操作。
数据清洗环节可能涉及多种复杂场景，需要灵活应对。
以下展示一种典型的数据处理场景。
该场景下，数据中既存在合并单元格，又包含空列。
使用pandas库读取该Excel文件后，进入处理阶段。
当前目标是将第一行数据设定为列名，并移除所有包含NaN值的列。
在调用pd.read_excel()函数时，需添加header=None参数，因为默认情况下该文件没有标题行。
具体读取代码如下。
import pandas as pd
data = pd.read_excel('test.xlsx',header=None)
接下来，处理那些值为NaN的列。
由于pandas读取NaN时仅能判断其状态而无法直接用于筛选，这里需要转换思路，将其转换为True或False的形式。pandas提供了内置函数实现这一转换，代码如下。
使用notna()函数生成布尔序列。
# 因为都进来的数据,我们需要的列名还是在第一行,固我们取第一行的所有 judge_nan_col = data.iloc[1,:].notna().tolist() print(judge_nan_col)
调用tolist()方法以便获取索引列表。
接下来是关键步骤，由于存在多个False值，直接使用list.index()方法不可取，因为该方法默认返回第一次出现的索引。
此处演示几种解决方案。
list.index()默认返回首次出现的索引，因此该方法无法获取所有重复项的索引。
这里提供三种可行的方法。
方法一：使用list.index()配合count()函数。
需要结合count()函数统计False出现的次数，并通过index()的start参数指定起始索引来逐个查找。
count = judge_nan_col.count(False) index_list = [] index = -1 # 通过list.index()方法的__start参数,指定起始索引 for i in range(0, count): index = judge_nan_col.index(False, index + 1) index_list.append(index) print(index_list)
方法二：通过遍历原列表，对每个元素进行条件判断。
list_len = len(judge_nan_col)
index_list = []
for i in range(0, list_len):
if judge_nan_col[i] == False:
index_list.append(i)
print(index_list)
方法三：使用enumerate()函数进行枚举遍历。
index_list = [i for i, col in enumerate(judge_nan_col) if col == False] print(index_list)
目前想到的有效方法主要包含上述三种。
成功获取目标列的索引并存入列表后，下一步是执行删除操作。
pandas内置的drop()函数可用于执行行或列的删除操作。
# 可以根据需要看删除哪一列,我这里是全部进行删除 data = data.drop(index_list,axis=1) print(data)
此时距离目标已非常接近，只需处理第一行数据。同样使用data.iloc()函数，重新构建DataFrame对象。
# 获取列名
columns = data.iloc[1,:].tolist()
print('columns: ',columns,'\n')
print('=================================')
data = data.iloc[1:,:]
data.columns=columns
print(data)
最后将处理后的数据输出到Excel文件。
data.to_excel('complete.xlsx',index=False)
处理行的逻辑与上述类似，但在删除时需调整参数。
调用data = data.drop(axis=0)来指定删除行。
将之前的axis=1（删除列）转换为axis=0（删除行）。
总结。
以上为个人经验分享，希望能为大家提供参考，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
