Python Pandas处理Excel缺失值：dropna与fillna实战指南

Pandas处理缺失值的核心函数

在Pandas中，处理缺失值主要依赖两个函数：

• isnull和notnull：用于检测数据是否为空值，支持DataFrame和Series对象。
• dropna：用于丢弃或删除缺失值。
  • dropna函数的axis参数：指定删除操作的维度，可选值为0或'index'（按行删除）和1或'columns'（按列删除），默认值为0。
  • dropna函数的how参数：指定删除条件，若设为'any'，则只要存在一个空值即删除该行或列；若设为'all'，则仅当所有值均为空时才删除。
  • dropna函数的inplace参数：若设为True，则直接修改当前DataFrame；若为False（默认），则返回一个删除缺失值后的新DataFrame。
• fillna：用于填充空值。
  • fillna函数的value参数：指定用于填充缺失值的数值，可以是单一标量值，也可以是字典（键为列名，值为对应的填充值）。
  • fillna函数的method参数：指定填充策略，设为'ffill'表示使用前一个非空值进行前向填充（forward fill）；设为'bfill'表示使用后一个非空值进行后向填充（backward fill）。
  • fillna函数的axis参数：指定填充方向，可选值为0或'index'（按行填充）和1或'columns'（按列填充）。
  • fillna函数的inplace参数：若设为True，则直接修改当前DataFrame；若为False（默认），则返回一个填充后的新DataFrame。

import pandas as pd

Excel数据清洗实战流程

实例：特殊Excel文件的读取、清洗与处理流程。

读取Excel与忽略空行

步骤1：在读取Excel文件时，通过参数忽略前导的空行。

studf = pd.read_excel("./datas/student_excel/student_excel.xlsx", skiprows=2)

studf

检测空值与筛选数据

步骤2：检测数据中的空值情况。

studf.isnull()

studf["分数"].isnull()

0 False
1 False
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
10 False
Name: 分数, dtype: bool

studf["分数"].notnull()

0 True
1 True
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 True
10 True
Name: 分数, dtype: bool

# 筛选没有空分数的所有行
studf.loc[studf["分数"].notnull(), :]

删除全空列与全空行

步骤3：删除所有值均为空的列。

studf.dropna(axis="columns", how='all', inplace=True)

studf

步骤4：删除所有值均为空的行。

studf.dropna(axis="index", how='all', inplace=True)

studf

填充分数与姓名缺失值

步骤5：将分数列为空的记录填充为0分。

studf.fillna({"分数":0})

# 等同于
studf.loc[:, '分数'] = studf['分数'].fillna(0)

studf

步骤6：处理姓名列的缺失值。

使用前向填充方法（ffill）：利用前一个有效值填充当前缺失值。

studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")

studf

保存清洗结果

步骤7：将清洗完成后的Excel数据保存至新文件。

studf.to_excel("./datas/student_excel/student_excel_clean.xlsx", index=False)

总结

以上即为处理数据缺失值的完整方法，希望本文内容对您的学习或工作具有参考价值，感谢支持。