Pandas缺失值处理：检测、删除与替换详解

Pandas缺失值处理概述

本文简要介绍Pandas中缺失值的处理方法，通过具体示例代码进行详细说明，旨在为读者的学习或工作提供参考价值。

缺失值的检测与判断

首先需要判断数据中是否包含NaN值。

pd.isnull(df),
pd.notnull(df)

接着检查缺失值是否存在于数据集中。

np.all(pd.notnull(data)) # 返回false代表有空值
np.any(pd.isnull(data)) #返回true代表有空值

缺失值的处理策略

针对缺失值，主要采用以下处理方式：

• 当数据中存在缺失值且类型为np.nan时，可采取以下措施：
  • 第一种方法是删除缺失值，使用dropna(axis='rows')函数。
    • 注意：上述操作默认不会修改原始数据，必须接收并赋值返回值才能生效。
  • 第二种方法是替换缺失值，使用fillna(value, inplace=True)函数。
    • value参数指定用于替换的目标值。
    • inplace参数若设为True，则直接修改原数据；若为False（默认），则不修改原数据，而是生成一个新的对象。

# 替换存在缺失值的样本的两列
# 替换填充平均值，中位数
movie['Revenue (Millions)'].fillna(movie['Revenue (Millions)'].mean(), inplace=True)

• 如果缺失值并非标准的NaN，而是有特定的默认标记（如字符串'?'），则需特殊处理。
  • 可以将非NaN但代表缺失的值替换为np.nan，使用df.replace(to_replace, value)函数实现。
    • to_replace参数指定需要被替换的原始值。
    • value参数指定替换后的新值。
    • 此外，还可以按照识别为NaN的方式来进行处理。

# 把一些其它值标记的缺失值，替换成np.nan
wis = wis.replace(to_replace='?', value=np.nan)

常见报错与解决方案

在处理网络数据时，可能会遇到SSL证书相关的报错。

wis = pd.read_csv(https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data)

在读取远程数据文件时，可能会遇到如下错误提示。

URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)>

针对该问题的解决方法如下。

# 全局取消证书验证
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

以上就是本文的全部内容，希望对读者的学习有所帮助，也欢迎大家继续支持本站。