Python处理缺失值的常见策略与代码实现

听雨眠

发布时间：2026-10-12| 2人浏览过

原创

本文总结Python中处理缺失值的五种主要方法，包括忽略元组、人工填写、全局常量、均值填充及最可能值预测。结合Scikit-learn库的Imputer类，演示如何使用均值策略填充NaN数据，并分析各方法的适用场景与局限性，帮助开发者选择合适的数据预处理方案。

1、解决方法

（1）直接忽略包含缺失值的样本。

在涉及分类的挖掘任务中，若类别标签缺失，通常采用此法。然而，除非样本仅有一个属性缺失，否则该方法效果有限；当不同属性缺失值的比例差异较大时，其性能表现尤为不佳。

（2）通过人工方式补全缺失值。

此方法通常耗时较长，面对大规模数据集且缺失值众多时，往往难以实施。

（3）利用全局常量填充缺失值。

将所有缺失的属性值统一替换为同一常数（例如字符串“Unknown”或负无穷大）。若所有缺失值均被替换为“unknown”，数据挖掘程序可能将其视为具有相同价值的有趣概念。尽管该方法实现简单，但可靠性较差。

（4）使用与当前样本同类别的所有样本的属性平均值进行填充。

（5）利用最可能的值填充缺失值。

可通过回归分析、基于贝叶斯推理的工具或决策树归纳等方法来确定最可能的值。

2、实例

import numpy as np
 
from sklearn.preprocessing import Imputer
 
imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
 
import numpy as np
from sklearn.preprocessing import Imputer
 
###1.使用均值填充缺失值
imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
imp.fit([[1, 2], [np.nan, 3], [7, 6]])
 
X = [[np.nan, 2], [6, np.nan], [7, 6]]
print(imp.transform(X))  
[[4.         2.        ]
 [6.         3.66666667]
 [7.         6.        ]]

知识点扩充：

缺失值的处理方法

由于多种原因，现实世界中的许多数据集包含缺失数据，这些缺失值常被编码为空格、NaN或其他占位符。然而，这类数据集无法直接兼容scikit-learn算法，因为大多数学习算法默认数组元素为数值，且每个元素都有其特定含义。

处理不完整数据的基本策略之一是删除包含缺失值的整行或整列，但这会导致大量有价值数据的浪费。以下是处理缺失值的常用方法：

1.忽略元组

当类别标签缺失时通常采用此法（假设挖掘任务涉及分类），除非样本存在多个属性缺失值，否则该方法效果不佳。当各属性缺失值的百分比变化显著时，其性能表现尤其差。

2.人工填写缺失值

通常该方法非常耗时，且当数据集规模大且缺失值较多时，该方法可能不可行。

3.使用一个全局常量填充缺失值

将缺失的属性值替换为同一个常数（如“Unknown”或负无穷）。如果所有缺失值都用“unknown”替换，挖掘程序可能会认为它们构成了一个有趣的概念，因为它们具有相同的值“unknown”。因此，虽然该方法简单，但十分不可靠。

4.使用与给定样本属同一类的所有样本的属性均值

例如：将顾客按credit_risk分类，则使用具有相同信用度的给定样本的顾客的平均收入替换income中的缺失值。