Python数据清洗实战：基于箱型图法与插值算法的异常值及缺失值处理

洛溪

发布时间：2026-10-15| 5人浏览过

原创

本文详解Python中处理数据异常值与缺失值的完整流程。首先利用箱型图法（IQR）识别并剔除位移数据中的异常点，随后采用拉格朗日插值法对缺失数据进行填补，并通过最小二乘法进行多项式数据拟合。最后结合Matplotlib可视化展示原始曲线、插值结果及拟合效果，为科学数据处理提供可复用的代码示例。

基于箱型图法的异常值检测与剔除

处理数据的第一步是识别并剔除异常值。本文采用箱型图法（Boxplot Method）进行异常值检测。该方法基于四分位距（IQR）原理，通过计算数据的上四分位数（Q3）和下四分位数（Q25）之差来确定上下界。具体操作中，首先读取Excel文件中的位移数据，统计数据行数，并遍历指定列（如'位移'）。对于每个数据项，计算其IQR值，进而确定低于Q25 - 1.5*IQR或高于Q3 + 1.5*IQR的数据点为异常值。程序会打印出小于特定阈值（如2000）的数据个数以及通过箱型图法识别出的异常值总数，从而明确需要处理的数据范围。

异常值识别代码实现

import numpy as np
import pandas as pd
import matplotlib as plt
import os
data = pd.read_excel('try.xls', header=0)
# print(data.shape)
# print(data.head(10))
# print(data.describe())
neg_list = ['位移']
print("（1）数据的行数为：")
R = data.shape[0]
print(R)
print("（2）小于或大于阈值的数据提取：")
for item in neg_list:
    neg_item = data[item]<2000
    print(item + '小于2000的有' + str(neg_item.sum()) + '个')
print("（3）异常值的个数：")
for item in neg_list:
    iqr = data[item].quantile(0.75) - data[item].quantile(0.25)
    q_abnormal_L = data[item] < data[item].quantile(0.25) - 1.5 * iqr
    q_abnormal_U = data[item] > data[item].quantile(0.75) + 1.5 * iqr
    print(item + '中有' + str(q_abnormal_L.sum() + q_abnormal_U.sum()) + '个异常值')
print("（4）箱型图确定上下限：")
for item in neg_list:
    iqr = data[item].quantile(0.75) - data[item].quantile(0.25)
    Too_small = data[item].quantile(0.25) - 1.5 * iqr
    Too_big = data[item].quantile(0.25) + 1.5 * iqr
print("下限是", Too_small)
print("上限是", Too_big )
print("（5）所有数据为：")
a = []
for i in neg_list:
    a.append(data[i])
print(a)
print("（6）所有正常数据：")
b = []
j = 0
while j < R:
    if (a[0][j] > Too_small):
        if (a[0][j] < Too_big):
            b.append(a[0][j])
    j += 1
print(b)
print("（7）所有异常数据：")
c = []
i = 0
while i < R:
    if (a[0][i] < Too_small or a[0][i] > Too_big):
        c.append(a[0][i])
        a[0][i] = None
    i +=1
print(c)
print("（8）把所有异常数据删除后：")
print(a)
print("（9）所有数据处理后输出：")
d = []
k = 0
while k < R:
    d.append(a[0][k])
    k +=1
print(d)
df = pd.DataFrame(d,columns= ['位移'])
df.to_excel("try_result.xls")

拉格朗日插值法处理缺失数据

在识别并标记异常值后，需对缺失数据进行插值处理。本文选用拉格朗日插值法（Lagrange Interpolation）来填补因剔除异常值而产生的数据空缺。首先导入必要的库，包括pandas、numpy以及scipy.interpolate中的lagrange函数。配置Matplotlib以正常显示中文标签和负号。读取包含异常值剔除后数据的Excel文件，再次统计数据行数。程序遍历指定列，重新计算IQR以确定上下限（Too_small和Too_big），并标记超出范围的数据。随后，通过循环遍历数据，将标记为异常的值替换为None，并记录所有异常值的列表。最终，将处理后的非异常数据存入新的DataFrame，并导出为Excel文件（如try_result.xls），完成初步的数据清洗。

插值处理与数据导出

import os
import pandas as pd
import numpy as np
from scipy.interpolate import lagrange
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

# 数据的读取
data = pd.read_excel('try.xls', header=0)
neg_list = ['位移']

# 数据的行数
R = data.shape[0]

# 异常数据的个数
for item in neg_list:
    iqr = data[item].quantile(0.75) - data[item].quantile(0.25)
    q_abnormal_L = data[item] < data[item].quantile(0.25) - 1.5 * iqr
    q_abnormal_U = data[item] > data[item].quantile(0.75) + 1.5 * iqr
    # print(item + '中有' + str(q_abnormal_L.sum() + q_abnormal_U.sum()) + '个异常值')

# 确定数据上限和下限
for item in neg_list:
    iqr = data[item].quantile(0.75) - data[item].quantile(0.25)
    Too_small = data[item].quantile(0.25) - 1.5 * iqr
    Too_big = data[item].quantile(0.25) + 1.5 * iqr

data[u'位移'][(data[u'位移']<Too_small) | (data[u'位移']>Too_big)] = None #过滤异常值，将其变为空值

#s为列向量，n为被插值位置，k为取前后的数据个数
def ployinter(s,n,k=5):
    y = s[list(range(n-k,n)) + list(range(n+1,n+1+k))]
    y = y[y.notnull()] #剔除空值
    return lagrange(y.index,list(y))(n)

#逐个元素判断是否需要插值
for i in data.columns:
    for j in range(len(data)):
        if(data[i].isnull())[j]:
            data[i][j] = ployinter(data[i],j)
# print(data[u'位移'])

# 输出拉格朗日插值后的数据
data.to_excel("try_result.xls")

# 把表格列数据调整为arr,arr为修改后的数据
print("拉格朗日插值后的数据：")
d = []
k = 0
while k < R:
    d.append(data[u'位移'][k])
    k +=1
# print(d)
arr = np.array(d)
print(arr)

# 输出图像
x = np.arange(len(d))

plt.plot(x,d,'b-',label="one", marker='*',markersize=4,linewidth=1) # b代表blue颜色  -代表直线

plt.title('位移曲线')

plt.legend(loc='upper left',bbox_to_anchor=(1.0,1.0))

# 直接更改X轴坐标数
# plt.xticks((0,1,2,3,4,5,6,7,8),('0', '1', '2', '3', '4', '5', '6', '7', '8'))

plt.xlabel('时间/h')
plt.ylabel('位移/mm')

#plt.grid(x1)
plt.show()

最小二乘法数据拟合

为了更准确地还原数据趋势，在插值基础上进行数据拟合。本文使用最小二乘法（Least Squares）进行多项式拟合。定义拟合函数形式为三次多项式：y = a1*x^3 + a2*x^2 + a3*x + a4。通过定义误差函数计算拟合值与原始值的残差。利用scipy.optimize.leastsq函数，设定初始参数（如[0.1, -0.01, 100, 1000]），对时间序列x（从1到31的线性空间）和位移数据y进行拟合。拟合完成后，获取最佳参数para[0]，并计算拟合后的曲线值y_fitted。最后，使用Matplotlib绘制原始数据曲线（红色）和拟合曲线（蓝色），并显示图例，直观对比拟合效果，输出最佳参数值以供分析。

拟合函数定义与参数优化

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.optimize import leastsq


def Fun(p, x):  # 定义拟合函数形式
    a1, a2, a3 , a4 = p
    return a1 * x ** 3 + a2 * x ** 2 + a3 * x + a4


def error(p, x, y):  # 拟合残差
    return Fun(p, x) - y


def main():
    x = np.linspace(1, 31, 31)  # 创建时间序列
    data = pd.read_excel('try.xls', header=0)
    y = data[u'位移']
    p0 = [0.1, -0.01, 100, 1000]  # 拟合的初始参数设置
    para = leastsq(error, p0, args=(x, y))  # 进行拟合
    y_fitted = Fun(para[0], x)  # 画出拟合后的曲线

    plt.figure
    plt.plot(x, y, 'r', label='Original curve')
    plt.plot(x, y_fitted, '-b', label='Fitted curve')
    plt.legend()
    plt.show()
    print(para[0])


if __name__ == '__main__':
    main()

数据可视化与结果展示

数据处理的最后环节是可视化输出，以直观展示处理前后的数据变化及不同算法的效果。本文通过Matplotlib绘制位移曲线图。设置X轴为时间（小时），Y轴为位移（毫米）。使用蓝色实线绘制处理后的数据点，并添加星形标记以突出显示。标题设置为“位移曲线”，图例位于右上角。此外，代码还展示了如何自定义X轴刻度标签，例如将数字索引转换为具体的角度或时间点标签。通过plt.show()命令显示图像，确保X轴和Y轴标签清晰可见，从而完整呈现数据清洗、插值及拟合后的最终结果。

位移曲线绘制与标签设置

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

jiaodu = ['0', '15', '30', '15', '60', '75', '90', '105', '120']

x = range(len(jiaodu))

y = [85.6801,   7.64586,    86.0956,    159.229,    179.534,    163.238,    96.4436,    10.1619,    90.9262,]

#plt.figure(figsize=(10, 6))

plt.plot(x,y,'b-',label="1", marker='*',markersize=7,linewidth=3) # b代表blue颜色  -代表直线

plt.title('各个区域亮度变化')

plt.legend(loc='upper left',bbox_to_anchor=(1.0,1.0))

plt.xticks((0,1,2,3,4,5,6,7,8),('0', '15', '30', '15', '60', '75', '90', '105', '120'))

plt.xlabel('角度')

plt.ylabel('亮度')

#plt.grid(x1)

plt.show()

本文介绍了Python中处理异常值和缺失值的综合方法，包括箱型图法检测、拉格朗日插值填补以及最小二乘法拟合。通过具体的代码示例，展示了从数据读取、异常值识别与剔除、缺失值插值到最终可视化输出的完整流程。这些方法可有效提升数据质量，为后续分析提供可靠基础。如需了解更多Python数据处理技巧，可参考本站相关文章或继续浏览后续内容。