Pandas数据清洗实战:缺失值、重复值与异常值

以一份典型业务数据为例,按照“数据概览→缺失值处理→重复值处理→异常值识别与处理→结果验证”的流程,系统讲清 Pandas 数据清洗中最常见的问题、核心操作与容易踩坑的地方。重点覆盖 isna()/isnull()、dropna()/fillna()、duplicated()/drop_duplicates(),以及基于统计规则识别异常值,并强调清洗前后数据量与关键指标的验证。

Pandas数据清洗实战:缺失值、重复值与异常值

Pandas 解析 Excel 时 MemoryError 的成因与优化办法

Pandas 读取 Excel 时出现 MemoryError,并不一定意味着文件真的很大。很多情况下,问题出在 Excel 的“已用区域”被异常拉长,配合 object 类型列和未及时释放对象,最终触发数 GiB 级内存申请。本文结合报错特征、成因和可直接落地的处理方式,整理出一套更稳妥的 Excel 解析思路。

Pandas 解析 Excel 时 MemoryError 的成因与优化办法