Pandas DataFrame 删除数据的四种常见场景详解
本文介绍在Pandas中处理DataFrame数据的四种删除场景:按列名删除、按索引删除行、基于数值条件筛选以及基于字符串内容的过滤。通过模拟股票交易数据,演示drop方法及布尔索引的使用,帮助开发者掌握灵活的数据清洗技巧。
Pandas数据删除场景概述
在开始具体操作之前,我们需要明确Pandas中DataFrame对象可能涉及的几种数据删除情形。
主要包含以下四种情况: 1、删除指定的列; 2、删除指定的行; 3、删除包含特定数值的行或列; 4、删除包含特定字符或文本的行或列。
接下来,我们将针对上述四种情况逐一探讨具体的操作方法。
数据准备阶段
这里模拟了一份股票交割记录的数据集。
In [1]: import pandas as pd
In [2]: data = {
...: '证券名称' : ['格力电器','视觉中国','成都银行','中国联通','格力电器','视觉中国','成都银行','中国联通'],
...: '摘要': ['证券买入','证券买入','证券买入','证券买入','证券卖出','证券卖出','证券卖出','证券卖出'],
...: '成交数量' : [500,1000,1500,2000,500,500,1000,1500],
...: '成交金额' : [-5000,-10000,-15000,-20000,5500,5500,11000,15000]
...: }
...:
In [3]: df = pd.DataFrame(data, index = ['2018-2-1','2018-2-1','2018-2-1','2018-2-1','2018-2-2','2018-2-2','2018-2-2','2018-2-3'])
In [4]: df
Out[4]:
成交数量 成交金额 摘要 证券名称
2018-2-1 500 -5000 证券买入 格力电器
2018-2-1 1000 -10000 证券买入 视觉中国
2018-2-1 1500 -15000 证券买入 成都银行
2018-2-1 2000 -20000 证券买入 中国联通
2018-2-2 500 5500 证券卖出 格力电器
2018-2-2 500 5500 证券卖出 视觉中国
2018-2-2 1000 11000 证券卖出 成都银行
2018-2-3 1500 15000 证券卖出 中国联通
删除指定列与行
删除指定列的操作
In [5]: df.drop('成交数量',axis=1)
Out[5]:
成交金额 摘要 证券名称
2018-2-1 -5000 证券买入 格力电器
2018-2-1 -10000 证券买入 视觉中国
2018-2-1 -15000 证券买入 成都银行
2018-2-1 -20000 证券买入 中国联通
2018-2-2 5500 证券卖出 格力电器
2018-2-2 5500 证券卖出 视觉中国
2018-2-2 11000 证券卖出 成都银行
2018-2-3 15000 证券卖出 中国联通
删除指定行的操作
In [6]: df.drop('2018-2-3')
Out[6]:
成交数量 成交金额 摘要 证券名称
2018-2-1 500 -5000 证券买入 格力电器
2018-2-1 1000 -10000 证券买入 视觉中国
2018-2-1 1500 -15000 证券买入 成都银行
2018-2-1 2000 -20000 证券买入 中国联通
2018-2-2 500 5500 证券卖出 格力电器
2018-2-2 500 5500 证券卖出 视觉中国
2018-2-2 1000 11000 证券卖出 成都银行
此外,还可以根据行索引号来删除记录,例如删除第三行的数据。
In [22]: df.drop(df.index[7])
Out[22]:
成交数量 成交金额 摘要 证券名称
2018-2-1 500 -5000 证券买入 格力电器
2018-2-1 1000 -10000 证券买入 视觉中国
2018-2-1 1500 -15000 证券买入 成都银行
2018-2-1 2000 -20000 证券买入 中国联通
2018-2-2 500 5500 证券卖出 格力电器
2018-2-2 500 5500 证券卖出 视觉中国
2018-2-2 1000 11000 证券卖出 成都银行
需要注意的是,此方法实际上是依据索引(index)进行删除,而非单纯的物理行号。如果索引值为3,则会删除前4条记录。该方法支持指定范围,也允许使用负数从末尾开始计算并删除。
基于数值与字符条件的数据过滤
删除包含特定数值的行(例如:删除成交金额小于10000的记录)
In [7]: df[ df['成交金额'] > 10000]
Out[7]:
成交数量 成交金额 摘要 证券名称
2018-2-2 1000 11000 证券卖出 成都银行
2018-2-3 1500 15000 证券卖出 中国联通
本例本质上是数据筛选过程。如果希望保留筛选后的结果,只需将筛选后的对象重新赋值给原变量即可。
删除某列中包含特定字符的行
In [11]: df[ ~ df['证券名称'].str.contains('联通') ]
Out[11]:
成交数量 成交金额 摘要 证券名称
2018-2-1 500 -5000 证券买入 格力电器
2018-2-1 1000 -10000 证券买入 视觉中国
2018-2-1 1500 -15000 证券买入 成都银行
2018-2-2 500 5500 证券卖出 格力电器
2018-2-2 500 5500 证券卖出 视觉中国
2018-2-2 1000 11000 证券卖出 成都银行
如果目标是获取包含某些特定字符的记录,只需去掉逻辑非符号~即可。
In [12]: df[ df['证券名称'].str.contains('联通') ]
Out[12]:
成交数量 成交金额 摘要 证券名称
2018-2-1 2000 -20000 证券买入 中国联通
2018-2-3 1500 15000 证券卖出 中国联通
以上内容涵盖了本文的主要知识点,希望能对读者的学习有所帮助,也欢迎大家继续支持本站。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









