Python Pandas DataFrame 多列去重与差集计算实战

慢慢来

发布时间：2026-10-13| 3人浏览过

原创

本文介绍在Python Pandas中如何处理DataFrame的多列去重及差集运算。通过drop_duplicates方法指定subset参数实现基于多字段的去重；利用append合并数据后再次调用drop_duplicates并设置keep=False，可高效去除两个数据框中重复的行，保留唯一差异记录。

1）去重

当DataFrame中不存在唯一的字段作为主键（PK）时，通常需要指定多个字段共同构成该行的主键。此时，若需对整体数据进行去重处理，便需要基于这些指定字段进行操作。

注意：此操作主要依赖drop_duplicates方法，并通过设置参数subset为包含多个字段名的数组来实现。

具体代码如下：

 
>>>import pandas as pd 
>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}
>>>frame=pd.DataFrame(data) 
>>>frame
	pop	state
0	a	1
1	b	1
2	c	2
3	d	2
4	b	1
5	c	2
6	d	2
>>>frame.drop_duplicates(subset=['pop','state'])
	pop	state
0	a	1
1	b	1
2	c	2
3	d	2

2）求差集

假设存在两个DataFrame，分别记为a和b，二者之间可能存在相互包含的关系。现在希望从a中剔除与b重复的内容，即求取a相对于b的差集，具体步骤如下：

（1）首先需要对两个DataFrame分别进行去重处理。

（2）利用append方法，执行a = a.append(b)。

（3）再次利用append方法，执行a = a.append(b)。

（4）进行去重操作，利用drop_duplicates方法，执行a = a.drop_duplicates()，并设置参数keep=False。该参数的含义是：只要存在重复记录，所有重复的记录都将被移除（keep默认值为'first'，即仅保留第一条记录）。

具体代码如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}
>>>data_b={'state':[1,2,3],'pop':['b','c','d']}
>>>a=pd.DataFrame(data_a)
>>>a 
	pop	state
0	a	1
1	b	1
2	c	2
>>>b=pd.DataFrame(data_b) 
>>>b
	pop	state
0	b	1
1	c	2
2	d	3
>>>a = a.append(b)
>>>a = a.append(b)
>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)
>>>result
	pop	state
0	a	1

以上这篇Python Dataframe 指定多列去重、求差集的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持本站。