使用Pandas高效实现多列同元素去重
发布时间：2026-10-13| 4人浏览过
本文介绍利用Pandas库实现多列同元素去重的方法。通过合并列、排序字符并拼接，再执行唯一性筛选，可高效去除顺序不同但内容相同的重复行。适用于数据清洗场景，代码简洁且执行速度快，适合处理大规模表格数据。
在处理数据时，常需解决多列中存在相同元素但顺序不同的重复项问题。这里提供一种基于Pandas的简洁且高效的解决方案。
首先观察原始数据的结构，涉及两个关键列：
G1 G2 a b b a c d d c e f
针对上述包含两列的数据进行同元素去重处理后，预期输出结果如下：
G1 G2 a b c d e f
具体实现代码如下：
#-*- coding: utf-8 -*-
data = {'G1':['a','b','c','d','e'],'G2':['b','a','d','c','f']}
data = pd.DataFrame(data)
data['G3'] = data['G1'] + '|' + data['G2']
p = []
for i in data['G3'].tolist():
tmp = sorted(i.split('|')) # The most important part,sort
p.append(tmp[0] + '|' + tmp[1])
data['G3'] = pd.Series(p)
data = data.drop_duplicates('G3')
以上即为利用Pandas进行多列同元素去重的完整示例，供读者参考与借鉴。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
