Python列表去重性能对比：set()与fromkeys()的适用场景

一只小鹿

发布时间：2026-10-13| 2人浏览过

原创

本文对比了Python中两种常见的列表去重方式：set()与{}.fromkeys().keys()。测试表明，在列表长度较短（小于1000）时，fromkeys方法速度更快；而当列表长度超过1000时，set()方法优势显著。文章提供了具体的测试代码与结果分析，并针对大规模数据处理给出了工具选择建议。

测试函数：

第一种：list的set函数

第二种：{}.fromkeys().keys()

测试代码：

#!/usr/bin/python
#-*- coding:utf-8 -*-
import time
import random
 
l1 = []
leng = 10L
for i in range(0,leng):
 temp = random.randint(1,10)
 l1.append(temp)
print '测试列表长度为：',leng
#first set
last = time.clock()
l2 = list(set(l1))
print l2
now = time.clock()
print '第一种:',now-last
 
#second
last = time.clock()
l2 = {}.fromkeys(l1).keys()
print l2
now = time.clock()
print '第二种:',now-last

测试结果：

从测试结果可以看出，当测试列表的长度较短时，采用第二种方法（fromkeys）的执行速度更快。然而，当列表长度达到1000时，第一种方法（set）的性能已经超越了第二种方法，且随着列表长度的进一步增加，第一种方法的优势愈发明显。因此，建议在对短列表（长度小于等于1000）进行频繁去重操作时，优先使用第二种方法；而当列表长度超过1000时，则建议使用第一种方法。

不过，归根结底，不建议使用Python进行大规模的数据计算任务。对于此类场景，更推荐使用Matlab或Python中对应的Matlab库，因为专业工具在处理复杂计算时往往更具优势。

以上关于Python中两种列表元素去重函数性能比较的内容就是本文分享的全部信息，希望能对读者有所帮助，也欢迎大家继续支持本站。