Python连接Redis实现有序集合去重的代码示例

认真发呆

发布时间：2026-10-12| 5人浏览过

原创

本文介绍了Python连接Redis并使用有序集合进行去重的具体代码实现。通过ConnectionPool建立连接，利用pipeline执行zadd操作，根据返回结果判断是否去重。同时提供了按分数范围删除数据的方法，适用于需要处理大量数据去重的场景。

以下是Python连接Redis并利用有序集合进行去重的代码实现：

# -*- coding: utf-8 -*- 
import redis
from constant import redis_ip, redis_db, redis_pw, redis_zset_name
pool = redis.ConnectionPool(host=redis_ip, db=redis_db, password=redis_pw)
# pool = redis.ConnectionPool(db=6, password=redis_pw)
rr = redis.Redis(connection_pool=pool) # # 客户端StrictRedis=Redis 合并了
pipe = rr.pipeline(transaction=True) # 批量操作, 遇到异步容易出错, 可以不使用, 直接用 rr 连接对象,一次一个添加
def distinct_md5(date, eml_md5, eml_path, redis_fail_path):
　　"""
　　用md5标记去重, Redis有序集合去重, Redis版本不一样, 用法有区别 
　　:param date: 排序分数: int
　　:param eml_md5: 文件或者其他md5
　　:return: 1 添加成功, 没有去重 0 失败, 去重
　　"""
  　# pipe.zadd(redis_zset_name, eml_md5, date)
 　 # pipe.zadd(redis_zset_name, {date: eml_md5}, nx=True) # nx 只插入,存在的值不会修改其分数
  　# pipe.zadd(redis_zset_name, {date: eml_md5})
　　pipe.zadd(redis_zset_name, {eml_md5: date})
　　return pipe.execute()[0] # 1 添加, 0 没添加
 　 # pipe.zcard('eml_md5_zset') # 查看总个数
def del_redis_md5(n, m): # 按照分数值进行删除, n, m 为分数, 前后闭区间
　　pipe.zremrangebyscore(redis_zset_name, n, m)
　　pipe.execute()

总结

以上内容介绍了Python连接Redis并使用有序集合进行去重的代码，希望对大家有所帮助。如有任何疑问，欢迎留言，小编会及时回复大家！