Python利用Redis Pipeline实现高效批量读写详解

Oliver

发布时间：2026-10-13| 6人浏览过

原创

本文介绍在Python中利用Redis的Pipeline管道功能进行批量数据读写的方法。通过演示插入与读取操作，展示如何显著降低网络往返耗时。针对集群环境下的特殊配置及结合线程/协程的性能实测数据（3500条约900ms），为高并发业务场景提供可行的技术方案参考。

在使用Redis的过程中，随着业务复杂度的提升，对读写速度的要求也日益严格。近期遇到一个具体需求：需要在秒级内获取超过1000条数据。若采用传统的单次取值或循环取值方式，系统开销巨大。虽然部分开发者会考虑使用多线程，但这并非最优解。针对此场景，利用Redis特有的Pipeline（管道）功能成为更高效的解决方案。

接下来，将在Python环境下演示Pipeline的具体使用方式。

1、插入数据

>>> import redis

>>> conn = redis.Redis(host='192.168.8.176',port=6379)

>>> pipe = conn.pipeline()

>>> pipe.hset("hash_key","leizhu900516",8)
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> pipe.hset("hash_key","chenhuachao",9)
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> pipe.hset("hash_key","wanger",10)
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> pipe.execute()
[1L, 1L, 1L]
>>>

2、批量读取数据

>>> pipe.hget("hash_key","leizhu900516")
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> pipe.hget("hash_key","chenhuachao")
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> pipe.hget("hash_key","wanger")
Pipeline<ConnectionPool<Connection<host=192.168.8.176,port=6379,db=0>>>

>>> result = pipe.execute()

>>> print result
['8', '9', '10']  #有序的列表
>>>

总结：Redis的Pipeline机制操作简便，实际生产环境中可根据具体需求编写相应代码。其核心思路具有通用性，例如：

redis_db = redis.Redis(host='127.0.0.1',port=6379)
data = ['zhangsan', 'lisi', 'wangwu']

with redis_db.pipeline(transaction=False) as pipe:
  for i in data:
    pipe.zscore(self.key, i)

  result = pipe.execute()

print result
# [100, 80, 78]

在线上环境中，Redis通常采用集群模式。在集群模式下使用Pipeline时，创建Pipeline对象需要指定特定的参数（具体配置见下方代码）。