开始免费使用
当前位置：首页 > Python > Python httpx异步请求指南：提升数据接口并发性能

Python httpx异步请求指南：提升数据接口并发性能

远山来客
远山来客
发布时间：2026-10-26| 4人浏览过
原创

当批量调用外部 HTTP 接口或抓取上千个数据端点时，传统的同步请求库（如 requests）会让程序在每次网络 I/O 等待时彻底挂起，导致吞吐率随着网络延迟线性恶化。提升接口数据获取性能的核心在于消除无谓的线程空转等待，使用支持异步 I/O 的 httpx 搭配 Python 原生 asyncio 事件循环，可以在单个系统线程内实现数以百计的网络请求并发往返，使总体耗时从所有请求耗时之和缩减至接近最长单次网络延迟。

一、为什么同步请求会拖慢性能：理解阻塞与事件循环

日常开发中最常用的 requests.get() 是标准的阻塞式网络调用。发送请求后，当前操作系统线程必须完全停下来，等待 DNS 解析、TCP 握手、服务端处理及网络数据包逐个回传。若每个请求平均耗时 200 毫秒，顺序执行 100 个请求就需要至少 20 秒。即使用多线程来并发，成百上千个操作系统原生线程带来的上下文切换开销与内存占用也会迅速压垮应用进程。

httpx 提供了与 requests 极其相近的 API 体系，同时在底层完整支持了基于协程（Coroutine）的非阻塞网络传输。当一个协程在等待远程服务器响应数据时，它会主动向 asyncio 事件循环让出执行控制权，事件循环便能立刻调度下一个协程发起新的 HTTP 请求。多个请求的网络等待时间在物理时间轴上相互重叠，从而大幅拉高网络吞吐上限。

Python httpx异步请求指南：提升数据接口并发性能
图 1：同步阻塞调用与异步事件循环模式下的网络 I/O 耗时对比

二、环境准备与核心对象：httpx.AsyncClient

在开始编写代码前，需确保 Python 环境在 3.8 及以上。通过终端安装 httpx：

pip install httpx

若需要支持 HTTP/2 协议的多路复用功能，可以安装带有扩展的依赖包：

pip install httpx[http2]

理解 AsyncClient 的复用价值

编写异步代码时，很多初学者容易直接调用模块级函数 await httpx.get(url)。这种用法不仅无法发挥性能，还会显著降低接口调用效率。因为每次调用模块级函数都会新建一个底层网络连接并立即销毁，频繁经历 TCP 三次握手和 TLS 加密协商。

正确的方式是使用 httpx.AsyncClient()。它对应于一个长期保持的客户端会话，内置底层连接池（Connection Pool），能自动复用已建立的 TCP 链路（Keep-Alive）。最推荐的写法是通过 async with 上下文管理器来管理会话，确保所有异步请求结束后底层套接字连接能够安全释放：

import asyncio
import httpx

async def fetch_single_api():
    url = "https://httpbin.org/delay/1"
    # 使用 async with 确保连接池初始化与安全释放
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        print("接口返回状态码:", response.status_code)
        data = response.json()
        print("响应数据示例:", data.get("origin"))

if __name__ == "__main__":
    asyncio.run(fetch_single_api())

三、实现批量并发请求的标准工作流

单次请求只是将代码改为了协程语法，真正体现并发优势的是同时调度成百上千个请求。标准做法是：定义一个专职执行单次请求的异步任务函数，然后在主函数中使用列表推导式构建任务集，交由 asyncio.gather() 统一触发并在事件循环中并发运行。

Python httpx异步请求指南：提升数据接口并发性能
图 2：httpx 异步并发任务执行的五个标准关键步骤

基础并发代码模板

以下示例展示了如何并发请求一组接口并测量耗时。示例中请求了 10 个具有 1 秒固定延迟的测试接口：

import asyncio
import time
import httpx

async def fetch_item(client: httpx.AsyncClient, item_id: int) -> dict:
    url = f"https://httpbin.org/delay/1"
    try:
        response = await client.get(url, params={"id": item_id})
        response.raise_for_status()
        return {"id": item_id, "status": "success", "data": response.json()["args"]}
    except httpx.HTTPError as exc:
        return {"id": item_id, "status": "error", "message": str(exc)}

async def main():
    start_time = time.perf_counter()
    target_ids = list(range(1, 11))
    
    # 保持全局唯一的 client 实例供所有任务共享
    async with httpx.AsyncClient() as client:
        # 创建 10 个协程任务对象
        tasks = [fetch_item(client, i) for i in target_ids]
        
        # 并发执行并等待全部结果返回
        results = await asyncio.gather(*tasks)
        
    duration = time.perf_counter() - start_time
    print(f"成功获取 {len(results)} 条数据，总耗时: {duration:.2f} 秒")
    for item in results[:3]:
        print("样例返回:", item)

if __name__ == "__main__":
    asyncio.run(main())

如果在同步 requests 下执行这 10 个带 1 秒延迟的接口，至少需要 10 秒；而在 httpx 并发调用下，实际耗时仅约 1.2 秒左右，绝大部分时间花费在并行的网络往返上。

四、控制并发量：使用信号量（Semaphore）保护服务端与本地系统

很多开发者在体验到异步的极速之后，会尝试将并发数量盲目提升至几千甚至上万。这往往会立刻引发系统故障：

  • 本地操作系统资源耗尽：打开过多套接字触发 OSError: [Errno 24] Too many open files。
  • 被目标端封禁或限速：瞬间发起大量请求会触发目标服务器或网关的 WAF 防火墙，直接返回 429 Too Many Requests 或 503 Service Unavailable。
  • 本地 DNS 解析超载：短时间内迸发海量解析请求导致系统 DNS 解析超时。

因此，工程上必须对在飞并发数（In-flight Requests）做硬性约束。利用 Python 标准库的 asyncio.Semaphore，可以非常优雅地实现滑动窗口并发控制。

Python httpx异步请求指南：提升数据接口并发性能
图 3：使用信号量实现在飞请求数量硬约束与服务端保护

带信号量控制的稳健并发实现

通过 async with semaphore: 上下文，任务在进入网络调用前必须先获取一个许可令牌；若当前无空闲令牌，协程会被自动挂起，直到有正在运行的任务结束并释放令牌：

import asyncio
import httpx

async def bounded_fetch(
    semaphore: asyncio.Semaphore, 
    client: httpx.AsyncClient, 
    item_id: int
) -> dict:
    url = "https://httpbin.org/get"
    # 获取信号量许可证，超出上限时在此等待
    async with semaphore:
        try:
            response = await client.get(url, params={"id": item_id})
            return {"id": item_id, "status": response.status_code, "ok": True}
        except httpx.RequestError as exc:
            return {"id": item_id, "error": str(exc), "ok": False}

async def run_batch_scrape():
    # 限制同时处于活跃网络请求状态的任务数最多为 20 个
    CONCURRENCY_LIMIT = 20
    semaphore = asyncio.Semaphore(CONCURRENCY_LIMIT)
    
    total_tasks = 200
    async with httpx.AsyncClient() as client:
        tasks = [
            bounded_fetch(semaphore, client, i) 
            for i in range(1, total_tasks + 1)
        ]
        results = await asyncio.gather(*tasks)
        
    success_count = sum(1 for r in results if r["ok"])
    print(f"总计调度 {total_tasks} 个请求，成功完成: {success_count} 个")

if __name__ == "__main__":
    asyncio.run(run_batch_scrape())

五、生产级网络配置：超时、连接池与异常重试

在生产环境下，网络环境往往充满不确定性。若不加配置，长时间卡死的坏连接或瞬时波动会导致整个并发队列阻塞或失败。针对这些问题，httpx 提供了细粒度的调优参数。

1. 细粒度四段式超时（httpx.Timeout）

传统的单一超时数值无法定位到底是握手慢还是读取慢。httpx.Timeout 允许针对网络交互的四个阶段分别设定阈值：

  • connect：建立底层套接字及 TLS 握手最大等待时间（通常设为 5.0 秒）。
  • read：从连接中读取响应数据块之间的最大等待间隔（通常设为 10.0 秒）。
  • write：向服务器推送请求体数据的最大等待时间（通常设为 5.0 秒）。
  • pool：当连接池已满时，从连接池借出空闲连接的最大排队时间（通常设为 5.0 秒）。
timeout_config = httpx.Timeout(
    timeout=10.0,       # 默认总超时兜底
    connect=5.0,        # 建连超时
    read=10.0,          # 读数据超时
    pool=5.0            # 连接池等待超时
)

2. 连接池大小调优（httpx.Limits）

默认情况下，httpx.AsyncClient() 允许的最大连接数是 100，保活连接数（Keep-Alive）是 20。如果设置了高并发度（例如信号量为 50），但没有调大连接池，空闲的 TCP 连接就可能被频繁关闭并重建，抵消了 Keep-Alive 带来的性能优势。

limits_config = httpx.Limits(
    max_connections=100,            # 允许存在的总连接数上限
    max_keepalive_connections=50,   # 允许保持保活的长连接数
    keepalive_expiry=30.0           # 空闲连接最大保持时长（秒）
)
核心配合法则

Limits.max_connections 与 Limits.max_keepalive_connections 必须大于或等于你所设定的 asyncio.Semaphore 数量，确保所有并发发出的请求都能直接从连接池命中或建立连接，而不会在 pool 阶段产生非必要的等待阻塞。

3. 异常分类与重试策略

在网络请求中，异常主要分为两大类：

异常类型 典型场景 处理建议
httpx.RequestError DNS 解析失败、TCP 连接被拒、读写超时等物理网络层错误 执行指数退避重试（Backoff Retry）1~3 次，重试仍失败则记录错误日志并跳过。
httpx.HTTPStatusError HTTP 404（不存在）、403（无权）、429（限速）、500（服务内部错误） 如果是 429，需读取 Retry-After 头休眠后重试；4xx 业务错误通常无需重试。

完整工程化封装示例

结合连接池配置、精细超时与退避重试的完整可运行代码如下：

import asyncio
import httpx

async def fetch_with_retry(
    client: httpx.AsyncClient, 
    semaphore: asyncio.Semaphore, 
    url: str, 
    max_retries: int = 3
) -> dict:
    async with semaphore:
        for attempt in range(1, max_retries + 1):
            try:
                response = await client.get(url)
                response.raise_for_status()
                return {"url": url, "data": response.json(), "success": True}
            except (httpx.ConnectTimeout, httpx.ReadTimeout, httpx.ConnectError) as err:
                if attempt == max_retries:
                    return {"url": url, "error": f"网络重试耗尽: {err}", "success": False}
                # 指数退避休眠，注意必须使用 asyncio.sleep 而非 time.sleep
                await asyncio.sleep(0.5 * (2 ** (attempt - 1)))
            except httpx.HTTPStatusError as err:
                if err.response.status_code == 429:
                    await asyncio.sleep(2.0)
                    continue
                return {"url": url, "error": f"状态码错误 {err.response.status_code}", "success": False}

async def main():
    urls = [f"https://httpbin.org/get?query={i}" for i in range(30)]
    
    # 实例化生产级配置
    custom_limits = httpx.Limits(max_connections=50, max_keepalive_connections=30)
    custom_timeout = httpx.Timeout(timeout=10.0, connect=3.0, read=8.0, pool=3.0)
    concurrency_gate = asyncio.Semaphore(15)
    
    async with httpx.AsyncClient(limits=custom_limits, timeout=custom_timeout) as client:
        tasks = [fetch_with_retry(client, concurrency_gate, u) for u in urls]
        results = await asyncio.gather(*tasks)
        
    print(f"执行完毕，抓取结果统计: 成功 {sum(1 for r in results if r['success'])} 个")

if __name__ == "__main__":
    asyncio.run(main())

六、性能调优法则与常见陷阱排查

在掌握了核心用法后，编写高并发代码时依然有几处容易犯下隐蔽错误的细节。以下是提升并发性能时的关键决策与排查法则：

Python httpx异步请求指南：提升数据接口并发性能
图 4：Python httpx 异步接口高并发性能优化与调优核心要素总结

归纳而言，将数据接口请求迁移至 httpx 异步体系是现代 Python 提高 I/O 密集型程序性能最高效的手段。只要确保客户端实例生命周期复用、合理约束并发连接数，并辅以针对性的超时重试机制，就能在几乎不增加硬件资源负担的前提下，使接口吞吐率与稳定性实现数倍甚至数量级的跃升。

相关文章

相关标签: Python asyncio

免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。

作者最新文章

全部文章

Python 相关产品和应用

全部下载
PythonSelenium
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

Python机器学习
scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Python代码质量
Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Python代码质量
Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

Pythonpytest
pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

PythonFastAPI
FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架，支持类型提示和自动接口文档。

PythonFlask
Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

PythonDjango
Django

Django

6.1.2 · Windows

成熟的 Python Web 框架，适合构建内容站点和业务系统。

PythonIDE
Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

PythonSciPy
SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。