PHP使用curl_multi实现多线程并发采集

夏知夏

发布时间：2026-10-14| 4人浏览过

原创

面对大量URL需同时抓取或下载的场景，传统的单线程逐请求方式（如 foreach 循环）耗时冗长。利用 PHP 的 curl_multi 系列函数构建并发处理机制，可将多个网络请求并行执行，大幅提升数据采集效率。

核心原理与优势

CURL_MULTI 是 cURL 库提供的多句柄管理接口。它允许开发者在一个进程中同时维护多个独立的 cURL 会话，并在后台异步处理它们，无需等待前一个请求结束即可启动下一个。相比同步阻塞的方式，这种方法能有效利用 CPU I/O 等待时间，大幅缩短总耗时。

在实际基准测试中，获取多个不同域名的网页内容时，CURL_MULTI 的处理速度通常可比传统的单线程文件获取函数（如 file_get_contents）提升数倍甚至更多，尤其在涉及远程图片下载或大体积数据传输时，差异更为显著。

环境准备

PHP 环境：确保服务器已安装并启用 php_curl 扩展。
基础认知：了解 HTTP 协议基本常识及数组操作语法。

第1步：初始化多句柄管理器

首先创建一个空数组用于存储各个 URL 对应的 cURL 句柄对象，并使用 curl_multi_init() 初始化一个主容器。随后遍历目标 URL 列表，为每个 URL 创建独立的 cURL 会话。preg_replace 在此处用于对 URL 中的特殊字符进行编码处理，防止因非法字符导致请求失败。

<?php
// 定义要抓取的URL列表
$urls = array(
    'https://www.example.com/page1',
    'http://www.example.org/data',
    // 可添加更多URL...
);

function remote($urls) {
    if (!is_array($urls) || count($urls) == 0) {
        return false;
    }

    $curl = $text = array();
    $handle = curl_multi_init();

    foreach($urls as $k => $v) {
        // 对URL参数进行简单的编码处理
        $nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\1')", $v);
        $curl[$k] = curl_init($nurl[$k]);
        
        // 设置选项：不直接输出到浏览器，仅返回字符串
        curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl[$k], CURLOPT_HEADER, 0);
        
        // 将单个句柄添加到多句柄容器中
        curl_multi_add_handle ($handle, $curl[$k]);
    }

第2步：执行并发请求

这是最关键的一步。需要进入循环状态，检查是否有正在进行的请求。curl_multi_exec 负责处理实际的网络 I/O 活动，而 curl_multi_select 则用于阻塞等待，直到有数据可读或连接关闭，避免 CPU 空转。当所有请求完成后，$active 变量将变为 0，循环终止。

    $active = null;
    do {
        $mrc = curl_multi_exec($handle, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);

    while ($active && $mrc == CURLM_OK) {
        if (curl_multi_select($handle) != -1) {
            do {
                $mrc = curl_multi_exec($handle, $active);
            } while ($mrc == CURLM_CALL_MULTI_PERFORM);
        }
    }

第3步：获取结果并清理资源

请求全部结束后，遍历之前的句柄数组，使用 curl_multi_getcontent() 提取响应内容。务必在提取后调用 curl_multi_remove_handle 和 curl_close 释放单个句柄，最后调用 curl_multi_close 销毁主容器。这一步骤对于防止内存泄漏至关重要。

    foreach ($curl as $k => $v) {
        if (curl_error($curl[$k]) == "") {
            $text[$k] = (string) curl_multi_getcontent($curl[$k]);
        }
        curl_multi_remove_handle($handle, $curl[$k]);
        curl_close($curl[$k]);
    }
    curl_multi_close($handle);
    return $text;
}

// 调用函数
$result = remote(array('https://www.jb51.net/', 'http://www.baidu.com/'));
print_r($result);

注意事项与排错

错误处理：上述示例仅判断了无错误的情况。在生产环境中，建议增加对 curl_error() 的详细日志记录，以便排查网络超时或DNS解析失败等问题。
资源限制：虽然并发能提升速度，但不建议一次性发起成千上万个请求，以免耗尽服务器端口或触发目标网站的频率限制（Anti-bot）。可根据实际情况调整并发数量或在 URL 分批处理中加入适当延时。