PHP curl_multi 并发请求怎么收敛：句柄回收、超时和失败重试

批量调用供应商接口时，单个 curl_exec() 循环很容易把等待时间拉长；但把所有请求一次性塞进 curl_multi，又可能打满连接数、触发对方限流，甚至让失败句柄一直留在内存里。实际可用的做法是把请求放进有限批次，边收结果边补新任务，并给每个句柄设置明确的超时和回收路径。

curl_multi 解决的是等待多个请求的问题，不等于无限并发。并发上限、连接超时、总超时和失败重试必须作为同一组策略设计。

为什么一次性添加所有句柄会失控

假设要抓取 100 个商品接口。串行调用的总耗时接近每个请求耗时之和；一次性添加 100 个句柄虽然快，却会同时占用连接、DNS、响应缓冲和对端配额。更麻烦的是，某一个慢请求会让简单的收集逻辑迟迟不结束。

我更建议先固定一个窗口，例如 5 个请求。窗口里有请求完成，就拿走结果、释放句柄，再从待处理队列补一个新请求。这样并发度是可见的，排查时也能回答“当时最多有多少个请求在飞”。

先写一个可回收的请求句柄

function makeHandle(string $url, int $timeoutSeconds): CurlHandle
{
    $handle = curl_init($url);
    curl_setopt_array($handle, [
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_CONNECTTIMEOUT => 2,
        CURLOPT_TIMEOUT => $timeoutSeconds,
        CURLOPT_HTTPHEADER => ['Accept: application/json'],
    ]);
    return $handle;
}

连接超时只约束建立连接的阶段，总超时约束整个请求。两者都不设置时，网络异常可能把一个窗口卡很久。返回值必须保留在句柄上，后面通过 curl_multi_getcontent() 取出。

用有限窗口驱动 curl_multi

下面的函数把待请求地址、并发数和超时集中管理。关键点是：完成一个句柄后，先读取错误和响应，再从多句柄集合中移除，最后关闭它。

function fetchBatch(array $urls, int $limit = 5): array
{
    $multi = curl_multi_init();
    $pending = array_values($urls);
    $active = [];
    $results = [];

    $addNext = function () use (&$pending, &$active, $multi, $limit): void {
        while (count($active)  $url, 'handle' => $handle];
        }
    };

    $addNext();
    do {
        do {
            $state = curl_multi_exec($multi, $running);
        } while ($state === CURLM_CALL_MULTI_PERFORM);

        while ($info = curl_multi_info_read($multi)) {
            $handle = $info['handle'];
            $key = (int) $handle;
            $url = $active[$key]['url'];
            $body = curl_multi_getcontent($handle);
            $error = curl_error($handle);

            $results[] = [
                'url' => $url,
                'status' => curl_getinfo($handle, CURLINFO_RESPONSE_CODE),
                'body' => $body,
                'error' => $error,
            ];

            curl_multi_remove_handle($multi, $handle);
            curl_close($handle);
            unset($active[$key]);
            $addNext();
        }

        if ($running > 0) {
            curl_multi_select($multi, 1.0);
        }
    } while ($running > 0 || $active !== []);

    curl_multi_close($multi);
    return $results;
}

curl_multi_select() 返回 -1 时不应该让代码陷入忙等；上面的超时参数会让循环很快重新检查。批量任务还应记录每个 URL 的状态码、耗时和错误文本，不要只返回一组无法定位问题的空字符串。

失败重试要有分类，不要全部重放

网络连接失败、临时 DNS 错误和部分 429/503 响应通常值得重试；400、401、403 或请求参数校验失败则应该直接记录。重试也要有上限，例如每个 URL 最多 2 次，并在两次之间加入递增等待，避免故障时形成更大的请求洪峰。

function retryable(int $status, string $error): bool
{
    if ($error !== '') {
        return true;
    }
    return in_array($status, [429, 502, 503, 504], true);
}

如果接口返回 429，还要优先读取 Retry-After。不要因为响应体为空就默认重试，空响应也可能是对方明确拒绝或业务接口异常。

上线前用四个指标验收

第一轮压测可以用 20 个固定 URL，窗口分别取 2、5、10，记录总耗时、P95 和峰值内存。若窗口从 5 增到 10 后总耗时几乎不降而 429 增多，说明瓶颈在对方服务，不在 PHP 等待模型。

常见问题

curl_multi 一定比循环调用更快吗？

不一定。它主要减少多个独立网络请求之间的串行等待；如果对方限流、响应体很大或本机连接资源不足，过高并发反而会变慢。

为什么必须调用 curl_multi_remove_handle？

移除句柄可以让多句柄集合停止跟踪已完成请求，随后配合 curl_close() 释放资源。只取响应不回收，长批次任务容易出现句柄和内存持续增长。

失败请求应该在同一批里立即重试吗？

建议把失败项放回带次数的重试队列，等当前窗口完成后再按退避策略补入。这样能避免一个瞬时故障在同一时刻被重复放大。

把并发当成可调参数

PHP 的多句柄接口本身不替你做流量治理。先用小窗口跑通状态记录、超时和回收，再根据真实指标逐步调整并发数；当对端出现 429、P95 上升或内存曲线拐头时，优先降低窗口和缩短重试范围。