当前位置:首页 > 文章列表 > 文章 > php教程 > PHP cURL multi 并发请求控制连接数的参数方法

PHP cURL multi 并发请求控制连接数的参数方法

来源:17golang原创 2026-11-13 16:27:37 0浏览 收藏

批量调用接口时,真正需要限制的通常不是“同时创建多少个 easy handle”,而是 libcurl 此刻允许建立多少条连接。PHP cURL multi 可以在 multi handle 上分别设置总连接数和单主机连接数:前者保护本机和出口,后者避免某一个上游被瞬间打满。CURLMOPT_MAXCONNECTS 只负责连接缓存,不能替代并发限制。

官方地址:https://www.php.net/manual/en/function.curl-multi-setopt.php

libcurl 选项说明:https://curl.se/libcurl/c/curl_multi_setopt.html

要点速览
  • 总量用 CURLMOPT_MAX_TOTAL_CONNECTIONS,单主机用 CURLMOPT_MAX_HOST_CONNECTIONS。
  • CURLMOPT_MAXCONNECTS 是复用连接的缓存容量,调大它不等于允许更多请求并发。
  • 句柄仍可全部加入 multi 队列,libcurl 会按限制调度;应用层仍要设置超时、读取完成消息并释放句柄。

先分清三个“连接数”

一次请求批次里可能有很多 easy handle,但它们不一定都在建立 TCP/TLS 连接。连接控制至少有三层:

参数限制对象适合解决的问题
CURLMOPT_MAX_TOTAL_CONNECTIONSmulti handle 的同时打开连接总数限制全局出口、文件描述符和上游总压力
CURLMOPT_MAX_HOST_CONNECTIONS同一主机的同时连接数避免某个域名占满整个连接预算
CURLMOPT_MAXCONNECTS可复用连接缓存容量控制连接复用后的缓存规模,不是活动并发数

因此,配置总量为 12、单主机为 4 时,三个域名可以共享最多 12 条活动连接,但同一域名最多占 4 条。若只设置 MAXCONNECTS=4,得到的是缓存淘汰策略,不是“最多四个请求同时跑”。

PHP cURL multi 总连接、单主机连接与连接缓存的静态关系说明图
图1:PHP cURL multi 连接参数关系说明图,展示总连接、单主机连接与缓存的边界。

在 multi handle 上设置可解释的连接预算

连接限制属于 multi handle 级别,应该在加入 easy handle 之前设置。下面的示例保留一个完整的最小执行骨架:它把总连接数设为 12,把单主机连接数设为 4,并把缓存上限也设为 12。缓存值只是让已建立连接有足够位置复用,不能理解成第三个并发闸门。

 12,
    // 防止同一个上游独占全部连接预算。
    CURLMOPT_MAX_HOST_CONNECTIONS => 4,
    // 这是复用连接缓存容量,不是活动并发数。
    CURLMOPT_MAXCONNECTS => 12,
];

foreach ($limits as $option => $value) {
    // 设置失败要立即暴露,避免以为限流已经生效。
    if (!curl_multi_setopt($multi, $option, $value)) {
        curl_multi_close($multi);
        throw new RuntimeException('multi 连接参数设置失败');
    }
}

// 句柄可以先全部排队,活动连接由 multi 的限制调度。
$urls = [
    'https://api.example.test/a',
    'https://api.example.test/b',
    'https://files.example.test/c',
];
$handles = [];
foreach ($urls as $url) {
    $handle = curl_init($url);
    curl_setopt_array($handle, [
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_CONNECTTIMEOUT => 3,
        CURLOPT_TIMEOUT => 10,
    ]);
    curl_multi_add_handle($multi, $handle);
    $handles[] = $handle;
}

$running = 0;
do {
    // 反复驱动 multi,直到当前批次不再有活动传输。
    do {
        $status = curl_multi_exec($multi, $running);
    } while ($status === CURLM_CALL_MULTI_PERFORM);

    if ($status !== CURLM_OK) {
        throw new RuntimeException('multi 执行失败:' . $status);
    }
    if ($running > 0) {
        // 没有事件时短暂等待,避免忙轮询占满 CPU。
        curl_multi_select($multi, 1.0);
    }
} while ($running > 0);

foreach ($handles as $handle) {
    // 读取结果后移除并关闭 easy handle,避免句柄和连接状态泄漏。
    $body = curl_multi_getcontent($handle);
    curl_multi_remove_handle($multi, $handle);
    curl_close($handle);
}
curl_multi_close($multi);

这里的 example.test 只是文档示例域名,不能当作真实接口。生产代码还应通过 curl_multi_info_read() 逐个读取完成消息和错误码,而不是只依赖循环结束;否则某个请求的 HTTP 错误、DNS 错误或超时会被吞掉。

为什么设置了上限,吞吐仍可能不稳定

连接上限只限定 libcurl 的资源调度,不会保证每个请求都按固定顺序启动,也不会替应用层限制请求总数。常见的复盘顺序是:

  1. 先记录每个 easy handle 的 URL 主机、开始时间、完成时间和 curl_errno()。
  2. 确认是否真的有多个主机;只有一个主机时,MAX_HOST_CONNECTIONS 才是主要闸门。
  3. 把连接超时和总超时分开设置,避免连接排队时无限等待。
  4. 处理 curl_multi_select() 返回负值的情况,必要时短暂让出 CPU 后再驱动循环。

如果上游返回 429 或 503,不要只把总连接数继续调大。更稳的处理是降低单主机上限、加入应用层批次大小和退避重试,并把“排队时间”和“网络耗时”分别记录下来。

PHP cURL multi 排队、活动连接、完成消息与资源释放的结构说明图
图2:从排队句柄到完成消息的结构说明图,强调连接限制不替代超时、错误读取和资源清理。

版本与 HTTP/2 边界要单独判断

PHP 手册列出的 CURLMOPT_MAX_TOTAL_CONNECTIONS 和 CURLMOPT_MAX_HOST_CONNECTIONS 从 PHP 7.0.7 起可用;CURLMOPT_MAX_CONCURRENT_STREAMS 从 PHP 8.2.0 起提供,用于 HTTP/2 连接上的并发流。HTTP/2 下“一条连接”和“多个流”不是同一个数量,不能把流上限直接换算成 TCP 连接上限。

上线前可以用 defined() 检查可选常量,并将最终生效的配置写入启动日志。兼容旧环境时,宁可明确降级为应用层批次控制,也不要静默假设某个 multi 选项已经存在。

常见问题

把 CURLMOPT_MAXCONNECTS 调小能限制并发吗?

不能。它控制连接缓存容量;活动连接限制应使用总连接数和单主机连接数参数。

所有 URL 都加入 multi 队列会不会立刻建立同样多的连接?

不会。easy handle 数量和活动连接数量是两件事,libcurl 会在 multi 级别按连接限制调度,但应用仍应控制批次规模和超时。

HTTP/2 只设置 MAX_HOST_CONNECTIONS 就够了吗?

不一定。还要看单连接上的并发流、上游限制和客户端版本;PHP 8.2 以上可进一步评估 CURLMOPT_MAX_CONCURRENT_STREAMS。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
PHP Fiber 在 finally 中恢复执行的资源清理方案PHP Fiber 在 finally 中恢复执行的资源清理方案
上一篇
PHP Fiber 在 finally 中恢复执行的资源清理方案
PHP mb_convert_encoding 处理混合编码输入的排查指南
下一篇
PHP mb_convert_encoding 处理混合编码输入的排查指南
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1012次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1017次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1142次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1115次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    959次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码