aiohttp全局超时与连接池设置详解

哈喽！今天心血来潮给大家带来了《aiohttp 设置全局超时与连接池配置》，想必大家应该对文章都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习文章，千万别错过这篇文章~希望能帮助到你！

需在每次创建ClientSession时显式传入aiohttp.ClientTimeout和TCPConnector：timeout控制DNS、连接、读写全周期超时，推荐显式设total/connect/sock_read；connector管理连接池，需设limit和limit_per_host防止单域名占满，并复用session对象。

如何用 aiohttp.ClientTimeout 设置全局请求超时

全局超时不是靠环境变量或全局配置实现的，必须在每次创建 aiohttp.ClientSession 时显式传入 timeout 参数。它控制整个请求生命周期（DNS 解析、连接、读写），不是仅限于某一个阶段。

常见错误是只设 timeout=10 却没意识到这其实是 ClientTimeout(total=10)，而默认的 connect 和 sock_read 等子超时继承自 total，容易在高延迟网络下被误触发。

• 推荐显式构造： timeout=aiohttp.ClientTimeout(total=30, connect=10, sock_read=20)
• 若想彻底禁用超时（不建议），用 timeout=None，但会失去对卡死连接的保护
• total 必须 ≥ 所有子超时之和，否则初始化会报 ValueError: Total timeout cannot be less than connect timeout

如何通过 aiohttp.TCPConnector 控制连接池大小

连接池由 TCPConnector 管理，默认最多 100 个空闲连接、总共不限（limit=100, limit_per_host=0），但实际并发请求数受 limit 和 limit_per_host 共同约束。

很多人以为调大 limit 就能提升吞吐，却忽略了 DNS 缓存、服务端连接限制、本地文件描述符上限等隐性瓶颈。

• 设总连接数上限：connector = aiohttp.TCPConnector(limit=50)
• 防止单域名占满池子：limit_per_host=10（尤其爬多域名时必加）
• 启用连接复用需设 keepalive_timeout=30（默认 15s），太短会导致频繁重连
• 注意：连接池对象必须复用，不要每次请求都新建 ClientSession(connector=...)

把超时和连接池一起配进 ClientSession

二者必须同时配置才生效，且 connector 和 timeout 都是一次性绑定到 session 的——session 关闭后所有设置失效。

import aiohttp
timeout = aiohttp.ClientTimeout(total=30, connect=10, sock_read=20)
connector = aiohttp.TCPConnector(
limit=50,
limit_per_host=10,
keepalive_timeout=30,
pool_limit=50,  # 已废弃，用 limit 替代
)
async with aiohttp.ClientSession(
timeout=timeout,
connector=connector
) as session:
async with session.get("https://httpbin.org/delay/5") as resp:
print(await resp.text())

漏掉 timeout=... 或 connector=... 中任意一个，对应功能就不起作用；用完记得 await session.close() 或用 async with，否则连接不会释放。

为什么有时设了 limit_per_host=5 还是发了 20 个并发请求？

因为 limit_per_host 只限制「同一 host」的并发连接数，但如果你请求的是 https://api1.example.com、https://api2.example.com、https://www.example.com，它们被视为不同 host，各自独立计数。

更隐蔽的问题是：HTTP/2 或 HTTPS 的 SNI 主机名解析可能让看似相同的域名被拆成多个连接组；某些代理或负载均衡器也会插入额外跳转，导致 host 判断失准。

• 调试时可打印 session.connector._conns（非公开属性，仅用于排查）观察当前各 host 的活跃连接数
• 用 curl -v https://host 看实际响应头中的 Server 和重定向目标，确认是否真为同一 host
• 如需严格控并发，建议上层加 asyncio.Semaphore(5)，比依赖 connector 更可靠

连接池和超时参数看着简单，但组合使用时相互影响明显——比如 keepalive_timeout 太短会让连接提前关闭，导致后续请求被迫走新连接，进而触发 connect 超时；这些细节不验证就上线，压测时才暴露。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~