Pythonaiohttp异步爬虫：GET请求与并发技巧

本文深入讲解了如何高效、稳定地使用 Python 的 aiohttp 库构建异步爬虫，重点聚焦于 GET 请求的正确实践与关键并发控制策略：强调必须复用单个 ClientSession 实例以避免连接池耗尽和性能损耗，明确指出 await 响应方法（如 resp.text()）不可省略、超时必须显式配置（推荐分设 connect 和 total 超时）、并发数需通过 asyncio.Semaphore 在请求粒度精准限流（而非 session 级），并倡导使用 asyncio.run() 安全启动协程；同时揭示了高并发下超时与重试协同调优的实战要点——这些直击新手高频踩坑点的硬核细节，让你避开卡死、被封、连接异常等陷阱，真正写出健壮可落地的异步爬虫。

怎么用 aiohttp.ClientSession 发起异步 GET 请求

直接用 ClientSession 包裹 session.get()，别在循环里反复新建 session。常见错误是每次请求都 async with aiohttp.ClientSession() as session: —— 这样开销大、TCP 连接无法复用，还可能触发连接池耗尽。

正确做法是整个爬虫生命周期只建一次 session，传给每个请求协程：

import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url) as resp:
return await resp.text()
async def main():
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)

注意：session.get() 返回的是 aiohttp.ClientResponse 对象，必须用 await resp.text() 或 await resp.json() 读取内容，不能直接 .text 或 .json —— 否则会报 RuntimeWarning: coroutine 'ClientResponse.text' was never awaited。

怎么限制并发请求数量，避免被封或压垮服务

aiohttp 本身不提供内置的并发数控制，靠 asyncio 的信号量（asyncio.Semaphore）来限流。不加限制时，asyncio.gather(*tasks) 会一次性调度全部协程，瞬间发出几百个请求，极大概率触发目标站反爬或服务端拒绝连接（aiohttp.client_exceptions.ServerDisconnectedError 或 ConnectionResetError）。

实操建议：

• 创建一个全局 asyncio.Semaphore(10)，数字按目标站容忍度调，一般 5–20 安全
• 每个请求前 async with semaphore:，确保最多只有 N 个请求同时进行
• 别把 semaphore 放在 ClientSession 外层——它要管的是「请求发起」，不是 session 生命周期

示例片段：

semaphore = asyncio.Semaphore(8)
async def fetch_limited(session, url):
async with semaphore:  # ← 关键：请求级限流
async with session.get(url) as resp:
return await resp.text()

为什么不用 loop.run_until_complete()，而要用 asyncio.run()

Python 3.7+ 推荐用 asyncio.run(main()) 启动，而不是手动获取 loop 并调 run_until_complete()。后者容易出错：如果之前已有运行中的 event loop（比如在 Jupyter 或某些测试框架里），会报 RuntimeError: asyncio.run() cannot be called from a running event loop；而 asyncio.run() 会自动处理 loop 创建、关闭和异常清理。

顺带提醒：aiohttp.ClientSession 必须在 async 函数内初始化，不能在模块顶层或同步函数里直接 aiohttp.ClientSession() —— 否则会报 RuntimeError: There is no current event loop in thread。

常见超时与重试怎么配才不崩

aiohttp 默认没有请求超时，网络卡住时协程会永远挂起。必须显式配置 timeout 参数，否则整个爬虫可能卡死。

推荐写法：

• 用 aiohttp.ClientTimeout(total=10, connect=5) 分开控制总耗时和建连时间
• 不要依赖 try/except asyncio.TimeoutError 做重试——timeout 是协程级中断，异常捕获后需手动重建请求
• 重试逻辑建议封装成装饰器或工具函数，对 ClientResponseError、ServerDisconnectedError、TimeoutError 分类处理

简单 timeout 示例：

timeout = aiohttp.ClientTimeout(total=15, connect=7)
async with aiohttp.ClientSession(timeout=timeout) as session:
    ...

真实场景中，DNS 解析慢、TLS 握手卡顿、中间代理抖动都会导致 connect 超时，设太短（如 1 秒）反而增加失败率；设太长（如 30 秒）又拖慢整体吞吐。connect 和 total 差值留 5–8 秒较稳妥。

并发量、超时、重试三者要一起调：高并发下 timeout 要适当放宽，否则大量请求在 connect 阶段就超时，实际并发数远低于预期。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pythonaiohttp异步爬虫：GET请求与并发技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。