Python异步IO高并发技巧解析

Python异步IO是应对高并发网络请求的利器，通过async/await配合asyncio与aiohttp或httpx等异步HTTP客户端，能在单线程内实现“伪并行”请求——100个请求总耗时趋近于最慢那个响应的时间，彻底摆脱requests同步阻塞的性能瓶颈；但要真正发挥威力，必须复用ClientSession、严格设置timeout、用Semaphore智能限流，并清醒认识到它只适用于IO密集型场景——写对了事半功倍，写错了反而拖累性能，掌握这些实战细节，才能让并发能力从理论跃升为生产级稳定吞吐。

Python异步IO是处理高并发网络请求的高效方式，核心在于用 async/await 配合 asyncio 和支持异步的HTTP客户端（如 aiohttp 或 httpx），避免阻塞、复用单线程资源，显著提升吞吐量。

为什么不用 requests？

requests 是同步阻塞库，每次发起 HTTP 请求都会卡住当前线程，直到响应返回。在并发场景下，100 个请求会串行等待或需配合多线程/多进程——开销大、调度重、内存占用高。而异步IO让多个请求“同时”发出、各自回调，真正实现单线程高并发。

• 同步：100 次请求 ≈ 总耗时 ≈ 所有响应时间之和（串行）或 ≈ 最长单次响应时间（多线程并行，但线程创建/切换成本高）
• 异步：100 次请求 ≈ 总耗时 ≈ 最长单次响应时间（理想网络下），CPU 几乎不空转等待

用 aiohttp 发起并发 GET 请求

aiohttp 是 Python 生态最成熟的异步 HTTP 客户端，需搭配 asyncio.gather() 或 asyncio.create_task() 并发调度：

import asyncio
import aiohttp
<p>async def fetch(session, url):
try:
async with session.get(url, timeout=5) as response:
return await response.text()
except Exception as e:
return f"Error: {e}"</p><p>async def main():
urls = ["<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>"] <em> 20  # 模拟 20 个延迟 1 秒的请求
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(</em>tasks)
print(f"完成 {len(results)} 个请求")</p><p>asyncio.run(main())
</p>

关键点：
– ClientSession 必须复用（不能每个请求都新建），它管理连接池和 cookie；
– timeout 必须显式设置，否则可能无限挂起；
– gather 会等待全部完成，任一异常默认导致整体失败（可用 return_exceptions=True 容错）。

控制并发数，避免压垮服务或触发限流

无限制并发（如上面例子中 20 个同时发）可能被目标服务器拒绝、丢包，或耗尽本地文件描述符。推荐用 asyncio.Semaphore 限流：

sem = asyncio.Semaphore(5)  # 最多 5 个并发
<p>async def fetch_limited(session, url):
async with sem:  # 进入信号量，超限时自动等待
return await fetch(session, url)</p><h1>然后在 main 中：</h1><p>tasks = [fetch_limited(session, url) for url in urls]
</p>

常见策略：
– 小型爬虫/API 聚合：3～10 并发较安全；
– 内部微服务调用：可放宽至 20～50，视对方 QPS 和 SLA 调整；
– 加上指数退避重试 + User-Agent 轮换，更贴近生产健壮性。

替代方案：httpx 更简洁，支持 sync/async 双模式

httpx API 更接近 requests，学习成本低，且原生支持 HTTP/2 和异步上下文管理：

import httpx
import asyncio
<p>async def fetch_with_httpx(url):
async with httpx.AsyncClient(timeout=5) as client:
resp = await client.get(url)
return resp.text</p><p>async def main():
urls = ["<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8ZIZkrrKFmnmyh6O_t7dsgXaJ0bOIg8-FzalskdN9qbGGl2m0gI2qfmuGsrKVu2mNrJHPs4VuoQ' rel='nofollow'>https://httpbin.org/get</a>"] <em> 10
results = await asyncio.gather(</em>[fetch_with_httpx(u) for u in urls])
</p>

优势：
– 单库覆盖同步开发调试 + 异步上线部署；
– 自动复用连接（AsyncClient 实例内）；
– 返回对象与 requests.Response 接口高度兼容，迁移成本低。

异步不是银弹——适合 IO 密集型（网络、数据库）、不适合 CPU 密集型任务。写对了，百倍并发轻松扛；写错了（比如混用阻塞调用、未 await、忘记 close），反而比同步还慢。关键是理解事件循环、避免隐式阻塞、善用工具链。

好了，本文到此结束，带大家了解了《Python异步IO高并发技巧解析》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！