Python并发控制与资源保护教程

本文深入解析了Python网络采集中的并发控制与资源保护核心策略，强调真正的高效并非盲目提升并发数，而是通过Semaphore精准限流、随机化请求间隔模拟真人行为、合理设置超时与轻量重试机制，并结合异步/线程/进程模型特性规避本机资源瓶颈和目标站反爬限制，最终实现稳定、守规、可持续的采集实践——让每一次请求都“有边界、有节奏、有退路”。

Python采集任务并发控制的核心，不是单纯追求“跑得快”，而是让请求既稳定又守规矩——不被封IP、不压垮目标服务器、也不拖垮自己机器的内存和连接数。

并发数量怎么定？看三类限制

实际能开多少并发，取决于三个瓶颈中最短的那块板：

• 目标网站的承受力：有些小站10个并发就503，大站可能扛得住200+；先从5–10起步试探，观察响应时间与失败率
• 本机资源上限：Windows默认HTTP连接数约16，Linux可调高；大量并发+未及时关闭连接易触发ConnectionResetError或端口耗尽
• 异步/线程/进程模型差异：asyncio适合IO密集（如HTTP请求），但单线程；多线程受GIL限制对CPU无益；多进程开销大，适合混合型任务

用 asyncio.Semaphore 控制请求数量

这是最轻量、最推荐的异步限流方式，精准卡住并发请求数，不阻塞事件循环：

import asyncio
import aiohttp
sem = asyncio.Semaphore(5)  # 最多同时5个请求
async def fetch(session, url):
async with sem:  # 进入前等待，满额则挂起
async with session.get(url, timeout=10) as resp:
return await resp.text()
async def main():
urls = ["https://httpbin.org/delay/1"]  20
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, u) for u in urls]
results = await asyncio.gather(tasks)

注意：sem要定义在所有协程共享的作用域（如全局或main内），不能每次fetch都新建一个。

加请求间隔 + 随机抖动，更像真人行为

固定频率容易被识别为爬虫。用asyncio.sleep()配合随机延迟，比单纯限并发更稳妥：

• 基础节流：每请求后await asyncio.sleep(0.5)
• 增强版：用random.uniform(0.3, 1.2)生成浮动间隔，避免周期性特征
• 关键点：sleep放在sem临界区外，否则会降低并发利用率；若需“每秒N次”，建议用令牌桶或aiojobs等进阶方案

超时、重试、错误隔离一个都不能少

并发放大失败效应——一个卡死请求可能拖慢整个批次。必须主动防御：

• 统一设置timeout：aiohttp中timeout=aiohttp.ClientTimeout(total=10, connect=3)，避免单请求挂住几秒
• 轻量重试：网络抖动常见，对5xx或连接错误最多重试1–2次，用tenacity库或手动try/except+计数
• 异常不中断主流程：用asyncio.gather(..., return_exceptions=True)，失败结果返回Exception对象，后续再统一处理

不复杂但容易忽略：真正健壮的采集不是靠压并发取胜，而是把每个请求当作一次有礼有节的访问——有边界、有节奏、有退路。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~