Python爬虫优化：减少IO与连接复用技巧

本文深入剖析了Python爬虫性能瓶颈的根源——并非HTML解析本身，而是连接建立、DNS查询和TLS握手等底层IO开销，并系统性地给出了三大关键优化策略：强制复用requests.Session()或aiohttp.ClientSession以避免重复TCP/TLS握手；通过预解析域名、启用DNS缓存或异步解析器（如aiohttp.AsyncResolver）消除DNS阻塞；以及精细化拆分超时（connect/read）、配置连接池大小、合理重试与指数退避，从而在高频请求场景下显著降低延迟、提升吞吐量并节省系统资源——这些“看不见”的优化，效果远超XPath调优十倍。

requests.Session() 必须用，别每次 new 一个 client

HTTP 连接建立开销远大于发送请求本身，反复创建 requests.get() 会触发 TCP 三次握手 + TLS 握手（HTTPS），尤其在高频请求时延迟飙升。用 Session 复用底层连接池，自动保持 Keep-Alive。

• 默认 Session 启用连接池（pool_connections=10, pool_maxsize=10），足够多数爬虫场景
• 若并发高（如 >50 路请求），显式调大 pool_maxsize，否则会阻塞在连接获取上
• 别在循环里反复 session = requests.Session() —— 这等于没用

session = requests.Session()
session.mount('https://', requests.adapters.HTTPAdapter(pool_maxsize=20))
for url in urls:
    resp = session.get(url, timeout=5)  # 复用连接，非新建

异步 HTTP（aiohttp）比多线程 requests 更省资源

当目标站点响应快、IO 密集（比如爬 1000 个轻量 API），用 threading + requests 会因 GIL 和线程切换反而拖慢；而 aiohttp 单线程即可并发数百请求，内存和 CPU 占用更低。

• aiohttp.ClientSession 同样复用连接，但需配合 async/await
• 注意 DNS 解析默认是同步阻塞的，加 connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver()) 避免卡住
• 别混用 time.sleep() —— 必须用 await asyncio.sleep()

import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url, timeout=5) as resp:
return await resp.text()
async def main():
connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver())
async with aiohttp.ClientSession(connector=connector) as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)

别让 DNS 查询成为瓶颈

每次请求都走系统 DNS 解析？尤其用 IP 池或固定域名时，重复查 example.com → 93.184.216.34 很浪费。requests 和 aiohttp 默认不缓存解析结果。

• requests：用 requests-toolbelt 的 HostHeaderSSLAdapter 不解决问题；更直接的是预解析 + headers={'Host': 'example.com'} + 直连 IP
• aiohttp：启用 use_dns_cache=True（默认已开），但首次仍需解析；可手动 socket.gethostbyname('example.com') 后拼 http://IP/ 并设 Host 头
• 注意 HTTPS 直连 IP 会校验失败，得关 SSL 验证（不推荐）或用 SNI 手动指定 —— 大多数情况不如用域名 + DNS 缓存

超时与重试必须精细控制，否则 IO 卡死

没设 timeout？一个慢接口就能让整个线程/协程挂住几十秒；盲目重试？可能放大服务压力或触发封禁。

• 拆分 timeout：requests.get(url, timeout=(3.05, 27)) 表示 connect ≤ 3.05s，read ≤ 27s —— 避免 DNS 慢+连接快但响应慢的误判
• requests：用 urllib3.util.Retry 控制重试逻辑，禁用对 POST 的自动重试（非幂等）
• aiohttp：无内置重试，需自己封装，注意别用 while True 无限重试，加指数退避和最大次数
• 别全局设 timeout=0.1 —— 网络抖动时大量失败，实际吞吐反而下降

真正卡性能的地方，往往不是解析 HTML，而是连接建立、DNS 查询、TLS 握手这些“看不见”的环节。把 Session 复用、DNS 缓存、超时拆分这三件事做扎实，比优化 XPath 表达式有用十倍。

今天关于《Python爬虫优化：减少IO与连接复用技巧》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！