Python异步下载图片：aiohttp与aiofiles并发存储教程

本文深入解析了如何用 Python 的 aiohttp 与 aiofiles 实现高效、稳定、内存友好的异步图片下载，直击传统 requests+threading 方案因同步阻塞导致的性能瓶颈，详解流式分块读取（iter_chunked）、异步分块写入、ClientSession 复用、Semaphore 精准限流、显式超时设置及常见网络错误的健壮处理策略，帮助开发者避开内存溢出、连接数爆炸、文件句柄泄漏、非法路径报错等高频坑点，在高速并发与服务端友好性之间取得关键平衡。

为什么直接用 requests + threading 会卡住异步下载

因为 requests 是同步阻塞的，即使丢进线程池，每个请求仍要等 DNS 解析、TCP 握手、响应体读完才释放线程。而 aiohttp 基于 asyncio，单线程就能挂起成百上千个等待 I/O 的协程，真正压满带宽。但很多人写完 aiohttp.get() 就直接 await response.read()，把整张图全加载进内存——遇到几百 MB 的大图或大量并发，内存瞬间飙高甚至 OOM。

如何用 aiohttp 流式读取 + aiofiles 分块写入

核心是避免把整个响应体 load 进内存。必须用 response.content.iter_chunked(8192) 拆成小块，再逐块交给 aiofiles.open(..., 'wb') 写入磁盘。否则 await response.read() 会吃光内存，aiofiles.write() 也只适合小数据，不适用于流式写入。

• aiohttp.ClientSession 必须复用，不能每次请求都新建——否则 TCP 连接无法复用，DNS 缓存失效，连接数爆炸
• aiofiles.open(..., 'wb') 要用 async with 包裹，否则文件句柄泄漏
• 写入路径需提前确保目录存在，os.makedirs(os.path.dirname(path), exist_ok=True) 不能少，否则 FileNotFoundError

async def download_one(session, url, filepath):
    os.makedirs(os.path.dirname(filepath), exist_ok=True)
    async with session.get(url) as response:
        if response.status != 200:
            raise RuntimeError(f"HTTP {response.status} for {url}")
        async with aiofiles.open(filepath, 'wb') as f:
            async for chunk in response.content.iter_chunked(8192):
                await f.write(chunk)

如何控制并发数防止目标服务器封禁或本地打满连接

asyncio.Semaphore 是唯一靠谱的限流方式。设成 10–20 通常较安全；设太高（如 100）容易触发 ClientOSError: [Errno 24] Too many open files，因为每个连接占一个 socket 句柄，系统默认限制约 1024；设太低（如 1）就失去并发意义。注意：不要用 asyncio.wait(..., return_when=FIRST_COMPLETED) 手动调度，那只是“伪限流”，实际并发数仍由任务创建数量决定。

• 在 download_one 外层加 async with semaphore:，不是在 session.get() 里加
• 所有下载任务必须通过 asyncio.create_task() 或 asyncio.gather() 统一调度，不能裸调 await download_one(...)
• 超时必须显式设置：session.get(url, timeout=aiohttp.ClientTimeout(total=30))，否则默认永不超时

常见报错与绕过方案

实际跑起来常遇到三类错误：ServerDisconnectedError（服务端主动断连）、ClientConnectorError（DNS 失败或连接被拒）、UnicodeEncodeError（文件名含特殊字符）。它们都不是代码 bug，而是网络环境或目标策略导致的，必须捕获并降级处理。

• 对 ServerDisconnectedError 和 ClientConnectorError，建议重试 1–2 次，用 tenacity 或简单 for _ in range(3): try ... except
• 文件名含 / \ : * ? " < > | 等 Windows 非法字符时，filepath 构造前先用 re.sub(r'[\\/*?:"<>|]', '_', name) 替换
• URL 含中文或空格必须先 urllib.parse.quote(url, safe=':/')，否则 aiohttp 报 InvalidURL

真正的难点不在语法，而在平衡速度、稳定性与服务器友好性——并发数、超时、重试、User-Agent 轮换、Referer 设置，缺一不可。漏掉任意一项，脚本可能跑十分钟就静默失败。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python异步下载图片：aiohttp与aiofiles并发存储教程》文章吧，也可关注golang学习网公众号了解相关技术文章。