当前位置：首页 > 文章列表 > 文章 > python教程 > Python爬虫队列设计实战教程

Python爬虫队列设计实战教程

2025-12-26 10:09:52 0浏览收藏

从现在开始，努力学习吧！本文《Python爬虫任务队列设计教程》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

直接用 queue.Queue 易卡死，因其 get() 默认无限阻塞且无超时/异常穿透机制；asyncio.Queue 需配 timeout 和 task_done；Redis 用 zset + bzpopmin 支持优先级与持久化；须通过 full() 或 zcard 实现反压控制。

Python爬虫请求调度设计_任务队列实现思路【教程】

为什么直接用 `queue.Queue` 在爬虫里容易卡死

多线程爬虫中，如果直接用标准库的 queue.Queue 做任务分发，常出现消费者线程全部阻塞在 get()、生产者却因异常退出而不再放新任务——队列既没满也没空，但整个调度就僵住了。根本原因是它默认的阻塞行为缺乏超时兜底和异常穿透机制。

get(block=True) 会无限等待，一旦上游断流，线程就挂起不响应中断
没有内置重试计数或失败归档逻辑，单个坏 URL 可能导致任务永久滞留
无法跨进程共享，后续想加分布式调度就得重写整套队列层

用 `asyncio.Queue` 实现轻量异步调度的关键配置

对中小规模 HTTP 爬取（比如每秒 10–50 请求），asyncio.Queue 比线程队列更省资源，但必须显式控制生命周期，否则协程会泄漏。

import asyncio
async def worker(queue: asyncio.Queue, session):
while True:
try:
url = await asyncio.wait_for(queue.get(), timeout=3.0)  # 必须设超时
async with session.get(url) as resp:
处理响应...
        queue.task_done()  # 必须调用，否则 join() 不返回
    except asyncio.TimeoutError:
        break  # 超时即退出，避免死循环
    except Exception as e:
        print(f"Worker error on {url}: {e}")
        queue.task_done()  # 错误也要标记完成，否则队列卡住

asyncio.wait_for(..., timeout=...) 是刚需，不能依赖 get_nowait() —— 它抛 queue.Empty 异常，但协程里没地方 catch
每个 get() 后必须配对 task_done()，哪怕出错也要调，否则 queue.join() 永远不结束
不要在 worker 里用 await queue.put(...) 回填重试任务——容易引发循环等待，应由独立的 retry manager 处理

需要持久化或扩缩容？绕过内存队列直连 `Redis` 的最小可行方案

当爬虫要跑几天、或需横向加机器时，内存队列不可靠。用 redis-py 的 lpop/rpush 组合比引入 Celery 更轻，且天然支持失败重入队。

import redis
import json
r = redis.Redis()
def add_task(url: str, priority: int = 0):
payload = json.dumps({"url": url, "retry": 0})
r.zadd("pending_tasks", {payload: priority})  # 用有序集合支持优先级
def get_task(timeout=1) -> dict | None:
阻塞式取一个，超时返回 None
result = r.bzpopmin("pending_tasks", timeout=timeout)
if result:
    return json.loads(result[1])
return None

别用 list 类型的 lpop —— 无法去重、不支持优先级、无超时原语；zset 或 stream 更稳妥
bzpopmin 是原子操作，避免“取到但崩溃未处理”导致任务丢失
任务体里必须带 retry 字段，失败时 r.zadd("pending_tasks", {payload: time.time() + 60}) 实现指数退避