Python爬虫去重技巧：hash与集合使用方法

本文深入解析了Python爬虫中高效、稳定的去重实践，重点阐述为何应优先采用hash（如MD5或SHA256）而非原始字符串进行去重——直击URL等字段因空格、换行、编码差异、参数顺序、大小写及末尾斜杠等导致的漏判痛点，并强调标准化预处理（如统一小写、规范化查询参数）是哈希有效的前提；同时直面真实工程挑战：针对内存爆炸问题，给出时间窗口滚动清理、布隆过滤器替代、SQLite持久化等可落地方案；并明确指出去重应嵌入请求前、响应解析后、Pipeline末端等关键节点，最后延伸至多进程与分布式场景下Redis+业务前缀哈希的协同策略，兼顾准确性、性能与可扩展性。

为什么用 hash 而不是直接存原始字符串去重？

爬虫抓取的 URL、标题、正文等字段常含空格、换行、编码差异（如 %20 和空格），直接字符串比较容易漏判重复。用 hash 统一归一化后再比对，更稳定。
但注意：hash 不是万能的——不同内容可能产生相同哈希值（碰撞），不过在单机爬虫场景下，用 hashlib.md5() 或 hashlib.sha256() 几乎可忽略该风险。

set 存哈希值时内存爆了怎么办？

高频爬虫（如每秒百条）持续往 set 里加 bytes 哈希值，几小时后可能吃光几 GB 内存。这不是算法问题，是数据生命周期没管好。
实操建议：

• 按时间窗口滚动清理：比如只保留最近 24 小时的哈希值，用 deque + 时间戳配合 set 实现
• 改用布隆过滤器（bloomfilter 库）：内存占用低一个数量级，支持百万级去重，但有极小误判率（不漏判，可能把新数据当重复）
• 落地到轻量数据库：如 sqlite 的 UNIQUE 索引列存 md5(url)，重启不丢，还支持查重历史

URL 去重必须先标准化再哈希

同一个页面可能有无数种 URL 表达：https://a.com/?x=1&y=2、https://a.com/?y=2&x=1、https://A.COM/x/，直接哈希会当成不同项。
标准化步骤不能少：

from urllib.parse import urlparse, urlunparse, parse_qs, urlencode
def normalize_url(url):
parsed = urlparse(url.lower())  # 协议和域名转小写
query_dict = parse_qs(parsed.query)  # 自动去重参数顺序、合并同名参数
normalized_query = urlencode(query_dict, doseq=True)
return urlunparse((
parsed.scheme,
parsed.netloc,
parsed.path.rstrip('/'),  # 去除末尾斜杠
'', '', normalized_query
))

之后再对 normalize_url(url) 的结果做 hashlib.md5(...).hexdigest()。

去重逻辑放在哪一层最稳妥？

别在解析完就立刻去重，也别拖到入库前才做——中间环节（如管道、中间件、存储前钩子）都可能出错或跳过。
推荐位置：

• Requests 发起前：检查待请求 URL 是否已爬过（适合广度优先）
• Response 解析后、提取 item 前：对响应体做 hashlib.sha256(response.body).hexdigest()，防镜像站/缓存页重复
• Item Pipeline 最末端：用 item['url_hash'] = hashlib.md5(item['url'].encode()).hexdigest()，再查库或集合

真正难的是多进程/分布式场景——这时单机 set 失效，得换 Redis 的 SET 或 BF.ADD，且哈希值必须带业务前缀避免冲突。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python爬虫去重技巧：hash与集合使用方法》文章吧，也可关注golang学习网公众号了解相关技术文章。