Python爬虫302重定向循环怎么解决

本文深入解析了Python中requests库处理302重定向循环的常见陷阱与实战解决方案：从默认自动跳转机制及其30次上限，到通过Session.max_redirects精准控制全局跳转次数（包括设为0彻底禁用），再到手动实现带URL标准化、相对路径解析和历史访问检测的健壮跳转逻辑；同时揭示了max_redirects失效的典型场景——如allow_redirects=False覆盖设置、Location头解析异常、协议切换绕过限制，以及“伪不同URL”导致的漏检，并强调真正可靠的循环识别需融合URL规范化、状态码判断与响应特征分析，助你告别无限卡死、超时或静默失败，写出稳定、可调试、抗反爬的爬虫重定向处理代码。

requests 默认如何处理 302 重定向

默认情况下，requests 会自动跟随 302（以及 301、307、308）响应中的 Location 头，最多跳转 30 次。这个行为由 allow_redirects=True 和内置的 RedirectHandler 控制。一旦服务器返回的跳转链形成闭环（比如 A → B → C → A），而默认限制又没被触发或绕过，就可能卡住、超时，甚至抛出 requests.exceptions.TooManyRedirects。

用 max_redirects 显式限制跳转次数

最直接有效的办法是关闭自动跳转，自己控制逻辑，或通过 Session 设置全局最大跳转数。注意：requests 本身没有 max_redirects 参数，但可以通过配置 Session 的 max_redirects 属性实现：

import requests
session = requests.Session()
session.max_redirects = 5  # ⚠️ 这个值必须是整数，设为 0 则完全禁用跳转
try:
resp = session.get("https://example.com/redirect-loop", timeout=10)
except requests.exceptions.TooManyRedirects:
print("检测到重定向循环，已按 max_redirects=5 中断")

• session.max_redirects 是 Session 级别设置，对所有后续请求生效
• 设为 0 时，allow_redirects 即使为 True 也不跳转（等价于 allow_redirects=False）
• 若单次请求需特殊处理，仍可传 allow_redirects=False，再手动解析 resp.headers.get("Location")

手动处理跳转并检测循环

当需要识别“是否回到已访问过的 URL”时，自动跳转机制不够用。此时应禁用自动跳转，自己维护访问历史：

def fetch_with_loop_check(url, max_hops=5):
    visited = set()
    current = url
    for i in range(max_hops + 1):
        if current in visited:
            raise ValueError(f"重定向循环 detected at {current}")
        visited.add(current)
    resp = requests.get(current, allow_redirects=False, timeout=8)
    if resp.status_code in (301, 302, 307, 308):
        next_url = resp.headers.get("Location")
        if not next_url:
            break
        # 处理相对重定向（如 /path）
        from urllib.parse import urljoin
        current = urljoin(current, next_url)
    else:
        return resp
raise RuntimeError(f"超过最大跳转次数 {max_hops}")

• 务必用 urljoin() 解析 Location，否则相对路径会出错
• 检查 307 和 308（它们保留原始请求方法，但常被忽略）
• visited 存的是标准化后的 URL（建议用 urllib.parse.urldefrag 去掉 fragment）

为什么有时 max_redirects 不生效

常见失效场景包括：

• 用了 requests.get(..., allow_redirects=False)，此时 session.max_redirects 完全不参与
• 中间某次跳转返回了非标准 Location（比如空格、编码错误），导致 urljoin 解析失败，后续请求 URL 变成 None 或乱码，跳转中断但未报错
• 某些反爬服务故意返回「看似不同实则等价」的 URL（如带不同 query 参数但路由相同），仅靠字符串匹配无法识别循环
• HTTPS → HTTP 跳转时，部分旧版 requests（max_redirects 限制

真正可靠的循环检测，得结合 URL 规范化 + 状态码 + 响应特征（比如 Set-Cookie 是否重复），不能只依赖跳转次数计数。

今天关于《Python爬虫302重定向循环怎么解决》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！