Pythonrequests3xx重定向解析技巧

哈喽！今天心血来潮给大家带来了《Python requests重定向与3xx状态码解析》，想必大家应该对文章都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习文章，千万别错过这篇文章~希望能帮助到你！

Python requests库在默认情况下会自动跟随HTTP重定向，导致无法直接获取3xx系列状态码。本文将详细解释这一机制，并提供通过设置allow_redirects=False来禁用自动重定向的方法，从而准确捕获原始的重定向状态码，这对于需要分析链接跳转行为的场景至关重要。

在进行网络请求时，我们常常需要获取HTTP响应的状态码来判断请求结果。然而，使用Python的requests库时，有时会发现对于某些已知会发生重定向的URL（例如，返回301或302状态码），我们最终却收到了200 OK的状态码。这通常不是因为URL没有重定向，而是因为requests库的默认行为——自动跟随重定向。

1. 理解HTTP重定向与requests库的默认行为

HTTP重定向是一种常见的Web机制，服务器通过返回3xx系列状态码（如301 Moved Permanently、302 Found、307 Temporary Redirect、308 Permanent Redirect）来告知客户端请求的资源已移动到新的URL。客户端（如浏览器或requests库）在收到这些状态码后，会根据响应头中的Location字段自动向新的URL发起请求。

requests库为了方便用户，默认情况下会将allow_redirects参数设置为True。这意味着当你调用requests.get()时，如果服务器返回了重定向状态码，requests会自动发起新的请求去访问重定向后的URL，直到遇到非重定向状态码（如200 OK，404 Not Found等）或达到最大重定向次数限制。最终，response.status_code将是最终目的地的状态码，而原始的3xx状态码则会被“隐藏”。

2. 常见问题：无法捕获重定向状态码

许多开发者在尝试检测URL状态时会遇到以下困惑：

import requests

url_to_check = "http://example.com/old-page" # 假设这个URL会302重定向到 /new-page
response = requests.get(url_to_check, timeout=5)
print(response.status_code) # 预期302，但可能输出200

上述代码中，如果http://example.com/old-page确实发生了302重定向，requests库会自动跟随到http://example.com/new-page，并返回new-page的响应状态码，通常是200。这就导致我们无法直接获取到原始的302状态码。

3. 解决方案：禁用自动重定向

要解决这个问题，我们需要显式地告诉requests库不要自动跟随重定向。这可以通过将requests.get()（或其他请求方法，如post、head等）的allow_redirects参数设置为False来实现。

import requests

url_to_check = "http://example.com/old-page" # 假设这个URL会302重定向到 /new-page
response = requests.get(url_to_check, timeout=5, allow_redirects=False)
print(response.status_code) # 现在将准确输出302

通过设置allow_redirects=False，requests库会在收到第一个重定向响应时就停止，并将其作为最终响应返回。此时，response.status_code将准确反映原始的重定向状态码（如301、302等）。

4. 完整的示例代码

以下是一个结合了CSV文件处理的完整示例，演示如何准确检测URL状态，包括重定向状态码：

import csv
import requests

def check_url_status(url: str) -> str:
    """
    检查URL的状态，并返回描述性状态字符串。
    通过设置allow_redirects=False来捕获原始的重定向状态码。
    """
    try:
        # 禁用自动重定向，以便捕获3xx状态码
        response = requests.get(url, timeout=5, allow_redirects=False)
        status_code = response.status_code

        # 如果需要查看重定向历史，可以在这里检查 response.history
        # 例如：
        # if response.history:
        #     print(f"URL: {url} - 重定向路径: {[r.url for r in response.history]}")

        if 200 <= status_code <= 299:
            return f"活动 ({status_code})"
        elif status_code == 300:
            return f"多重选择重定向 ({status_code})"
        elif status_code == 301:
            return f"永久移动重定向 ({status_code})"
        elif status_code == 302:
            return f"临时移动重定向 ({status_code})"
        elif 303 <= status_code <= 399: # 涵盖303 See Other, 307 Temporary Redirect, 308 Permanent Redirect
            return f"重定向 ({status_code})"
        elif 400 <= status_code <= 499:
            return f"客户端错误 ({status_code})"
        elif 500 <= status_code <= 599:
            return f"服务器错误 ({status_code})"
        else:
            return f"未知状态 ({status_code})"
    except requests.exceptions.Timeout:
        return "错误: 请求超时"
    except requests.exceptions.ConnectionError:
        return "错误: 连接失败"
    except requests.exceptions.RequestException as e:
        return f"错误: {e}"
    except Exception as e:
        return f"未知错误: {e}"

# 假设 urls.csv 文件存在，并且每行包含一个待检查的URL。
# 示例 urls.csv 内容：
# http://www.google.com
# http://httpbin.org/status/404
# http://httpbin.org/redirect-to?url=http://example.com
# http://www.nonexistent-domain-12345.com

# 读取URL列表
urls_to_check = []
try:
    with open("urls.csv", "r", encoding="utf-8") as csvfile:
        reader = csv.reader(csvfile)
        for row in reader:
            if row: # 确保行不为空
                urls_to_check.append(row[0].strip())
except FileNotFoundError:
    print("错误: urls.csv 文件未找到。请确保文件存在并包含URL列表。")
    exit()
except Exception as e:
    print(f"读取urls.csv时发生错误: {e}")
    exit()

# 检查每个URL并写入结果
if urls_to_check:
    with open("url_status.csv", "w", newline="", encoding="utf-8") as outfile:
        writer = csv.writer(outfile)
        writer.writerow(["URL", "状态"])
        for url in urls_to_check:
            status = check_url_status(url)
            print(f"检查 {url}: {status}") # 实时输出进度
            writer.writerow([url, status])
    print("\nURL状态已成功写入 url_status.csv!")
else:
    print("未从 urls.csv 中读取到任何URL。")

5. 注意事项与最佳实践

• 何时禁用重定向： 当你的目标是分析链接的原始跳转行为，例如进行SEO审计、死链检测、追踪短链接的真实目的地、或需要精确获取每个HTTP请求的原始状态码时，应设置allow_redirects=False。
• 何时允许重定向： 在大多数获取最终页面内容或API响应的场景下，保持allow_redirects=True（默认值）更为方便，因为它会自动处理跳转，直接返回最终资源的响应。
• 检查重定向历史： 即使allow_redirects=True，你仍然可以通过response.history属性获取一个包含所有重定向请求的响应对象列表。这对于分析完整的重定向链非常有用。

  response = requests.get("http://shorturl.com/xyz", allow_redirects=True)
  if response.history:
      for resp in response.history:
          print(f"重定向自: {resp.url}, 状态码: {resp.status_code}")
      print(f"最终URL: {response.url}, 最终状态码: {response.status_code}")

• 处理多种重定向： HTTP重定向类型多样，包括301（永久移动）、302（临时移动）、303（See Other，通常用于POST请求后重定向到GET请求）、307（Temporary Redirect，保留请求方法）、308（Permanent Redirect，保留请求方法）。在解析状态码时，应根据业务需求进行区分。
• 异常处理： requests库在网络请求过程中可能抛出多种异常，例如requests.exceptions.Timeout（请求超时）、requests.exceptions.ConnectionError（连接失败）、requests.exceptions.HTTPError（HTTP错误，如4xx/5xx系列），以及更通用的requests.exceptions.RequestException。建议进行细致的异常捕获，以提高代码的健壮性。
• 编码问题： 在处理CSV文件时，显式指定encoding="utf-8"是一个良好的习惯，可以避免因字符编码不匹配导致的问题。

总结

requests库的allow_redirects参数是控制HTTP重定向行为的关键。通过将其设置为False，我们可以绕过默认的自动重定向机制，从而准确捕获到服务器返回的原始3xx系列状态码。理解并正确使用这个参数，对于需要精确分析网络请求流程和URL跳转行为的场景至关重要。根据具体的应用需求，选择是否禁用自动重定向，将使你的网络请求处理更加灵活和精确。

理论要掌握，实操不能落！以上关于《Pythonrequests3xx重定向解析技巧》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！