Python爬虫User-Agent封禁解决方法

本文深入剖析了Python爬虫中仅依赖fake-useragent更换User-Agent却频繁被封的根本原因：它只提供静态、过时、不校验的UA字符串，完全忽略Sec-Ch-Ua等关键浏览器指纹头、请求头一致性、行为特征（如请求频率、Session复用、重定向处理）等现代反爬核心防线；文章不仅指出问题症结，更给出可落地的解决方案——动态生成匹配版本的完整请求头、本地化可靠UA缓存、合理控制请求节奏与会话行为，强调“UA只是门牌号，敲门方式才决定能否进门”，为爬虫开发者提供真正有效的防封实战指南。

直接换 User-Agent 不顶用，光靠 fake-useragent 也救不了你——它只解决“随机生成”，不解决“被识别”和“被拦截”。

为什么 fake-useragent 本身不会防封

fake-useragent 的本质是读取一个本地 JSON 文件（useragents.json），从里面随机挑一条字符串返回。它不联网、不更新、不校验 UA 是否真实可用，更不处理请求头其他字段（比如 Accept-Language、Sec-Ch-Ua）是否匹配。

• 很多网站会检测 Sec-Ch-Ua、Sec-Ch-Ua-Mobile 等 Chromium 新增的客户端提示头，而 fake-useragent 完全不提供这些
• 返回的 UA 可能早已过时（比如还返回 IE11），反而触发风控规则
• 高频调用同一个实例（如全局单例）会导致重复 UA，尤其配合 requests.Session() 时更明显

必须补全的 3 类请求头才能绕过基础 UA 检测

现代反爬至少检查 UA + 浏览器指纹一致性。只设 User-Agent 是裸奔。

• 加 Accept: "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
• 加 Accept-Language: "zh-CN,zh;q=0.9,en;q=0.8"（别硬写 en-US，中文站优先 zh-CN）
• 加 Sec-Ch-Ua 和 Sec-Ch-Ua-Mobile：例如 'Sec-Ch-Ua: "Chromium";v="124", "Google Chrome";v="124", "Not-A.Brand";v="99"' 和 'Sec-Ch-Ua-Mobile: ?0' —— 这些必须和 UA 字符串里的浏览器版本严格对应

建议封装成函数，每次请求前生成完整 headers：

from fake_useragent import UserAgent
import re
<p>def get_headers():
ua = UserAgent()
user_agent = ua.random</p><h1>粗略提取 Chrome 版本号（简化版，实际建议用正则更稳）</h1><pre class="brush:python;toolbar:false;">version_match = re.search(r'Chrome/(\d+)', user_agent)
version = version_match.group(1) if version_match else "124"
return {
    "User-Agent": user_agent,
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Sec-Ch-Ua": f'"Chromium";v="{version}", "Google Chrome";v="{version}", "Not-A.Brand";v="99"',
    "Sec-Ch-Ua-Mobile": "?0",
    "Sec-Ch-Ua-Platform": '"Windows"',  # 可按需切换 Mac/Linux
}

fake-useragent 初始化失败或返回 old/unknown 的原因和对策

常见报错：fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached 或返回 old/unknown。

• 默认会尝试从多个在线源（如 https://www.useragentstring.com/）抓取最新 UA 列表，但国内常超时或被墙
• 解决办法：强制本地模式 + 提前缓存好可用 UA 列表
• 初始化时加参数：ua = UserAgent(use_cache_server=False, verify_ssl=False, cache_path="ua.json")
• 首次运行后，它会把抓到的数据存到 ua.json；后续直接读该文件，避免每次联网
• 如果仍失败，手动下载一份可靠 UA 列表（比如从 https://github.com/skroutz/user-agents），替换掉 fake_useragent 默认的 JSON 文件路径（位置可用 ua.data_path 查看）

比换 UA 更关键的是控制请求节奏和 session 行为

UA 动态化只是第一层。服务器真正盯的是行为特征：

• 别用全局 Session() 长时间复用连接——每次请求换新 requests.Session() 实例，或至少调用 session.headers.update(get_headers())
• 在请求间加 time.sleep(random.uniform(1.5, 4))，别用固定值
• 禁用自动重定向（allow_redirects=False），防止被跳转到验证码页还不自知
• 对返回状态码做判断：if r.status_code in (403, 429, 503) 就暂停、换代理、清 cookies，而不是继续猛冲

UA 是门牌号，但敲门频率、敲门力度、有没有带礼品（cookies）、是不是同一人反复敲门——这些才决定你进不进得去。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。