Python Selenium 网站自动重定向问题的解决方案

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《Python Selenium 网站自动重定向问题的解决方案 》，这篇文章主要讲到等等知识，如果你对文章相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

本文详解如何解决使用 Selenium 或 undetected_chromedriver 访问印度公司事务部（MCA）官网时被强制重定向至首页的问题，重点提供规避反爬检测、禁用 headless 模式、配置浏览器指纹等实用方案。

本文详解如何解决使用 Selenium 或 undetected_chromedriver 访问印度公司事务部（MCA）官网时被强制重定向至首页的问题，重点提供规避反爬检测、禁用 headless 模式、配置浏览器指纹等实用方案。

在使用 undetected_chromedriver 或标准 Selenium 访问 https://www.mca.gov.in 及其子页面（如 /content/mca/global/en/mca/master-data/MDS.html）时，常出现「请求 URL 被静默重定向到首页」的现象——即使已成功通过 CAPTCHA 验证，页面仍无法稳定加载目标路径。该行为并非服务端 302 重定向，而是由前端 JavaScript 主动触发的跳转，通常源于网站对自动化浏览器环境的深度检测。

? 根本原因：Headless 检测与浏览器指纹识别

MCA 官网集成多层反自动化机制，包括但不限于：

• 检测 navigator.webdriver === true（Selenium 默认注入标志）；
• 判断 window.chrome、permissions API 可用性；
• 验证 headless 浏览器特征（如缺失 screen.availHeight、navigator.plugins.length === 0）；
• 通过 AreYouHeadless 类检测页面确认浏览器运行模式。

undetected_chromedriver 虽能绕过部分检测，但在默认配置下仍可能暴露 headless 上下文或未完全模拟真实用户行为。

✅ 推荐解决方案（按优先级排序）

1. 禁用 Headless 模式（最有效）

避免使用 headless=True，改用可见窗口模式运行浏览器，大幅降低被识别概率：

import undetected_chromedriver as uc
from selenium.webdriver.chrome.options import Options

options = Options()
# 关键：显式禁用 headless，并添加真实用户代理
options.add_argument("--no-sandbox")
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_argument("--disable-gpu")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--start-maximized")

driver = uc.Chrome(options=options, headless=False)  # ← 必须设为 False
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    'source': '''
        Object.defineProperty(navigator, 'webdriver', {
            get: () -> undefined
        })
    '''
})

driver.get("https://www.mca.gov.in/content/mca/global/en/mca/master-data/MDS.html")
print("Current URL:", driver.current_url)  # 验证是否仍被重定向
input("Press Enter to quit...")  # 保持窗口打开便于调试
driver.quit()

⚠️ 注意：headless=False 是解决 MCA 重定向问题的首要步骤；若必须 headless，请搭配 --disable-blink-features=AutomationControlled + CDP 注入 navigator.webdriver 伪造，但成功率显著低于有头模式。

2. 增强浏览器指纹真实性

补充以下 Chrome 启动参数，进一步混淆自动化特征：

options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36")
options.add_argument("--lang=en-US,en")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

3. 备用方案：专业 Web Scraping API

若项目对稳定性要求极高且预算允许，可考虑托管式反爬服务（如 ScraperBox、ZenRows、Bright Data），它们内置 IP 轮换、真实浏览器池与 JS 渲染支持，但需注意成本与数据合规性。

? 总结

MCA 官网的自动重定向本质是前端反爬逻辑主动干预，而非后端 HTTP 重定向。核心解法是回归“真实用户”行为：启用图形界面、清除 WebDriver 标识、模拟完整浏览器环境。 切勿依赖简单禁用 anchor 标签等无效手段。调试时建议结合 driver.current_url 实时监控跳转，并利用 driver.page_source 检查是否加载了预期 DOM 结构。对于生产环境，建议封装上述配置为可复用的 get_mca_driver() 工厂函数，统一管理启动策略。

理论要掌握，实操不能落！以上关于《Python Selenium 网站自动重定向问题的解决方案 》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！