PythonSelenium多线程爬虫偶尔报错解决方案

Python Selenium多线程爬虫在并发执行时偶尔报错，本文针对此问题进行了深入分析和解决。 问题源于使用`--remote-debugging-port`参数导致多线程环境下端口冲突，引发`WebDriverException`异常，单线程运行则正常。文章详细描述了错误信息及代码，并提供了两种解决方案：移除该参数或为每个线程分配不同的端口号，最终确保Selenium爬虫稳定运行。 建议优先选择移除参数，并考虑使用进程池等高级并发控制机制提升效率。

Python Selenium网页爬虫多线程并发执行偶尔报错原因及解决方法

本文分析了使用Python和Selenium进行网页爬虫，并将动态HTML保存为PDF文件时，多线程并发执行偶尔报错，而单线程执行却正常运行的问题。

问题描述

项目需求需要将动态HTML页面转换为PDF。我们使用Python和Selenium，通过page.printToPdf命令获取PDF数据并保存。为了提高效率，采用了多线程并发执行。然而，多线程环境下偶尔出现错误，单线程执行则一切正常。

问题代码及错误信息

以下代码片段用于测试：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
# ... other imports ...

def test():
    service_obj = Service(r"d:\work\chromedriver-win64\chromedriver.exe")
    options_obj = Options()
    options_obj.binary_location = r"d:\work\chrome-win64\chrome.exe"
    options_obj.add_argument('--no-sandbox')
    options_obj.add_argument('--disable-gpu')
    # options_obj.add_argument("--remote-debugging-port=9225")  # problematic line
    options_obj.add_argument("--incognito")
    # ... other options ...
    driver = webdriver.Chrome(options=options_obj, service=service_obj)
    print(driver.session_id)
    driver.get("https://www.baidu.com")
    driver.quit()

if __name__ == '__main__':
    threads = [threading.Thread(target=test) for _ in range(3)]
    for t in threads:
        t.start()

错误信息如下：

<code>Exception in thread Thread-2:
Traceback (most recent call last):
  ...
selenium.common.exceptions.WebDriverException: Message: disconnected: unable to receive message from renderer
  (Session info: chrome=120.0.6099.71)</code>

原因分析与解决方案

问题根源在于（已注释掉的）options_obj.add_argument("--remote-debugging-port=9225") 这行代码。它指定了Chrome的远程调试端口为9225。多线程并发执行时，多个线程试图同时使用该端口，导致端口冲突，引发WebDriverException。

解决方案：

1. 移除远程调试端口参数: 直接删除 options_obj.add_argument("--remote-debugging-port=9225") 这行代码，避免端口冲突。这是最简单直接的解决方法。

2. 为每个线程分配不同的端口: 如果需要使用远程调试功能，可以为每个线程分配不同的端口：

def test(port):
    options_obj.add_argument(f"--remote-debugging-port={port}")
    # ... rest of the code ...

if __name__ == '__main__':
    ports = [9225, 9226, 9227]
    threads = [threading.Thread(target=test, args=(port,)) for port in ports]
    for t in threads:
        t.start()

通过以上方法，可以有效解决多线程并发执行时出现的端口冲突问题，确保Selenium爬虫的稳定运行。 建议优先采用第一种方法，除非有明确需要使用远程调试功能。 此外，考虑使用更高级的并发控制机制，例如进程池，以更好地管理资源并提高效率。

今天关于《PythonSelenium多线程爬虫偶尔报错解决方案》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！