Python爬虫实战教程，手把手教你写稳定爬虫代码

想掌握Python爬虫技术，又担心被网站封禁？本文为你提供一份实战教学，手把手教你编写稳定的爬虫代码。从安装requests和BeautifulSoup库开始，讲解如何发送带User-Agent的GET请求，并利用BeautifulSoup解析HTML提取数据。更重要的是，本文深入剖析了爬虫被封禁的常见原因，如请求频次过高、User-Agent固定、Cookie缺失等，并提供了有效的应对策略，包括使用time.sleep()延迟请求、构建随机IP代理池、维护User-Agent池、处理Cookie以及应对验证码。反爬技术日益复杂，只有不断优化策略，才能保证爬虫的有效性。无论你是初学者还是有一定经验的开发者，都能从本文中受益，写出更健壮、更稳定的Python爬虫。

如何用Python编写简单网络爬虫并避免被封禁？1. 安装requests和BeautifulSoup库；2. 使用requests发送带User-Agent的GET请求；3. 用BeautifulSoup解析HTML提取数据；4. 避免被封禁需控制请求频率、使用IP代理池、维护User-Agent池、处理Cookie及应对验证码。爬虫被封原因包括请求频次过高、User-Agent固定、Cookie缺失、IP被识别及行为异常。应对策略为：1. 用time.sleep()延迟请求；2. 构建随机IP代理池；3. 收集并轮换多个User-Agent；4. 处理Cookie以模拟登录；5. 对验证码采用OCR或人工识别。反爬技术复杂多变，需持续优化策略以保持爬虫有效性。

网络爬虫，简单来说，就是一段自动抓取互联网信息的程序。要用Python实现它，核心在于模拟浏览器的行为，发送HTTP请求，然后解析返回的HTML或其他格式的内容。至于避免被封禁，那可就复杂了，得像猫捉老鼠一样，不断学习反爬策略。

Python实现网络爬虫主要依赖于requests库发送请求，BeautifulSoup或lxml库解析HTML。避免被封禁则需要IP代理、User-Agent池、请求频率控制等策略。

如何用Python编写一个简单的网络爬虫？

首先，你需要安装必要的库：pip install requests beautifulsoup4。然后，就可以开始编写代码了。

import requests
from bs4 import BeautifulSoup

def scrape_website(url):
    try:
        response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}) # 模拟浏览器
        response.raise_for_status()  # 检查请求是否成功

        soup = BeautifulSoup(response.content, 'html.parser')
        # 在这里编写提取数据的逻辑，例如：
        titles = soup.find_all('h2')
        for title in titles:
            print(title.text.strip())

    except requests.exceptions.RequestException as e:
        print(f"请求出错: {e}")
    except Exception as e:
        print(f"解析出错: {e}")

if __name__ == "__main__":
    target_url = "https://www.example.com" # 替换成你要爬取的网址
    scrape_website(target_url)

这段代码首先使用requests库发送GET请求，并设置了一个User-Agent头部，模拟浏览器的行为。然后，使用BeautifulSoup解析返回的HTML内容，并提取所有的

标签的文本。

这只是一个非常基础的例子，实际应用中，你需要根据目标网站的结构，编写更复杂的解析逻辑。而且，为了避免被封禁，还需要加入更多的反爬策略。

爬虫被封禁有哪些常见原因？

爬虫被封禁的原因有很多，最常见的就是：

1. 请求频率过高：短时间内大量访问网站，服务器会认为你是恶意攻击。
2. User-Agent固定：所有请求都使用相同的User-Agent，很容易被识别为爬虫。
3. Cookie缺失：有些网站需要Cookie才能正常访问，如果你的爬虫没有处理Cookie，可能会被拒绝访问。
4. IP地址被封禁：如果你的IP地址被网站识别为爬虫，可能会被暂时或永久封禁。
5. 行为模式异常：比如，总是访问特定类型的页面，或者访问速度异常快，也可能被识别为爬虫。

要避免被封禁，就要针对这些原因采取相应的措施。

如何使用IP代理避免爬虫被封禁？

使用IP代理是避免IP地址被封禁的有效方法。你可以从网上购买或自建IP代理池，然后在每次请求时，随机选择一个IP地址。

import requests
import random

def scrape_with_proxy(url, proxies):
    try:
        proxy = random.choice(proxies)
        response = requests.get(url, proxies={'http': proxy, 'https': proxy}, headers={'User-Agent': 'Mozilla/5.0'})
        response.raise_for_status()

        # 处理响应内容
        print(f"使用代理 {proxy} 成功访问 {url}")

    except requests.exceptions.RequestException as e:
        print(f"使用代理 {proxy} 访问 {url} 出错: {e}")

if __name__ == "__main__":
    target_url = "https://www.example.com"
    proxy_list = [
        "http://10.10.1.10:3128",
        "http://10.10.1.11:1080",
        # 更多代理IP
    ]
    scrape_with_proxy(target_url, proxy_list)

这段代码从proxy_list中随机选择一个IP地址，并将其用于requests.get()方法的proxies参数。

当然，使用IP代理也需要注意一些问题。首先，要确保代理IP的可用性，因为很多免费代理IP的质量很差。其次，要注意代理IP的地理位置，有些网站会根据IP地址限制访问。

如何维护一个有效的User-Agent池？

维护一个有效的User-Agent池，可以模拟不同浏览器的行为，降低被识别为爬虫的风险。你可以从网上收集大量的User-Agent，并将它们存储在一个列表中。

import requests
import random

user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36",
    # 更多User-Agent
]

def get_random_user_agent():
    return random.choice(user_agents)

def scrape_with_random_user_agent(url):
    try:
        user_agent = get_random_user_agent()
        response = requests.get(url, headers={'User-Agent': user_agent})
        response.raise_for_status()

        # 处理响应内容
        print(f"使用User-Agent {user_agent} 成功访问 {url}")

    except requests.exceptions.RequestException as e:
        print(f"访问 {url} 出错: {e}")

if __name__ == "__main__":
    target_url = "https://www.example.com"
    scrape_with_random_user_agent(target_url)

这段代码定义了一个user_agents列表，包含了多个User-Agent。每次请求时，随机选择一个User-Agent，并将其设置到requests.get()方法的headers参数中。

除了收集User-Agent，你还可以定期更新User-Agent池，以确保其包含最新的浏览器信息。

如何控制爬虫的请求频率？

控制请求频率是避免被封禁的重要手段。你可以使用time.sleep()函数，在每次请求之间添加一定的延迟。

import requests
import time

def scrape_with_delay(url, delay):
    try:
        response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
        response.raise_for_status()

        # 处理响应内容
        print(f"成功访问 {url}")

    except requests.exceptions.RequestException as e:
        print(f"访问 {url} 出错: {e}")

    time.sleep(delay) # 添加延迟

if __name__ == "__main__":
    target_url = "https://www.example.com"
    delay_seconds = 2 # 延迟2秒
    scrape_with_delay(target_url, delay_seconds)

这段代码在每次请求之后，使用time.sleep(delay)函数，暂停delay秒。你可以根据目标网站的访问策略，调整delay的值。

除了简单的延迟，你还可以使用更高级的流量控制技术，比如令牌桶算法或漏桶算法，来更精细地控制请求频率。

如何处理网站的验证码？

有些网站会使用验证码来防止爬虫的恶意访问。处理验证码是一个比较复杂的问题，通常需要用到图像识别技术。

对于简单的验证码，你可以使用OCR（Optical Character Recognition）技术，将验证码图片转换为文本。Python有很多OCR库可以使用，比如pytesseract。

对于更复杂的验证码，可能需要使用机器学习技术，训练一个验证码识别模型。这需要大量的标注数据和一定的机器学习知识。

当然，最简单的方法是人工识别验证码。你可以将验证码图片显示给用户，让用户手动输入验证码，然后将验证码提交给服务器。

总之，爬虫的反爬策略是一个不断升级的过程。你需要不断学习新的技术，才能有效地应对各种反爬挑战。

以上就是《Python爬虫实战教程，手把手教你写稳定爬虫代码》的详细内容，更多关于Python爬虫,IP代理,User-Agent,请求频率,反爬策略的资料请关注golang学习网公众号！