Python爬虫入门：requests使用教程

一分耕耘，一分收获！既然都打开这篇《Python爬虫入门：requests库教程》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新文章相关的内容，希望对大家都有所帮助！

Python爬虫使用requests库发送请求、处理Cookie和Session、设置Headers、处理异常及使用代理IP。1. 发送GET请求用requests.get(url)获取网页内容；2. POST请求通过requests.post(url, data=data)提交数据；3. 创建Session对象自动管理Cookie实现登录访问；4. 通过headers参数模拟浏览器标识防止被识别为爬虫；5. 使用timeout设置超时并结合try-except捕获异常；6. 利用proxies参数配置代理IP防止IP被封。

Python爬虫，核心就是模拟浏览器行为，抓取网页上的数据。requests库，绝对是入门级的神器，用起来简单粗暴，效率还高。

利用requests库，我们可以轻松地向服务器发送HTTP请求，拿到网页的HTML源代码，然后就可以用BeautifulSoup或者XPath来解析提取数据了。

安装requests库很简单，直接pip install requests就搞定了。

如何用requests发送GET和POST请求？

GET请求是最常用的，比如你想获取某个网页的内容：

import requests

url = 'https://www.example.com'
response = requests.get(url)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

POST请求一般用于提交数据，比如登录：

import requests

url = 'https://www.example.com/login'
data = {'username': 'your_username', 'password': 'your_password'}
response = requests.post(url, data=data)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

注意，response.status_code是HTTP状态码，200表示请求成功。response.text是网页的HTML源代码。

如何处理requests中的Cookie和Session？

有些网站需要登录才能访问，这就涉及到Cookie和Session。requests库可以自动处理Cookie，你只需要创建一个Session对象：

import requests

session = requests.Session()

# 先登录
url_login = 'https://www.example.com/login'
data_login = {'username': 'your_username', 'password': 'your_password'}
response_login = session.post(url_login, data=data_login)

# 登录后访问需要权限的页面
url_protected = 'https://www.example.com/protected'
response_protected = session.get(url_protected)

if response_protected.status_code == 200:
    print(response_protected.text)
else:
    print(f"请求失败，状态码：{response_protected.status_code}")

Session对象会自动保存Cookie，下次请求会自动带上。

requests库如何设置请求头（Headers）？

有些网站会检查请求头，防止爬虫。我们可以通过设置Headers来模拟浏览器：

import requests

url = 'https://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

User-Agent是浏览器标识，可以从浏览器开发者工具中找到。

requests库如何处理超时和异常？

网络请求可能会超时或者出现其他异常，我们需要处理这些情况：

import requests

url = 'https://www.example.com'

try:
    response = requests.get(url, timeout=5)  # 设置超时时间为5秒
    response.raise_for_status()  # 检查HTTP状态码，如果不是200，抛出异常
    print(response.text)
except requests.exceptions.RequestException as e:
    print(f"请求出错：{e}")

timeout参数设置超时时间。response.raise_for_status()会检查HTTP状态码，如果不是200，会抛出异常。

如何使用代理IP防止被封？

频繁的爬取可能会被网站封IP，使用代理IP可以解决这个问题：

import requests

url = 'https://www.example.com'
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
try:
    response = requests.get(url, proxies=proxies, timeout=5)
    response.raise_for_status()
    print(response.text)
except requests.exceptions.RequestException as e:
    print(f"请求出错：{e}")

你需要替换http://10.10.1.10:3128和http://10.10.1.10:1080为你的代理IP地址。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~