Python爬虫入门：requests使用教程详解

本文系统介绍了Python爬虫入门必备的requests库，从零开始讲解如何用三行代码轻松获取网页内容，并深入剖析带参数请求、伪装请求头绕过基础反爬、智能解析JSON与HTML响应、以及通过异常处理和Session会话保持提升爬虫稳定性与实用性——无论你是编程新手还是想夯实爬虫基础的开发者，掌握这些核心技巧，就能高效、可靠地完成绝大多数静态页面抓取任务。

想用 Python 写爬虫，requests 是最该先掌握的库——它简单、稳定、功能够用，90% 的静态页面抓取任务靠它就能搞定。

一、安装和基础请求：三行代码拿下网页

先确保已安装 requests（没装就运行 pip install requests）。然后：

• 用 requests.get(url) 发起 GET 请求，返回一个 Response 对象
• 用 .text 获取字符串内容（适合 HTML、JSON 文本）
• 用 .content 获取原始字节（适合图片、PDF 等二进制数据）

示例：

import requests
res = requests.get('https://httpbin.org/get')
print(res.status_code)  # 看状态码，200 表示成功
print(res.text)         # 打印响应正文

二、带参数和请求头：让请求更像真人

很多网站会检查 User-Agent，直接请求可能被拒绝或返回 403。加上 headers 就能绕过基础反爬：

• URL 参数用 params=字典 自动拼接（比手动拼 '?a=1&b=2' 更安全）
• 请求头用 headers=字典，常见字段如 'User-Agent'、'Referer'

示例：

url = 'https://httpbin.org/get'
params = {'page': 1, 'limit': 10}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
res = requests.get(url, params=params, headers=headers)

三、处理响应数据：提取关键信息不靠猜

拿到响应后，别急着正则或手撕 HTML。先判断类型再选工具：

• 如果返回的是 JSON（比如接口），直接用 res.json() 解析成 Python 字典
• 如果是 HTML，推荐后续配合 BeautifulSoup 或 lxml 解析结构化数据
• 注意检查 res.encoding，中文乱码时可手动设为 'utf-8' 或 'gbk'

示例（解析 JSON 接口）：

res = requests.get('https://httpbin.org/json')
data = res.json()  # 自动解析，不用 json.loads(res.text)
print(data['slideshow']['title'])  # 直接按键取值

四、异常处理和会话保持：让爬虫稳一点

真实环境中网络不稳定、目标站改版、超时都是常态，加一层防护很必要：

• 用 try-except 捕获 requests.exceptions.RequestException（含超时、连接失败等）
• 设置 timeout=(连接超时, 读取超时)，避免卡死，比如 timeout=(3, 10)
• 需要登录或保持 Cookie 时，用 requests.Session() 替代 get/post，自动管理会话

示例（带超时和会话）：

session = requests.Session()
session.headers.update({'User-Agent': 'xxx'})
<p>try:
res = session.get('<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyero6Kn83GjHPXkraZo5qYYKbEeWmixpBsmnmyhqKulbikgnae3LJ7hpmGqrWyhbqUmbuseWm0faNkio2Ga77ds7KOho3PsqF-mQ' rel='nofollow'>https://example.com/login</a>', timeout=(3, 10))
res.raise_for_status()  # 非2xx状态码抛异常
except requests.exceptions.RequestException as e:
print("请求失败：", e)
</p>

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python爬虫入门：requests使用教程详解》文章吧，也可关注golang学习网公众号了解相关技术文章。