Python爬虫：requests.get抓取网页教程

本文深入解析了Python中requests.get()在网页爬虫实战中的核心痛点与解决方案：针对乱码和空内容问题，强调应优先使用response.content配合编码检测工具手动解码，而非依赖默认的response.text；针对JS渲染内容无法获取的局限，指出requests本质是静态HTTP客户端，需通过查看源代码、抓取API接口或切换至Selenium/Playwright等渲染引擎来应对；同时系统梳理了超时控制、自动重试、Session复用、Cookie/Referer/CSRFToken等关键请求头的正确设置方法，并反复强调——真正决定爬虫成败的，不是语法是否正确，而是能否透过浏览器开发者工具精准识别网站的反爬逻辑与动态验证机制。

requests.get() 返回空内容或乱码怎么办

不是请求失败，而是响应体没被正确解码。requests 默认用 response.encoding 解码，但很多网页的 Content-Type 没带 charset，或者 HTML meta 里声明的编码和实际不符，导致 response.text 出现乱码或截断。

实操建议：

• 优先用 response.content（bytes）配合 chardet.detect() 或 charset_normalizer.from_bytes() 推测编码，再手动 decode
• 如果知道网页是 UTF-8，直接 response.content.decode('utf-8')，比 response.text 更可靠
• 遇到 GBK/GB2312 网页（尤其国内老站），别信 response.apparent_encoding，它常误判；改用 response.content.decode('gbk', errors='ignore')
• 设置 headers={'User-Agent': 'Mozilla/5.0...'}，否则有些网站返回 403 或空页面

为什么 requests.get() 抓不到 JavaScript 渲染的内容

requests 是纯 HTTP 客户端，不执行 JS、不解析 DOM、不维护会话上下文。它拿到的只是服务器返回的原始 HTML 字符串，所有通过 fetch、axios 或 Vue/React 动态插入的内容，它一概看不见。

实操建议：

• 先用浏览器「查看页面源代码」（Ctrl+U），确认目标数据是否在初始 HTML 里；如果只在「元素」面板里出现，说明是 JS 渲染的，requests 无能为力
• 检查 Network 面板，找 XHR/Fetch 请求，复制其 URL 和 headers，用 requests.get() 直接请求那个接口（常返回 JSON）
• 真需要渲染能力时，换 selenium 或 playwright，但代价是慢、重、易被反爬；requests 永远只适合静态 HTML 或 API 抓取

超时、重试、连接错误这些基础问题怎么稳住

网络不稳定时，requests.get() 默认会卡死（无 timeout）、不重试、遇到 DNS 失败就抛 ConnectionError，线上脚本很容易崩。

实操建议：

• 必须加 timeout=(3, 7)：第一个数字是连接超时，第二个是读取超时；不要只写一个数字，否则可能卡在大文件下载上
• 用 urllib3.util.Retry 配合 requests.adapters.HTTPAdapter 实现自动重试，重点重试 ConnectTimeout 和 ReadTimeout，别盲目重试 404 或 500
• DNS 缓存问题常见于容器或云函数环境，可加 session.mount('http://', adapter) 统一控制
• 别在循环里反复新建 Session，复用它才能复用连接池，否则并发高了直接触发 Max retries exceeded

Cookie、登录态、Referer 这些头信息怎么传才不被拒

很多网站靠 Cookie、Referer、Origin 判断请求合法性。光有 User-Agent 不够，漏掉关键字段就会返回 302 跳登录页或 403。

实操建议：

• 登录后抓包，把浏览器发出的完整 Cookie 字符串（如 'sessionid=abc123; csrftoken=xyz789'）塞进 headers={'Cookie': '...'}，别试图自己拼 requests.Session().cookies.set()
• Referer 必须和当前请求路径逻辑一致，比如从 /list 页面点进 /detail/123，那请求 detail 时 Referer 就得是 /list，否则某些风控直接拦截
• 敏感操作（如提交表单）要带上 X-CSRFToken 或 csrftoken cookie 值，这个通常藏在 HTML 的 里，得先 get 一次页面提取
• 用 Session 对象自动管理 Cookie，但注意：跨域名不共享，且 session.get() 不会自动处理 302 带来的 Set-Cookie（除非显式设 allow_redirects=True）

真正难的从来不是发个请求，而是看懂网站怎么防你——它在哪埋检测点、哪些 header 是硬性门槛、哪些字段会随时间/用户动态变化。这些细节不翻 Network 面板、不对比前后请求，光查文档没用。

以上就是《Python爬虫：requests.get抓取网页教程》的详细内容，更多关于的资料请关注golang学习网公众号！