PHP爬虫入门教程：简单实现方法详解

本文深入浅出地讲解了PHP爬虫的实用入门路径，强调其核心定位：不追求通用性，而是以轻量、快速、可靠为原则，精准应对无反爬、结构简单的静态页面或API接口抓取；对比分析了file_get_contents()与curl_init()在请求控制、反爬适配和健壮性上的关键差异，并直击DOMDocument解析HTML时的兼容性陷阱与优化技巧，同时理性指出simple_html_dom等第三方库的性能隐患与维护风险，最终回归本质——多数真实场景下，用curl搭配json_decode()拉取JSON/RSS才是高效务实之选。

PHP 不适合写通用爬虫，但能快速抓取结构简单、无反爬的页面——前提是别碰 JavaScript 渲染内容、别高频请求、别绕过 robots.txt。

用 file_get_contents() 抓纯 HTML 页面

这是最轻量的方式，适合静态页面、内网接口或测试环境。它不支持设置 User-Agent、不自动处理重定向、无法控制超时精度，但胜在代码少、无依赖。

• 必须手动加 stream_context_create() 才能设超时和 headers，否则默认 60 秒且无 UA，容易被拒绝
• 遇到 302 跳转会直接失败，返回空或警告，得自己解析 Location 头再发一次请求
• 如果目标页用了 gzip 压缩，file_get_contents() 默认不解压，需开启 zlib 扩展并配置 stream_context 的 http[encoding]

示例：

$opts = ['http' => ['method' => 'GET', 'header' => "User-Agent: PHP-curl/1.0\r\n", 'timeout' => 5]];
$content = file_get_contents('https://example.com', false, stream_context_create($opts));

用 curl_init() 处理常见反爬基础项

比 file_get_contents() 灵活得多，是 PHP 爬虫的实际起点。重点不是“能不能发请求”，而是“能不能像浏览器一样被接受”。

• 必须显式设置 CURLOPT_USERAGENT，否则多数站点返回 403
• CURLOPT_FOLLOWLOCATION 要配合 CURLOPT_MAXREDIRS 使用，不然重定向环会卡死
• 开启 CURLOPT_RETURNTRANSFER，否则结果直接输出到页面，没法解析
• HTTPS 页面若报 SSL certificate problem，不是去关证书验证（CURLOPT_SSL_VERIFYPEER=false），而是检查系统 CA 证书路径是否正确（用 CURLOPT_CAINFO 指向 curl-ca-bundle.crt）

用 DOMDocument 解析 HTML 容易崩在哪

它不是为现代网页设计的：对自闭合标签（如 ）、未闭合标签（如

xxx

yyy）、HTML5 标签（