Python爬虫用lxml和XPath高效解析HTML

想让Python爬虫解析HTML又快又省资源？lxml搭配XPath是比BeautifulSoup更高效的选择——在结构清晰、嵌套较深或需精准定位属性、位置等复杂场景下，其解析速度可提升3–10倍，内存占用显著更低，还支持完整的XPath 1.0语法，轻松实现如//div[@class="item" and position()

为什么用 lxml + XPath 而不是 BeautifulSoup？

当 HTML 结构清晰、嵌套深或需精确匹配属性/位置时，lxml 的解析速度通常比 BeautifulSoup（尤其搭配 html.parser）快 3–10 倍，且内存占用更低。它原生支持完整 XPath 1.0，能写如 //div[@class="item" and position() 这类带逻辑和位置约束的表达式——BeautifulSoup 自身不支持，得靠额外循环。

但注意：lxml 对破损 HTML 的容错性略弱于 BeautifulSoup；若目标页面大量缺失闭合标签或混用大小写，建议先用 lxml.html.fromstring() + lxml.html.tostring() 回写修正，或改用 lxml.html.soupparser（需额外安装 beautifulsoup4）。

parse() 和 fromstring() 怎么选？

二者核心区别在输入来源和编码处理：

• lxml.etree.parse()：接收文件路径或文件对象，**自动探测编码**（通过 或 BOM），适合读本地 HTML 文件或已保存的响应内容
• lxml.etree.fromstring()：接收字符串（bytes 或 str），**不自动解码**；传 bytes 时必须显式指定 parser=lxml.etree.HTMLParser(encoding="utf-8")，否则可能报 UnicodeDecodeError

爬虫中更常用 fromstring()，因为 requests.get().content 返回的是 bytes：

import lxml.etree
html = response.content  # bytes
tree = lxml.etree.fromstring(html, lxml.etree.HTMLParser(encoding="utf-8"))
titles = tree.xpath('//h1/text()')

常见 XPath 写法陷阱与绕过方案

实际写 XPath 时，以下问题高频出现：

• 空格/换行导致 text() 匹配失败：HTML 中
  \n Hello\n
  的 text() 是 '\n Hello\n'，不是 'Hello'。改用 .xpath('normalize-space(//div)') 或先取节点再调 .strip()
• class 名含空格或动态值（如 "btn btn-primary js-submit"）：别写 [@class="btn-primary"]，用 contains(@class, "btn-primary")
• 属性值含引号或特殊字符：用 concat() 或转义，更简单是改用 re:match()（需启用正则命名空间：namespaces={"re": "http://exslt.org/regular-expressions"}）
• JavaScript 渲染内容：XPath 再强也拿不到未加载的 DOM，确认是否需配合 Playwright 或 Selenium 先执行 JS

性能关键：避免重复解析与过度 xpath()

每个 .xpath() 调用都是一次完整遍历，频繁调用会显著拖慢速度：

• ❌ 错误示范：tree.xpath('//li')[0].xpath('./span/text()') + tree.xpath('//li')[1].xpath('./span/text()') —— 每次都重扫整个文档
• ✅ 正确做法：一次取到所有
• ，再对每个节点单独查子元素：lis = tree.xpath('//li'); [li.xpath('.//span/text()') for li in lis]
• 若只需第一个匹配，用 tree.xpath('(//div[@id="main"])[1]')（括号强制优先级），而非 tree.xpath('//div[@id="main"]')[0]（Python 切片仍会返回全部结果再取首项）

另外，lxml 默认不缓存 XPath 编译结果。对固定表达式，可预编译提升 20%+ 速度：compiled = lxml.etree.XPath('//a/@href'); hrefs = compiled(tree)。

好了，本文到此结束，带大家了解了《Python爬虫用lxml和XPath高效解析HTML》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！