R网页抓取失败？CSS选择器通用解决方法

要构建健壮、可扩展的爬虫逻辑，关键在于主动适配而非被动依赖单一选择器。推荐采用组合 CSS 选择器语法 #article, #printThis，它能同时匹配任一存在的 ID，且 html_elements()（新版 rvest 推荐函数，替代已弃用的 html_nodes()）会自动返回所有匹配节点，无匹配时返回空节点（不会报错）。

以下为生产就绪的示例代码（兼容 R 4.1+ 与 rvest ≥ 1.0）：

library(rvest)
library(stringr)

links <- c(
  "https://www.federalreserve.gov/monetarypolicy/fomcminutes20230201.htm",
  "https://www.federalreserve.gov/monetarypolicy/fomcminutes20111102.htm"
)

# 批量抓取：统一处理多结构页面
scraped_texts <- lapply(links, function(url) {
  read_html(url) %>%
    html_elements("#article, #printThis") %>%  # 兼容新旧ID
    html_text() %>%
    str_squish() %>%        # 清理多余空白符（换行、缩进、连续空格）
    str_c(collapse = " ")   # 合并多个匹配块（如存在多个#article）
})

# 查看结果（每条截取前80字符便于预览）
lapply(scraped_texts, str_trunc, width = 80)

✅ 关键注意事项：

• ✦ 始终优先使用 html_elements()（非 html_nodes()），后者在 rvest 1.0+ 中已被标记为废弃；
• ✦ str_squish() 比 str_trim() 更彻底——它将内部所有空白序列压缩为单个空格，避免段落间残留冗余空格；
• ✦ 若未来新增结构（如 #content-main），只需扩展选择器："#article, #printThis, #content-main"；
• ✦ 对于大规模抓取，建议添加 httr2::request() 配置超时与用户代理头，规避反爬拦截（例如 set_user_agent("Mozilla/5.0")）；
• ❌ 避免使用 html_node()（单节点）代替 html_elements()（多节点），否则首个不匹配即返回 NULL，导致静默失败。

总结而言，网页抓取的稳定性不取决于“猜对一个选择器”，而在于设计可演化的选择器策略 + 健壮的文本清洗流程。面对机构网站的历史存档页，拥抱结构多样性，才是可持续数据采集的基石。

好了，本文到此结束，带大家了解了《R网页抓取失败？CSS选择器通用解决方法》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！