使用Go语言进行HTTP请求以检索网站DOM

今天golang学习网给大家带来了《使用Go语言进行HTTP请求以检索网站DOM》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

在 GO 中，我使用 HTTP 请求来获取网站 html，我发现某些元素与在 Chrome 中使用 Inspect 时有所不同。在 google 中的搜索和一些阅读使我了解到，我在 Inspect 中看到的是一个名为 DOM 的阶段，它采用原始 html 并运行一些添加信息和更改元素的 java 脚本（对我来说，我是新手） ^_^）。 为什么我可以在 GO 中接收 DOM 而不是原始 html？我知道我可以使用 Chromedp，但我希望有一些更像某种 HTTP 包的东西，因为 Chromedp 对性能有点重。 我真的很感激任何建议，谢谢。

解决方案

一个简单的 HTTP 请求（通过 Go 或其他任何方式）将只能获得原始 HTML。 DOM 是浏览器生成的对原始 HTML 的解释。是的，甚至还有像 Shadow DOM 这样的东西。

JavaScript 由浏览器的 JavaScript 引擎解释，该引擎将更改应用于 DOM、添加事件侦听器并动态操作所述 DOM。

这就是为什么你无法通过 HTTP 请求获取在浏览器中看到的 DOM 状态。该请求不包含通过浏览器的 JavaScript 引擎完成的所有客户端 DOM 操作。请求库不是浏览器。

要访问您习惯在开发人员工具中看到的完整渲染的 DOM，您将需要更复杂的网页抓取设置，通常涉及无头浏览器，例如 Puppeteer。但是，这是用Node.js。对于 Go，您可能会更幸运地使用 chromedp 或 cdp。

DOM 代表“文档对象模型”，它是一个节点树，其中每个节点代表底层文档的一个元素。节点可能对应于元素、文本、注释等。周围有许多基于 go 的 DOM 包。您应该查看的一个是：

https://godoc.org/golang.org/x/net/html

它允许您解析 HTML，并以编程方式遍历文档的元素。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《使用Go语言进行HTTP请求以检索网站DOM》文章吧，也可关注golang学习网公众号了解相关技术文章。