本文深入浅出地讲解了如何使用 Go 语言标准库高效、安全地抓取网页内容，从最基础的 `http.Get` 发起请求、严谨的错误处理与 `resp.Body.Close()` 资源释放，到设置 User-Agent 绕过简单反爬、利用 `golang.org/x/net/html` 解析 HTML 提取链接或文本，再到添加超时控制和轻量重试机制提升健壮性——全程无需第三方框架，强调“少而精”的工程实践，既适合初学者快速上手，也为实际项目提供了可落地的稳定性保障。

用 Golang 抓取网页内容，核心是 http.Get 发起请求 + io.ReadAll 读取响应体，再配合错误处理和基础 HTML 解析即可完成简单爬取。不需要额外框架，标准库足够起步。

基础 HTTP 请求与响应读取

最简方式就是调用 http.Get，检查状态码和错误，然后读取 Response.Body：

• 务必调用 resp.Body.Close() 防止连接泄漏
• 建议检查 resp.StatusCode == 200，避免静默拿到 404/500 响应
• 用 io.ReadAll（Go 1.16+）或 io.Copy + bytes.Buffer 读取全部内容

示例代码：

resp, err := http.Get("https://example.com")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()
if resp.StatusCode != 200 {
log.Fatalf("HTTP %d", resp.StatusCode)
}
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}
fmt.Println(string(body))

设置请求头模拟浏览器访问

很多网站会拒绝默认的 Go User-Agent，加个 User-Agent 头能绕过基础反爬：

• 使用 http.NewRequest 构造请求，再设置 Header.Set
• 常见 UA 可设为 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
• 必要时还可加 Accept、Accept-Language 等字段

示例：

req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
client := &http.Client{}
resp, err := client.Do(req)
// 后续同上：检查状态码、读 body、关闭...

解析 HTML 提取文本或链接

抓到 HTML 字符串后，可用 golang.org/x/net/html 包做轻量解析：

• 用 html.Parse 构建节点树，或用 html.NewTokenizer 流式解析（更省内存）
• 常用目标：提取所有 链接，或某个

  文本

• 注意处理字符编码（如网页是 GBK，需先转 UTF-8；多数现代网页是 UTF-8，可跳过）

简单提取所有链接示例：

doc, err := html.Parse(strings.NewReader(string(body)))
if err != nil {
    log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
    if n.Type == html.ElementNode && n.Data == "a" {
        for _, attr := range n.Attr {
            if attr.Key == "href" {
                fmt.Println(attr.Val)
            }
        }
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        f(c)
    }
}
f(doc)

添加超时与重试机制（进阶建议）

真实场景中，网络不稳定或目标响应慢，需主动控制：

• 用 http.Client{Timeout: 10 * time.Second} 防止卡死
• 简单重试可封装函数，失败后 sleep 再试 1–2 次（避免高频触发风控）
• 如需 Cookie 管理、代理、并发控制，可考虑 colly 或 goquery 等成熟库，但标准库已覆盖 80% 简单需求

基本上就这些。Golang 抓网页不复杂但容易忽略错误处理和资源释放，写几行就能跑通，稳住这三点就立得住。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~