当前位置：首页 > 文章列表 > Golang > Go教程 > Golang抓取URL与网页解析教程

Golang抓取URL与网页解析教程

2026-01-03 15:14:38 0浏览收藏

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是Golang学习者，那么本文《Golang实现URL抓取与网页解析教程》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

Go URL抓取工具使用net/http发起带超时、User-Agent和重试的HTTP请求，配合goquery解析HTML，支持CSS选择器提取标题与链接，自动处理重定向和编码。

如何使用Golang实现URL抓取工具_获取网页内容并解析

用 Golang 写一个 URL 抓取工具，核心是发起 HTTP 请求、读取响应体、解析 HTML 结构。它不依赖外部浏览器，轻量高效，适合批量采集、监控或数据预处理。

发送 HTTP 请求获取网页内容

Go 标准库 net/http 足够完成基础抓取。注意设置超时、User-Agent 和重试逻辑，避免被目标站拦截或阻塞。

使用 http.Client 并配置 Timeout（如 10 秒），防止请求卡死
通过 req.Header.Set("User-Agent", "...") 模拟常见浏览器标识，提升通过率
对 4xx/5xx 响应或连接错误做简单重试（例如最多 2 次），但避免高频重试触发风控

解析 HTML 提取结构化数据

推荐使用开源库 github.com/PuerkitoBio/goquery（jQuery 风格 API），比原生 html 包更直观易用。

用 goquery.NewDocumentFromReader 加载响应 Body，跳过保存临时文件步骤
支持 CSS 选择器：如 doc.Find("title").Text() 获取标题，doc.Find("a[href]").Each(...) 遍历所有链接
提取文本时注意调用 .CleanString() 或手动 TrimSpace，去除多余换行和空白符

处理编码与重定向

中文网页常存在编码识别问题；部分站点会返回 301/302 重定向，需显式控制是否跟随。

启用自动重定向：默认 http.Client 会跟随，如需禁用，设 CheckRedirect 返回 error
检测响应头 Content-Type 中的 charset（如 charset=utf-8），或用 golang.org/x/net/html/charset 自动识别 HTML 内声明的编码
若页面乱码，可先用 charset.NewReaderLabel 转换 Reader，再传给 goquery

简单示例：抓取标题和外链

以下代码片段可直接运行，完成一次抓取 + 解析：

package main
import (
  "fmt"
  "log"
  "net/http"
  "time"
  "github.com/PuerkitoBio/goquery"
)
func main() {
  client := &http.Client{Timeout: 10 * time.Second}
  req, _ := http.NewRequest("GET", "https://example.com", nil)
  req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) GoFetcher/1.0")
  resp, err := client.Do(req)
  if err != nil { log.Fatal(err) }
  defer resp.Body.Close()
  if resp.StatusCode != 200 { log.Fatalf("HTTP %d", resp.StatusCode) }
  doc, err := goquery.NewDocumentFromReader(resp.Body)
  if err != nil { log.Fatal(err) }
  title := doc.Find("title").Text()
  fmt.Println("Title:", title)
  doc.Find("a[href]").Each(func(i int, s *goquery.Selection) {
    href, _ := s.Attr("href")
    fmt.Printf("Link %d: %s\n", i+1, href)
  })
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。