Golang开发简单爬虫教程及实战

本文手把手教你用Golang开发一个轻量、高效且可扩展的网页爬虫：从使用net/http发送带User-Agent和延时控制的HTTP请求，到借助goquery以jQuery风格解析HTML提取标题与段落内容，再到将结果结构化保存为JSON文件，全程聚焦实战细节与反封策略，既适合初学者快速跑通单页抓取流程，也为后续构建高并发、分布式爬虫打下坚实基础。

用Golang开发简单的爬虫项目并不复杂，主要依赖标准库和一些第三方包来完成HTTP请求、HTML解析和数据提取。下面是一个清晰的实现路径，帮助你快速上手。

1. 发送HTTP请求获取网页内容

使用 net/http 包可以轻松发起GET请求获取网页HTML内容。

示例代码：

resp, err := http.Get("https://httpbin.org/html")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()

body, err := io.ReadAll(resp.Body)
if err != nil {
    log.Fatal(err)
}

html := string(body)

2. 解析HTML提取所需数据

Golang标准库没有内置的CSS选择器或类似jQuery的工具，推荐使用第三方库 goquery，它类似于jQuery的语法，非常方便。

示例：提取页面标题和所有段落文本

doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
if err != nil {
    log.Fatal(err)
}

title := doc.Find("h1").Text()
fmt.Println("标题:", title)

doc.Find("p").Each(func(i int, s *goquery.Selection) {
    fmt.Printf("段落 %d: %s\n", i, s.Text())
})

3. 处理请求频率与User-Agent

避免被目标网站封禁，需模拟正常浏览器行为。

示例：自定义请求头

client := &http.Client{}
req, _ := http.NewRequest("GET", "https://httpbin.org/html", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (compatible; Bot/1.0)")

resp, err := client.Do(req)

4. 保存数据到文件或数据库

抓取的数据可保存为JSON、CSV或存入数据库。

示例：保存为JSON

data := map[string]string{"title": title, "content": content}
file, _ := json.MarshalIndent(data, "", "  ")
_ = ioutil.WriteFile("output.json", file, 0644)

基本上就这些。一个简单的爬虫由请求、解析、清洗、存储四步组成。Golang凭借其高性能和并发支持，特别适合扩展成多任务爬虫。初期建议先跑通单页流程，再考虑分页、链接追踪和错误重试机制。

理论要掌握，实操不能落！以上关于《Golang开发简单爬虫教程及实战》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！