Go语言高并发爬虫实战教学

从现在开始，我们要努力学习啦！今天我给大家带来《Go语言高并发爬虫实战教程》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

高并发爬虫需可控并发、连接复用、流式解析与反爬伪装：用自定义http.Client配连接池和超时，chan struct{}限流，goquery流式解析HTML，轮换UA并加随机延迟。

http.Get 本身是同步阻塞的，直接用它开成百上千个 goroutine 看似并发，实则极易触发连接耗尽、DNS 阻塞、目标站限流甚至本机 too many open files 错误。真正的高并发爬虫不是“多开”，而是“可控地多开 + 复用 + 降噪”。

用 *http.Client 配连接池，别裸调 http.Get

默认的 http.Get 内部使用全局默认客户端，没有超时、无连接复用、无空闲连接管理，100 个并发请求可能瞬间建立 100 个 TCP 连接，还全不释放。

• 必须显式构造带配置的 *http.Client，重点配 Transport
• MaxIdleConns 和 MaxIdleConnsPerHost 要设（比如都设为 100），否则连接用完就新建，压根不复用
• 务必设 Timeout（如 10 * time.Second），否则一个卡死请求会拖垮整个 worker 池
• IdleConnTimeout 建议设为 30 * time.Second，避免长连接被服务端主动断开后还傻等

client := &http.Client{
    Timeout: 10 * time.Second,
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 100,
        IdleConnTimeout:     30 * time.Second,
        TLSHandshakeTimeout: 5 * time.Second,
    },
}

用带缓冲 channel 当信号量，别用无缓冲或 sync.WaitGroup 控总数

sync.WaitGroup 只能等结束，不能限并发；无缓冲 chan struct{} 容易导致 goroutine 泄漏或死锁；真正稳定的做法是固定容量的信号量 channel。

• 声明 sem := make(chan struct{}, 100)，容量即最大并发数
• 每个任务开始前写入：sem <- struct{}{}（阻塞直到有空位）
• 任务结束后读出：<-sem（释放一个位置）
• 注意：必须在 goroutine 内部做 <-sem，且用 defer 包裹，防止 panic 后没释放

sem := make(chan struct{}, 100)
for _, url := range urls {
    go func(u string) {
        sem <- struct{}{} // 获取令牌
        defer func() { <-sem }() // 保证释放
    resp, err := client.Get(u)
    if err != nil {
        log.Printf("fetch fail %s: %v", u, err)
        return
    }
    defer resp.Body.Close()
    // ...处理响应
}(url)
}

解析 HTML 别用 io/ioutil.ReadAll，优先用 io.Copy 或流式解析

抓取大页面（比如电商详情页 >2MB）时，ioutil.ReadAll(resp.Body) 会把整页加载进内存，100 并发 × 2MB = 200MB 内存瞬时占用，GC 压力陡增，容易 OOM。

• 如果只需提取少量字段（如标题、价格），用 goquery.NewDocumentFromReader 直接传 resp.Body，它内部按需读取，不全载
• 如果要做文本清洗或存原始 HTML，用 io.Copy(ioutil.Discard, resp.Body) 忽略内容，或写入临时文件
• 绝对避免在 goroutine 中无节制地 ReadAll + 字符串拼接 —— Go 的字符串是不可变的，每次 + 都分配新内存

别忽略反爬细节：UA、随机延迟、Host 头、Referer

哪怕只是测试站，不加基础伪装也会被 nginx 层直接 403 或 429。真实站点更敏感。

• 每请求设不同 User-Agent（至少轮换 3–5 个主流浏览器 UA 字符串）
• 在 client.Do(req) 前，用 req.Header.Set("User-Agent", ua)
• 对同一 host 的请求，加入 time.Sleep(time.Duration(rand.Intn(300)+200) * time.Millisecond)
• 必要时设置 req.Header.Set("Referer", "https://example.com/") 和 req.Host = "example.com"（绕过 CDN 或 WAF 的 Host 校验）

Go 爬虫最难的从来不是“怎么并发”，而是“怎么让并发不把自己和对方搞崩”。连接复用、信号量、流式读取、UA 轮换——这四点漏掉任意一个，在千级 URL 规模下基本就跑不稳。真正上线的爬虫，80% 的代码都在做这些“不酷但管用”的控制逻辑。

理论要掌握，实操不能落！以上关于《Go语言高并发爬虫实战教学》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！