Go语言实战：简单爬虫项目开发教程

本文深入剖析了用Go语言构建稳定、可靠、可维护的网络爬虫的核心实践，强调爬虫开发的关键不在于“能否发出请求”，而在于如何通过自定义http.Client精细控制超时、重试、重定向与Cookie管理，结合golang.org/x/net/html安全解析HTML，利用channel实现按Host独立节流的并发控制，并规避常见陷阱如DNS缓存失效、GBK乱码、子域名Cookie丢失和正则解析HTML的脆弱性——为开发者提供一套直击生产痛点、兼顾健壮性与扩展性的实战方法论。

Go 语言写简单爬虫，核心不是“能不能发请求”，而是「怎么发得稳、收得全、不被封、好维护」。直接上 http.Get 能跑通首页，但遇到重定向、Cookie 管理、超时控制、User-Agent 伪造、反爬响应（如 403/429）就立刻卡住。

用 http.Client 替代 http.Get 控制请求生命周期

http.Get 是便捷封装，底层用默认 http.DefaultClient，但默认值对爬虫极不友好：无超时、无重试、无视重定向策略、无法设 Header。真实场景必须自定义 http.Client。

常见错误是只改 Timeout 却忽略 Transport 的连接池和 Keep-Alive 设置，导致大量 TIME_WAIT 或 DNS 缓存失效。

• Timeout 应拆分为 Timeout（总耗时）、IdleConnTimeout（空闲连接复用上限）、TLSHandshakeTimeout（TLS 握手上限）
• 务必显式设置 User-Agent，否则多数网站返回 403；可用常见浏览器 UA 字符串，如 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
• 禁用自动重定向（CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }），便于手动判断跳转逻辑和登录态变化

client := &http.Client{
    Timeout: 10 * time.Second,
    Transport: &http.Transport{
        IdleConnTimeout:        30 * time.Second,
        TLSHandshakeTimeout:    5 * time.Second,
        MaxIdleConns:           100,
        MaxIdleConnsPerHost:    100,
        ForceAttemptHTTP2:      true,
    },
}
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64)")
resp, err := client.Do(req)

解析 HTML 用 golang.org/x/net/html 而非正则

用 regexp 提取链接或标题，在嵌套标签、属性换行、HTML 注释等场景下极易误匹配或 panic。标准库 golang.org/x/net/html 是流式解析器，内存友好且健壮。

注意：它不自动处理编码（如 GBK），遇到中文乱码需先用 golang.org/x/net/html/charset 检测并转换；也不支持 CSS 选择器，如需 div.item a.title 这类写法，得搭配第三方库如 github.com/PuerkitoBio/goquery。

• 遍历节点用 html.NodeTypeElement 判断元素类型，避免误读文本/注释节点
• 获取属性用 node.Attr 循环查找，node.Attr[i].Key == "href"，别硬索引
• 文本内容需递归提取子节点中的 Text 类型节点，不能只取 FirstChild.Data

处理重定向、Cookie 和登录态的最小可行方案

很多目标站需要 Cookie 维持会话（如登录后才能访问详情页）。Go 默认 http.Client 自带 Jar，但必须显式初始化，否则重定向后的 Cookie 不会自动携带。

常见坑：用 cookiejar.New(nil) 初始化却忘记传入 &cookiejar.Options{PublicSuffixList: publicsuffix.List}，导致子域名 Cookie 无法共享（如从 login.example.com 登录后，app.example.com 拿不到 Cookie）。

• 启用 Cookie 管理只需两行：jar, _ := cookiejar.New(&cookiejar.Options{PublicSuffixList: publicsuffix.List})，再赋给 client.Jar = jar
• 手动注入 Cookie（如已有登录态）：构造 *http.Cookie 后调用 jar.SetCookies(u, []*http.Cookie{cookie})
• 检查是否已登录：解析响应 HTML 中是否存在 欢迎回来 或 logout 链接，而非只看状态码

并发控制与请求节流不能只靠 time.Sleep

盲目启 100 个 goroutine 发请求，大概率触发目标站限流（429 Too Many Requests）或本地端口耗尽（socket: too many open files）。必须做并发数限制 + 请求间隔控制。

推荐用带缓冲的 channel 控制并发数，比 sync.WaitGroup + time.Sleep 更精准；间隔控制应基于每个请求完成时间点计算，而非固定 sleep，否则高延迟请求会拖慢整体节奏。

• 并发数建议从 3–5 开始，视目标站响应速度和稳定性逐步上调
• 请求间最小间隔不低于 1 秒，部分站点要求 2–3 秒（观察其 robots.txt 的 Crawl-delay）
• 对同一 Host 做独立限速，避免 A 站快、B 站慢互相干扰

真正难的不是发多少请求，而是当页面返回 503、重定向到验证码页、或 JS 渲染内容时，如何优雅降级——这些没法靠一个 http.Client 解决，得引入渲染引擎或规则兜底。

理论要掌握，实操不能落！以上关于《Go语言实战：简单爬虫项目开发教程》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！