Go Colly 同一个地址第二次 Visit 为什么被拒绝

我在用 Go Colly 抓取一个列表页时，第二次调用同一个地址的 Visit 立刻返回错误，误以为请求没有发出去。这个现象通常不是网络故障，而是 Collector 默认的 URL 去重行为：第一次访问已经登记了这个地址，后续相同地址会返回 ErrAlreadyVisited。

官方地址：https://github.com/gocolly/colly/

处理它的关键不是一律打开重复访问，而是先判断两次 Visit 是否真的代表两次不同的数据读取。如果是同一资源的重复触发，保留默认去重更安全；如果页面内容会随请求时间变化，或任务确实需要重新下载，再显式使用 AllowURLRevisit()。

同一个 URL 第二次 Visit 被拒绝，首先检查是否为 ErrAlreadyVisited。确认确实需要重新请求后，再在创建 Collector 时加入 colly.AllowURLRevisit()；分页场景优先让页码、游标等真实参数进入 URL。

为什么第二次 Visit 会被拒绝

Colly 把 Collector 看成一次抓取任务的访问管理器。默认情况下，它会记录已经访问过的 URL，目的是避免 HTML 链接形成环路，也避免同一个资源被重复下载。当第二次 Visit 的地址与已记录地址相同时，返回值是 colly.ErrAlreadyVisited，而不是一次新的 HTTP 响应。

这和域名白名单、robots.txt、超时要分开判断。重复访问错误说明请求在进入正常下载流程前就被去重规则拦住了。先把错误类型打印出来，排查方向会比只看“没有收到响应”准确得多。

用最小代码确认是不是 URL 去重

先不要加入并发、代理和缓存，把问题缩小到同一个 Collector 的两次 Visit。下面的代码只依赖本地测试服务器，重点是区分两次调用的返回值，并在结束时等待异步任务。

package main

import (
    "errors"
    "fmt"
    "net/http"
    "net/http/httptest"

    "github.com/gocolly/colly/v2"
)

func main() {
    // 用本地服务隔离外部网络，让示例只观察 Colly 的去重行为。
    server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        fmt.Fprintln(w, "ok")
    }))
    defer server.Close()

    c := colly.NewCollector()
    c.OnRequest(func(r *colly.Request) {
        // 只有真正进入请求阶段时才会打印这里。
        fmt.Println("request:", r.URL.String())
    })

    firstErr := c.Visit(server.URL)
    secondErr := c.Visit(server.URL)

    fmt.Println("first:", firstErr)
    fmt.Println("second is already visited:", errors.Is(secondErr, colly.ErrAlreadyVisited))
    // 同步 Collector 不需要 Wait；保留这段判断是为了提醒异步版本要等待。
}

预期结果是第一次 Visit 返回 nil，第二次返回的错误可以用 errors.Is 判断为 ErrAlreadyVisited。如果第二次错误不是这个类型，再去检查 URL 过滤、域名限制或目标服务响应，而不要直接打开重复访问开关。

确实需要重下时，显式打开重复访问

Colly 提供了 AllowURLRevisit 选项。它的含义很窄：允许 Collector 对同一个 URL 进行多次下载，并不替你处理去重后的数据合并、重复写库或请求频率控制。

package main

import (
    "fmt"
    "net/http"
    "net/http/httptest"

    "github.com/gocolly/colly/v2"
)

func main() {
    // 本地服务用计数器展示两次 Visit 是否都进入了 HTTP 层。
    hits := 0
    server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        hits++
        fmt.Fprintf(w, "hit=%d", hits)
    }))
    defer server.Close()

    // 只有业务确认需要重复下载时才启用这个选项。
    c := colly.NewCollector(colly.AllowURLRevisit())
    c.OnResponse(func(r *colly.Response) {
        // 响应回调可以读取本次下载内容，但不要据此重复写入同一业务记录。
        fmt.Println("body:", string(r.Body))
    })

    if err := c.Visit(server.URL); err != nil {
        panic(err)
    }
    if err := c.Visit(server.URL); err != nil {
        panic(err)
    }
    fmt.Println("http hits:", hits)
}

这个选项适合“同一个地址的内容会变化，且业务确实需要再次拉取”的任务，例如定时刷新一个不带版本参数的资源。它不适合拿来掩盖 URL 拼接错误，也不等于关闭所有限制：域名白名单、URL 过滤、robots.txt 和传输错误仍然是另一层规则。

分页时不要把不同页面写成同一个 URL

如果抓取的是分页接口，第二次 Visit 被拒绝经常是因为页码或游标没有真正进入 URL。此时更合理的修复是生成能够标识不同页面的地址，而不是全局允许重复访问。

// pageURL 为每一页构造稳定地址，让 Colly 能自然地区分分页资源。
func pageURL(base string, page int) string {
    // page 从 1 开始；调用方应先校验最大页数，避免无限递归。
    return fmt.Sprintf("%s?page=%d", base, page)
}

func visitPages(c *colly.Collector, base string, lastPage int) error {
    for page := 1; page 

如果接口使用 POST body、请求头或上下文里的游标来区分数据，就要进一步确认 Colly 的去重键是否能表达你的业务资源。不能表达时，可以把真实的分页标识放到明确的请求设计中，或者按任务边界创建独立 Collector；不要为了“让代码继续跑”而无限打开重复请求。

重试、缓存和重复请求怎么取舍

遇到失败重试时，先判断失败发生在哪一层。如果是网络超时或服务端临时错误，应该围绕请求失败设计重试和退避；如果只是第二次调用同一 URL 被拒绝，说明 Collector 认为资源已经访问过，直接重试原地址只会重复触发同一策略。

我会按这份清单收尾排查

1. 打印第二次 Visit 的完整错误，确认是否为 ErrAlreadyVisited。
2. 把最终 URL 打印出来，检查页码、游标和查询参数有没有丢失。
3. 确认两次调用是否共享同一个 Collector；如果任务边界不同，考虑拆分 Collector。
4. 只有在确实需要重新下载时才加入 colly.AllowURLRevisit()。
5. 为重复响应增加业务幂等键、频率限制和缓存策略，避免请求成功后重复写入。

一句话总结：Colly 拒绝同一个地址的第二次 Visit，是默认 URL 去重在工作。先修正真实的分页 URL 或调用边界，再决定是否允许重复访问；把 AllowURLRevisit() 当成有明确代价的选项，而不是通用修复按钮。

相关问题

第二次 Visit 没有报错但也没有新响应，可能是什么？

先确认是否启用了异步模式，以及是否调用了 Wait()。若已经允许重复访问，还要检查回调中的业务去重和缓存层，它们可能让你误以为没有新请求。

AllowURLRevisit 会不会自动绕过 robots.txt？

不会。它只改变同一 URL 是否可以重复下载，robots.txt、域名限制和 URL 过滤仍应单独处理。

分页一定要用 AllowURLRevisit 吗？

不一定。只要页码或游标正确进入请求地址，默认去重就能把不同页面视为不同资源；只有接口设计确实要求重复读取同一地址时才考虑开启它。