Go errgroup SetLimit：给并发扇出加一个硬上限

当接口需要批量查询 100 个商品、100 个用户或 100 个远程对象时，直接为每个对象开一个 goroutine 看起来很快，但下游连接池和限流规则往往扛不住。SetLimit 可以把一次扇出控制在明确范围内。

并发上限不是越大越好

上限应该来自下游容量，而不是 CPU 核心数的想象。比如库存服务最多允许每个实例 20 个并发查询，那么聚合接口就不能随手开 100 个请求。

SetLimit 的行为

SetLimit 会限制同时运行的 goroutine 数量。超出限制的 Go 调用会阻塞，直到已有任务结束。这样可以保持代码结构简单，同时避免瞬间冲击。

结合批量大小做保护

除了 SetLimit，还要限制输入数量。否则虽然并发度可控，但超大批量会导致请求时间过长，最终还是拖住连接和 goroutine。

生产场景

适用于批量查询商品、批量校验权限、批量调用风控或批量拉取对象元数据。输入规模可变时，SetLimit 能避免一次请求把下游并发全部占满。

关键指标

• 单请求扇出任务数量和被阻塞等待时间
• 下游连接池等待时间与错误率
• 不同 SetLimit 配置下的 P95、P99 和吞吐变化

常见误区

• 只限制 goroutine 并发，不限制批量入参大小
• 把 SetLimit 设置为 CPU 核心数而不是下游容量
• 压测只看平均耗时，忽略尾延迟和排队

落地建议

建议同时设置入参最大数量和单请求并发上限。限值应该来自下游服务的连接池、QPS 配额和历史压测数据，并在配置中心保留可回滚空间。

代码示例

g, ctx := errgroup.WithContext(ctx)
g.SetLimit(8)
results := make([]Item, len(ids))

for i, id := range ids {
    i, id := i, id
    g.Go(func() error {
        item, err := repo.GetItem(ctx, id)
        if err != nil {
            return err
        }
        results[i] = item
        return nil
    })
}
if err := g.Wait(); err != nil {
    return nil, err
}

上线检查

• 限制请求入参批量大小。
• SetLimit 数值要和下游连接池、QPS 配额匹配。
• 压测时观察 P95、错误率和下游排队。