为何 Golang HTTP 客户端的连接池大小持续增长？

目前golang学习网上已经有很多关于Golang的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《为何 Golang HTTP 客户端的连接池大小持续增长？》，也希望能帮助到大家，如果阅读完后真的对你学习Golang有帮助，欢迎动动手指，评论留言并分享~

我基本上是在为大量域创建一个健康检查爬虫。我有一个 golang 脚本，它创建了约 256 个向域列表发出请求的例程。我使用具有以下传输配置的相同客户端：

# init func
this.client = &http.Client{
        Transport: &http.Transport{
            ForceAttemptHTTP2:   true,
            TLSHandshakeTimeout: TLSHandShakeTimeout,
            TLSClientConfig:     &tls.Config{InsecureSkipVerify: true},
            MaxConnsPerHost:     -1,
            DisableKeepAlives:   true,
        },
        Timeout: RequestTimeout,
    }
... 
# crawler func
req, err := http.NewRequestWithContext(this.ctx, "GET", opts.Url, nil)
if err != nil {
    return nil, errors.Wrap(err, "failed to create request")
}

res, err := this.client.Do(req)
if err != nil {
    return nil, err
}
defer res.Body.Close()
...

我运行了 netstat -anp | wc -l 并可以看到超过 2000 个 time_wait 连接。

正确答案

http.client 每台主机的默认 goroutine 数量为 2。一个用于接收方，另一个用于发送方。因此，对于数千个域，这里可能有数千个 goroutine。

由于 disablekeepalives 设置为 true，因此当 http 响应完成时，连接将被关闭。 time_wait是关闭连接后正常的tcp状态。

但是，linux 上 time_wait 状态的默认超时时间为 60 秒。大量的 time_wait 状态可能会导致服务器（例如探针/爬虫）连接问题。

为了解决time_wait问题。 SO_LINGER 选项可能会有所帮助。它禁用默认的 tcp 延迟关闭行为，该行为会在连接关闭时向对等方发送 rst。并且它会删除 tcp 连接的 time_wait 状态。

更多讨论可以在这里找到When is TCP option SO_LINGER (0) required?

示例

    dialer := &net.Dialer{
        Control: func(network, address string, conn syscall.RawConn) error {
            var opterr error
            if err := conn.Control(func(fd uintptr) {
                l := &syscall.Linger{}
                opterr = syscall.SetsockoptLinger(int(fd), unix.SOL_SOCKET, unix.SO_LINGER, l)
            }); err != nil {
                return err
            }
            return opterr
        },
    }
    client := &http.Client{
        Transport: &http.Transport{
            DialContext: dialer.DialContext,
        },
    }

此外，这是 EaseProbe 中的另一个 so_linger 用例。它是一个简单、独立且轻量级的工具，可以进行运行状况/状态检查。

本篇关于《为何 Golang HTTP 客户端的连接池大小持续增长？》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！