当前位置：首页 > 文章列表 > Golang > Go问答 > 如何在高性能 http 客户端中禁用/忽略所有 Cookie？

如何在高性能 http 客户端中禁用/忽略所有 Cookie？

来源：stackoverflow 2024-03-26 20:54:38 0浏览收藏

为了提高负载测试工具的性能，作者希望在 Go HTTP 客户端中禁用所有 cookie。由于 cookie 会导致内存使用增加，他们试图探索自定义传输和策略，但没有找到有效的方法。他们研究了 Fasthttp 和 net/http 实现，发现 Fasthttp 虽然 CPU 使用更低，但内存消耗更高。

问题内容

我正在为我的公司创建工具来对我们的系统进行负载测试。我目前有用 python 编写的工具，但我正在探索使用 go 的选项，希望能够提高效率和性能，因为我们需要同时生成数百万个用户（每个盒子有数千个用户）并且每一点都很重要。我的用户主要对我们的系统进行 http 调用，我需要一个非常轻量且高效的 http 客户端。

对于我们的 python 工具，以前的员工有一些手动处理和重用 sockets 的功能，而完全忽略了 cookie。虽然我对 go 完全陌生，但到目前为止我已经比较了多种 go 网络实现，并且我对 cpu 和网络使用情况感到满意，因此我认为我还不需要手动管理套接字，但是ram 使用量比我们的 python 解决方案高出数倍。我怀疑这是由于这些 go 实现自动维护和管理 cookie，因为其他更高级别的 python 库也做了同样的事情。我正在寻找让我的 http 客户端禁用/阻止/忽略所有 cookie 的方法，以解决我的问题或排除 cookie 作为我的内存膨胀罪魁祸首。

我使用了一个简单的 net/http get() 调用，fasthttp 来创建一个重复使用每台主机不同数量的连接 (1000+) 的客户端，并创建了一个带或不带自定义 transport 的 net/http.client 。我已经使用 pprof 来内存分析每个。在不覆盖 cookie 的情况下，我的 http.client 流程似乎内存膨胀最少，而 fasthttp 内存膨胀最多。我尝试浏览他们的所有文档并搜索 so 和网络，但找不到任何明确忽略或阻止 cookie 的内容。我发现最接近的是 fasthttp 的 delallcookies() 用于请求和响应，但调用它们对内存使用没有明显影响。我研究了 net/http/cookiejar 来为 net/http.client 设置自定义 jar 和策略，但这看起来更像是一种存储和使用 cookie 数据的方法，我不想这样做，而且我不这样做没有找到一种方法来设置完全忽略 cookie 的策略。

// fasthttp implementation
var httpClient *fasthttp.Client

func init() {
    httpClient = &fasthttp.Client{
        MaxConnsPerHost: 1000,
    }
}

func fastHTTPClient(method string, uri string) (string, time.Duration) {

    req := fasthttp.AcquireRequest()
    req.Header.SetMethod(method)
    req.SetRequestURI(uri)

    resp := fasthttp.AcquireResponse()

    startTime := time.Now()
    err := httpClient.DoTimeout(req, resp, targetDuration)
    elapsed := time.Since(startTime)

    if err != nil {
        log.Panicln(err)

        body := string(resp.Body())
        req.Header.DelAllCookies()
        resp.Header.DelAllCookies()
        fasthttp.ReleaseRequest(req)
        fasthttp.ReleaseResponse(resp)
        return body, elapsed
    }

    body := string(resp.Body())
    req.Header.DelAllCookies()
    resp.Header.DelAllCookies()
    fasthttp.ReleaseRequest(req)
    fasthttp.ReleaseResponse(resp)
    return body, elapsed
}

// net/http implementation
var tr = &http.Transport{}
var client = &http.Client{Transport: tr}

func netGet(method string, uri string) (string, time.Duration) {

    startTime := time.Now()
    resp, err := client.Get(uri)
    elapsed := time.Since(startTime)

    if err != nil {
        log.Panic(err)

        body, err2 := ioutil.ReadAll(resp.Body)
        resp.Body.Close()

        if err2 != nil {
            log.Panic(err)
        }

        return string(body), elapsed
    }

    body, err := ioutil.ReadAll(resp.Body)
    resp.Body.Close()

    if err != nil {
        log.Panicln(err)
    }

    return string(body), elapsed
}

同样，这些可以正常工作，但是当我使用 boomer 同时运行数千个这些时，我最终会使用多个 gb 的 ram，而我们的 python 套接字实现则使用 1-1.5 gb 的 ram。我如何阻止/忽略 cookie，或者确保 cookie 不会耗尽我的所有内存？