使用goroutines来提高fasthttp.Client的效率

大家好，我们又见面了啊~本文《使用goroutines来提高fasthttp.Client的效率》的内容中将会涉及到等等。如果你正在学习Golang相关知识，欢迎关注我，以后会给大家带来更多Golang相关文章，希望我们能一起进步！下面就开始本文的正式内容~

我是 go 新手，正在寻找将 net/http 或 fasthttp 与 goroutines 一起使用的正确方法。不幸的是，没有很多 fasthttp 客户端示例。

我找到了以下代码：（示例1）

package main

import (
    "bufio"
    "fmt"
    "github.com/valyala/fasthttp"
    "log"
    "net"
    "os"
    "sync"
    "time"
)

func grabpage(fastclient *fasthttp.client, i int, wg *sync.waitgroup) {
    defer wg.done()
    _, body, err := fastclient.gettimeout(nil, "https://en.wikipedia.org/wiki/immanuel_kant", time.duration(time.second*20))
    if err != nil {
        log.fatal(err)
    }
    f, err := os.create(fmt.sprintf("./data/%d.txt", i))
    if err != nil {
        log.fatal(err)
    }
    defer f.close()
    w := bufio.newwriter(f)
    w.write(body)
}

func main() {
    var wg sync.waitgroup
    total := 500

    c := &fasthttp.client{
        dial: func(addr string) (net.conn, error) {
            return fasthttp.dialtimeout(addr, time.second*10)
        },
        maxconnsperhost: total,
    }

    wg.add(total)
    for index := 0; index < total; index++ {
        go grabpage(c, index, &wg)
    }
    wg.wait()
}

在此代码中，开发人员在 main() 函数中创建一个 fasthttp.client 实例，并使用 gograbpage(c, ...) 将其传递给 goroutine。据我了解，通过这种方式，您可以创建一个实例，并且所有请求都使用这个实例来完成这项工作。

在另一个页面上，开发人员使用类似的内容：（示例2）

func grabPage(i int, wg *sync.WaitGroup) {
    defer wg.Done()

    fastClient := &fasthttp.Client{
        Dial: func(addr string) (net.Conn, error) {
            return fasthttp.DialTimeout(addr, time.Second*10)
        },
        MaxConnsPerHost: 500,
    }

    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))
    if err != nil {
        log.Fatal(err)
    }
    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    w := bufio.NewWriter(f)
    w.Write(body)
}

最大的问题是，这两种解决方案都正确吗？ 或者example2解决方案真的创建了一个新实例并为每个goroutine使用大量内存吗？

我根据我的问题的片段制作了示例，在示例 2 中肯定缺少 defer 。这不是问题的一部分。

一个小问题： (fastclient *fasthttp.client, i int, wg *sync.waitgroup) -> fastclient 和 wg 是指针，那么为什么调用 grabpage(c, index, &wg) 而不是 grabpage(&c, index, &wg) ？

解决方案

最重要的答案：两者都是正确的（因为它们工作得很好），只是不同。

根据 the docs，fasthttp.Client 可以安全地并发使用，因此共享一个实例就可以了。它可能会遇到并发连接限制，但这可能不是问题。

第二个示例确实有一些开销，并且无法重用连接或参数，但这可能是一个无关紧要的用例（如果我只执行两个操作，节省开销可能不值得）优化）。

对于问题的第二部分：

• c 已经是 *fasthttp.Client，因此不需要获取其地址（&fasthttp.Client 返回指向新 fasthttp.Client 的指针）
• wg 是一个普通的 sync.WaitGroup，因此必须获取地址

终于介绍完啦！小伙伴们，这篇关于《使用goroutines来提高fasthttp.Client的效率》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！