Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误

本篇文章向大家介绍《Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

我的目标：将速率限制设置为每分钟 600 个请求，并在下一分钟重置。我的目的是通过 http.client 设置 roundtrip 和 limit.wait() 来完成此操作。这样我就可以为不同的 http.clients() 设置不同的限制，并通过 roundtrip 处理限制，而不是在其他地方增加代码的复杂性。

问题是速率限制没有得到遵守，我仍然超出了允许的请求数量，并且设置超时会产生致命的恐慌 net/http: 请求已取消（等待标头时超出了 client.timeout）

我创建了一个准系统 main.go 来复制该问题。请注意，64000 循环对我来说是一个现实场景。

更新：设置 ratelimiter:rate.newlimiter(10, 10)， 仍以某种方式超过 600 速率限制，并产生错误 context 截止日期超出了设置的超时 。

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "sync"
    "time"

    "golang.org/x/time/rate"
)

var client http.Client

// ThrottledTransport Rate Limited HTTP Client
type ThrottledTransport struct {
    roundTripperWrap http.RoundTripper
    ratelimiter      *rate.Limiter
}

func (c *ThrottledTransport) RoundTrip(r *http.Request) (*http.Response, error) {
    err := c.ratelimiter.Wait(r.Context()) // This is a blocking call. Honors the rate limit
    if err != nil {
        return nil, err
    }
    return c.roundTripperWrap.RoundTrip(r)
}

// NewRateLimitedTransport wraps transportWrap with a rate limitter
func NewRateLimitedTransport(transportWrap http.RoundTripper) http.RoundTripper {
    return &ThrottledTransport{
        roundTripperWrap: transportWrap,
        //ratelimiter:      rate.NewLimiter(rate.Every(limitPeriod), requestCount),
        ratelimiter: rate.NewLimiter(10, 10),
    }
}

func main() {
    concurrency := 20
    var ch = make(chan int, concurrency)
    var wg sync.WaitGroup

    wg.Add(concurrency)
    for i := 0; i < concurrency; i++ {
        go func() {
            for {
                a, ok := <-ch
                if !ok { // if there is nothing to do and the channel has been closed then end the goroutine
                    wg.Done()
                    return
                }
                resp, err := client.Get("https://api.guildwars2.com/v2/items/12452")
                if err != nil {
                    fmt.Println(err)
                }
                body, err := ioutil.ReadAll(resp.Body)
                if err != nil {
                    fmt.Println(err)
                }
                fmt.Println(a, ":", string(body[4:29]))
            }
        }()
    }
    client = http.Client{}
    client.Timeout = time.Second * 10

    // Rate limits 600 requests per 60 seconds via RoundTripper
    transport := NewRateLimitedTransport(http.DefaultTransport)
    client.Transport = transport

    for i := 0; i < 64000; i++ {
        ch <- i // add i to the queue
    }

    wg.Wait()
    fmt.Println("done")
}

正确答案

rate.NewLimiter(rate.Every(60*time.Second), 600) 不是你想要的。

根据https://pkg.go.dev/golang.org/x/time/rate#Limiter：

rate.Every(60*time.Second) 表示每 60 秒将 1 个令牌填充到桶中。即速率为每秒 1/60 个代币。

大多数情况下，每分钟600个请求表示一开始允许600请求，下一分钟会立即重置为600。在我看来，golang.org/x/time/rate 不太适合这个用例。也许 rate.NewLimiter(10, 10) 是一个安全的选择。

好了，本文到此结束，带大家了解了《Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！