当前位置：首页 > 文章列表 > Golang > Go问答 > Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误

Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误

来源：stackoverflow 2024-02-05 21:27:41 0浏览收藏

本篇文章向大家介绍《Go语言的RoundTrip函数导致http.client超出速率限制并引发致命错误》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

问题内容

我的目标：将速率限制设置为每分钟 600 个请求，并在下一分钟重置。我的目的是通过 http.client 设置 roundtrip 和 limit.wait() 来完成此操作。这样我就可以为不同的 http.clients() 设置不同的限制，并通过 roundtrip 处理限制，而不是在其他地方增加代码的复杂性。

问题是速率限制没有得到遵守，我仍然超出了允许的请求数量，并且设置超时会产生致命的恐慌 net/http: 请求已取消（等待标头时超出了 client.timeout）

我创建了一个准系统 main.go 来复制该问题。请注意，64000 循环对我来说是一个现实场景。

更新：设置 ratelimiter:rate.newlimiter(10, 10)， 仍以某种方式超过 600 速率限制，并产生错误 context 截止日期超出了设置的超时 。

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "sync"
    "time"

    "golang.org/x/time/rate"
)

var client http.Client

// ThrottledTransport Rate Limited HTTP Client
type ThrottledTransport struct {
    roundTripperWrap http.RoundTripper
    ratelimiter      *rate.Limiter
}

func (c *ThrottledTransport) RoundTrip(r *http.Request) (*http.Response, error) {
    err := c.ratelimiter.Wait(r.Context()) // This is a blocking call. Honors the rate limit
    if err != nil {
        return nil, err
    }
    return c.roundTripperWrap.RoundTrip(r)
}

// NewRateLimitedTransport wraps transportWrap with a rate limitter
func NewRateLimitedTransport(transportWrap http.RoundTripper) http.RoundTripper {
    return &ThrottledTransport{
        roundTripperWrap: transportWrap,
        //ratelimiter:      rate.NewLimiter(rate.Every(limitPeriod), requestCount),
        ratelimiter: rate.NewLimiter(10, 10),
    }
}

func main() {
    concurrency := 20
    var ch = make(chan int, concurrency)
    var wg sync.WaitGroup

    wg.Add(concurrency)
    for i := 0; i < concurrency; i++ {
        go func() {
            for {
                a, ok := <-ch
                if !ok { // if there is nothing to do and the channel has been closed then end the goroutine
                    wg.Done()
                    return
                }
                resp, err := client.Get("https://api.guildwars2.com/v2/items/12452")
                if err != nil {
                    fmt.Println(err)
                }
                body, err := ioutil.ReadAll(resp.Body)
                if err != nil {
                    fmt.Println(err)
                }
                fmt.Println(a, ":", string(body[4:29]))
            }
        }()
    }
    client = http.Client{}
    client.Timeout = time.Second * 10

    // Rate limits 600 requests per 60 seconds via RoundTripper
    transport := NewRateLimitedTransport(http.DefaultTransport)
    client.Transport = transport

    for i := 0; i < 64000; i++ {
        ch <- i // add i to the queue
    }

    wg.Wait()
    fmt.Println("done")
}