浏览器正常运行时，使用一次后 http.Get 出现 429 请求过多错误

一分耕耘，一分收获！既然打开了这篇文章《浏览器正常运行时，使用一次后 http.Get 出现 429 请求过多错误》，就坚持看下去吧！文中内容包含等等知识点...希望你能在阅读本文后，能真真实实学到知识或者帮你解决心中的疑惑，也欢迎大佬或者新人朋友们多留言评论，多给建议！谢谢！

我试图通过 http.get 函数在 go 中保存网页。但是，即使在运行下面的函数后，我也会收到太多请求错误。我可以在浏览器中输入这个 url，即使我刷新几次，它也会正常工作。有什么解决方法/原因吗？

func query(URL string) {
  page, err := http.Get("https://www.reddit.com/r/" + URL + "/.json")
  if err != nil {
    fmt.Println(err)
  }
  responseData, _ := ioutil.ReadAll(page.Body)
  fmt.Println(string(responseData))
}

解决方案

正如前面提到的，您可以通过设置用户代理来绕过此问题：

package main
import "net/http"

func main() {
   s := "http://reddit.com/r/videos/comments/m9zcp8.json"
   req, e := http.newrequest("head", s, nil)
   if e != nil {
      panic(e)
   }
   req.header.set("user-agent", "mozilla/5.0")
   res, e := new(http.client).do(req)
   if e != nil {
      panic(e)
   }
   defer res.body.close()
   println(res.statuscode == 200)
}

https://golang.org/pkg/net/http#Request.Header

网站将使用包括标头标记在内的各种工具来确定请求的合法性。我建议添加您的浏览器在连接到 reddit 时设置的相应标头。

req.Header.Set("authority", "www.reddit.com")
    req.Header.Set("pragma", "no-cache")
    req.Header.Set("cache-control", "no-cache")
    req.Header.Set("sec-ch-ua", `"Google Chrome";v="89", "Chromium";v="89", ";Not A Brand";v="99"`)
    req.Header.Set("sec-ch-ua-mobile", "?0")
    req.Header.Set("upgrade-insecure-requests", "1")
    req.Header.Set("user-agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36")
    req.Header.Set("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9")
    req.Header.Set("dnt", "1")
    req.Header.Set("sec-fetch-site", "none")
    req.Header.Set("sec-fetch-mode", "navigate")
    req.Header.Set("sec-fetch-user", "?1")
    req.Header.Set("sec-fetch-dest", "document")
    req.Header.Set("accept-language", "en-GB,en;q=0.9")

理论要掌握，实操不能落！以上关于《浏览器正常运行时，使用一次后 http.Get 出现 429 请求过多错误》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！