重复使用 Go 中的 HTTP 请求对象

在 Go 中重复使用 HTTP 请求对象时，您可能会遇到令牌无效的错误，这是因为 Go 默认情况下为每个请求使用一个新实例。为了获得与 Python 中相同的行为，可以使用 `colly.Clone()` 方法克隆收集器，从而重复使用 HTTP 请求对象。`colly.Clone()` 方法返回一个新的收集器，该收集器与原始收集器共享相同的配置和会话，允许您在不同的请求之间重用令牌等会话数据。

我正在构建一个 api，可以从网页上抓取一些数据。

为此，我需要向主页发送 get 请求，从 html 中抓取“requestverificationtoken”，然后使用用户名、密码和 requestverificationtoken 向同一 url 发送另一个 post 请求。

我之前已经能够使用 python 做到这一点：

session_requests = requests.session()
result = session_requests.get(LOGIN_URL)
parser = createBS4Parser(result.text)
return parser.find('input', attrs={'name': '__RequestVerificationToken'})["value"]

 pageDOM = session_requests.post(
        LOGIN_URL,
        data=requestPayload, //RequestVerificationToken is in here
        headers=requestHeaders
 )

当我在 python 中重用 session_requests 变量时，它似乎重用了 http 请求的前一个实例。

但是，当我尝试在 go 中执行此操作时，由于令牌无效而收到错误。我认为这是因为对于 post 请求，go 使用了一个新实例。

有什么方法可以让我从 go 获得与使用 python 相同的行为吗？

正确答案

package main

 import (
    "fmt"
    "log"

   "github.com/gocolly/colly"
   "github.com/gocolly/colly/proxy"
     )

  func main() {
//initiates the configuration
c := colly.NewCollector(colly.AllowURLRevisit())
//defining the proxy chain
revpro, err := proxy.RoundRobinProxySwitcher("socks5://127.0.0.1:9050", "socks5://127.0.0.1:9050")
if err != nil {
    log.Fatal(err)
}
c.SetProxyFunc(revpro)
//parsing the required field from html we are extracting the csrf_token required for the login
c.OnHTML("form[role=form] input[type=hidden][name=CSRF_TOKEN]", func(e *colly.HTMLElement) {
    csrftok := e.Attr("value")
    fmt.Println(csrftok)
    //posting the csrf value along with password
    err := c.Post("https://www.something.com/login.jsp", map[string]string{"CSRF_TOKEN": csrftok, "username": "username", "password": "password"})
    if err != nil {
        log.Fatal(err)
    }
    return
})
//The website to visit
c.Visit("https://www.something.com/login.jsp")
//maintaining the connection using clone not initiating a callback request
d := c.Clone()
d.OnHTML("a[href]", func(e *colly.HTMLElement) {
    link := e.Attr("href")
    fmt.Printf("Link found: %q -> %s\n", e.Text, link)

})

d.Visit("https://skkskskskk.htm")
  }

以上就是《重复使用 Go 中的 HTTP 请求对象》的详细内容，更多关于的资料请关注golang学习网公众号！