Golang在下载特定网页时出现问题的原因是什么？

Go 语言在下载特定网页时可能遇到问题，如遇到空响应。这是因为一些网站可能会对用户代理进行验证，从而阻止下载。例如，在下载 fantasy football 数据时，Go 代码可能无法获取响应，而 Python 代码可以使用。要解决此问题，可以在 Go 代码中设置用户代理，例如将 "User-Agent" 头添加到请求中。通过模拟浏览器行为，Go 代码就可以成功下载受限网页的内容。

我想下载 fantasy football 数据以在 go 中进行分析，但是当我尝试从此 api 页面下载时，我得到一个空响应，即使该代码适用于其他网站，例如这个api页面

最小复制，输出空数组。

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
)

const allplayerdata = "https://fantasy.premierleague.com/drf/bootstrap-static"

func main() {
    downloadalldata()
}

func downloadalldata() {
    client := &http.client{
        timeout: 20 * time.second,
    }

    response, err := client.get(allplayerdata)
    if err != nil {
        fmt.println("unable to download player data.")
        return
    }

    body, err := ioutil.readall(response.body)
    if err != nil {
        fmt.println("failed to read response")
        return
    }

    defer response.body.close()

    fmt.println(body)
}

相同的网页可以在 python 中正常下载：

import requests
url = "https://fantasy.premierleague.com/drf/bootstrap-static"
r = requests.get(url)
print(r.content)

我认为这与例如ajax 调用，因为在 chrome 中查看网络请求不会显示页面加载本身之外的任何内容

解决方案

他们正在对用户代理进行某种验证，以下代码有效：

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
)

const AllPlayerData = "https://fantasy.premierleague.com/drf/bootstrap-static"

func main() {
    downloadAllData()
}

func downloadAllData() {
    client := &http.Client{
        Timeout: 20 * time.Second,
    }

    request, err := http.NewRequest(http.MethodGet, AllPlayerData, nil)
    if err != nil {
        fmt.Println("Unable to create request.")
        return
    }
    request.Header.Add("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36")
    response, err := client.Do(request)
    if err != nil {
        fmt.Println("Unable to download player data.")
        return
    }

    body, err := ioutil.ReadAll(response.Body)
    if err != nil {
        fmt.Println("Failed to read response")
        return
    }

    defer response.Body.Close()

    fmt.Println(string(body))
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。