问题：Golang 无法正确获取发送给我的请求中的 HTML 内容，而在 Python 和 Curl 中却可以正常工作

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《问题：Golang 无法正确获取发送给我的请求中的 HTML 内容，而在 Python 和 Curl 中却可以正常工作》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

我正在尝试使用 golang 调用一个简单的 api。但是，每次它向我发送登录页面的 html 内容而不是实际数据。但同样的 get 请求可以从 python 和curl 工作。

func main() {
    client := &http.client{}
    req, err := http.newrequest("get", "https://www.lrn.com", nil)
    if err != nil {
        os.exit(1)
    }

    q := req.url.query()
    q.add("phonelist", "xxxxxx")
    q.add("output", "json")
    q.add("version", "5")
    //req.url.rawquery = q.encode()
    req.header.set("loginid", "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx")

    fmt.println(req.url.string())

    resp, err := client.do(req)

    if err != nil {
        fmt.println("errored when sending request to the server")
        return
    }

    defer resp.body.close()
    resp_body, _ := ioutil.readall(resp.body)

    fmt.println(resp.status)
    fmt.println(string(resp_body))
}

上面的脚本给了我登录页面的 html 内容。但如果我使用 python，它就可以正常工作。

import requests

r=requests.get("https://www.lrn.com", params = {'version':'5', "phoneList":"XXXXXX", "output":"json"}, headers={"loginId":"XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"})

print r.text

有人可以解释一下我的 golang 脚本中可能有什么问题吗？

解决方案

//req.url.rawquery = q.encode()
req.header.set("loginid", "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx")

fmt.println(req.url.string())

最后一行输出它使用的 url。使用上面的代码，这将是 https://www.lrn.com。鉴于您想要查询参数，预期值将改为 https://www.lrn.com?output=json&... 。因此，您构建的 url 显然缺少某些内容。

当激活您明确注释掉的行时，结果非常不同：

req.url.rawquery = q.encode()  // activate this line
...    
fmt.println(req.url.string())

在这种情况下，我得到 https://www.lrn.com?output=json&phonelist=xxxxxx&version=5，这是预期值。使用此值，服务器的结果对我来说与您的 python 代码相同。

但这似乎只是第一个问题。根据评论中的输入，我可以找到第二个问题，这是由服务器损坏以及 golang 标头规范化引起的。根据评论，我现在使用了不同的 url https://www.dncscrub.com/app/main/rpc/scrub，其中 python 代码可以工作，而 golang 代码再次无法工作。

通过比较两者使用的 http 请求并减少其本质差异，我们发现服务器错误地以区分大小写的方式解释了 http 请求标头。这有效

get /app/main/rpc/scrub?version=5&phonelist=2123727200 http/1.1
host: www.dncscrub.com
loginid: 0610a62f

并导致了预期的 http/1.1 401 invalid credential。虽然这不起作用

get /app/main/rpc/scrub?version=5&phonelist=2123727200 http/1.1
host: www.dncscrub.com
loginid: 0610a62f

但导致重定向 http/1.1 302 found。

这些请求之间的唯一区别是使用 loginid: ... 与 loginid: ...。由于将 http 标头字段视为区分大小写，服务器显然被破坏了，请参阅 Are HTTP headers case-sensitive? ，它也链接到相关标准。

由于 req.header.set 将标准化标头字段，因此无法使用它。解决方法是操作字典，这通常不是一个好主意：

req.Header["loginId"] = []string{"0610A62F"}

有关类似问题，另请参阅 GoLang: Case-sensitive HTTP Headers with net/http。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~