Chrome DevTools 协议 - Golang 中带有 gzip 正文的ContinueInterceptedRequest
哈喽!大家好,很高兴又见面了,我是golang学习网的一名作者,今天由我给大家带来一篇《Chrome DevTools 协议 - Golang 中带有 gzip 正文的ContinueInterceptedRequest》,本文主要会讲到等等知识点,希望大家一起学习进步,也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧!
我一直在开发一个 golang 脚本,它使用 chrome devtools 协议来:
1)拦截请求
2)抓取被拦截请求的响应体
3)对html文档进行一些修改
4)继续拦截的请求
该脚本适用于 html 文档,除非 content-encoding 设置为 gzip。分步过程如下所示”
1) 拦截请求
s.debugger.callbackevent("network.requestintercepted", func(params godet.params) {
iid := params.string("interceptionid")
rtype := params.string("resourcetype")
reason := responses[rtype]
headers := getheadersstring(params["responseheaders"])
log.println("[+] request intercepted for", iid, rtype, params.map("request")["url"])
if reason != "" {
log.println(" abort with reason", reason)
}
// alter html in request response
if s.options.alterdocument && rtype == "document" && iid != "" {
res, err := s.debugger.getresponsebodyforinterception(iid)
if err != nil {
log.println("[-] unable to get intercepted response body!")
}
rawalteredresponse, err := alterdocument(res, headers)
if err != nil{
log.println("[-] unable to alter html")
}
if rawalteredresponse != "" {
log.println("[+] sending modified body")
err := s.debugger.continueinterceptedrequest(iid, godet.errorreason(reason), rawalteredresponse, "", "", "", nil)
if err != nil {
fmt.println("oh noes an error!")
log.println(err)
}
}
} else {
s.debugger.continueinterceptedrequest(iid, godet.errorreason(reason), "", "", "", "", nil)
}
})
2) 更改响应正文
在这里,我对 proceshtml() 中的 html 标记进行了一些小更改(但该函数的代码与此问题无关,因此不会在此处发布)。我还从请求中获取标头,并在必要时更新 content-length 和 date,然后再继续响应。然后,我在调用 r := gzipcompress([]byte(alteredbody) 时对正文进行 gzip 压缩,这会返回一个字符串。然后将该字符串连接到标头,以便我可以制作 rawresponse。
func alterdocument(debuggerresponse []byte, headers map[string]string) (string, error) {
alteredbody, err := processhtml(debuggerresponse)
if err != nil {
return "", err
}
alteredheader := ""
for k, v := range headers{
switch strings.tolower(k) {
case "content-length":
v = strconv.itoa(len(alteredbody))
fmt.println("updating content-length to: " + strconv.itoa(len(alteredbody)))
break
case "date":
v = fmt.sprintf("%s", time.now().format(time.rfc3339))
break
}
alteredheader += k + ": " + v + "\r\n"
}
r := gzipcompress([]byte(alteredbody))
rawalteredresponse :=
base64.stdencoding.encodetostring([]byte("http/1.1 200 ok" + "\r\n" + alteredheader + "\r\n\r\n\r\n" + r))
return rawalteredresponse, nil
}
注意:我现在使用 gzip 压缩所有响应的正文。以上是暂时的,我正在研究如何解决这个问题。
gzip 压缩函数如下所示:
func gzipcompress(datatoworkwith []byte) string{
var b bytes.buffer
gz, err := gzip.newwriterlevel(&b, 5)
if err != nil{
panic(err)
}
if _, err := gz.write(datatoworkwith); err != nil {
panic(err)
}
if err := gz.flush(); err != nil {
panic(err)
}
if err := gz.close(); err != nil {
panic(err)
}
return b.string()
}
如第一个代码片段所示,响应正文和标头在此处设置:
err := s.Debugger.ContinueInterceptedRequest(iid, godet.ErrorReason(reason), rawAlteredResponse, "", "", "", nil)
结果是浏览器中出现一堆乱码。对于非 gzip 压缩的请求,这无需 gzip 函数即可工作。我也改变了压缩级别(没有成功)。我是否以错误的顺序处理正文(字符串 > []byte > gzip > 字符串 > base64)?这应该以不同的顺序完成吗?任何帮助将不胜感激。
响应看起来像这样,chrome 将其放入 标记内
����r∸� ��_a��q%gh��kʔ��vu�˷c�v�}
或在响应中:
我还可以看出它正在正确压缩,因为当我删除标头时,请求会导致 .gz 文件下载,并且未压缩时包含所有正确的 .html。此外,gzipcompress 中返回的对象中的前几个字节告诉我它已正确压缩:
31 139 8
或
0x1f 0x8b 0x08
解决方案
我最终使用了一个不同的库,可以更好、更有效地处理更大的响应。
现在,DevTools 协议似乎在调用 Network.GetResponseBodyForInterception 时在解压缩后但在浏览器中渲染之前返回响应正文。当然,这只是一个假设,因为我在 https://github.com/ChromeDevTools/devtools-protocol 中没有看到该方法的代码。该假设基于以下事实:当调用 Network.GetResponseBodyForInterception 时,获得的响应正文未压缩(尽管它可能是 base64 编码的)。此外,该方法被标记为实验性的,并且文档没有提及任何有关压缩响应的内容。基于这个假设,我将进一步假设,当我们从 Network.GetResponseBodyForInterception 获得响应时,我们自己压缩主体就为时已晚了。我确认我正在使用的库不会压缩或解压缩 gzip 响应。
我能够继续使用我的代码,而无需担心 gzip 压缩响应,因为我可以毫无问题地更改正文。
作为参考,我现在使用 https://github.com/wirepair/gcd,因为它在拦截较大响应时更加健壮和稳定。
今天带大家了解了的相关知识,希望对你有所帮助;关于Golang的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
PHP Notice: Undefined variable: sql的解决方法
- 上一篇
- PHP Notice: Undefined variable: sql的解决方法
- 下一篇
- 配置Linux系统以支持区块链技术开发
-
- Golang · Go问答 | 47分钟前 |
- Go httptrace.Wait100Continue 怎样定位客户端等待 100 Continue
- 146浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go http.CrossOriginProtection.AddTrustedOrigin 怎样放行受信任来源
- 347浏览 收藏
-
- Golang · Go问答 | 1小时前 | 网络编程 · HTTP · Go问答 · Go HTTP代理 httputil ReverseProxy ModifyResponse
- Go httputil.ReverseProxy.ModifyResponse 怎样改写上游响应
- 288浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go os.Root.Close 后为什么不能继续打开文件
- 182浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go http.Client 跟随重定向时如何保留认证头
- 290浏览 收藏
-
- Golang · Go问答 | 1小时前 | ip地址 · Go问答 · Go CIDR net/netip Prefix.Masked 网段规范化
- Go netip.Prefix.Masked 怎样规范化带主机位的 CIDR
- 452浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go token.File.LineCount 统计源码行数的边界与位置映射
- 294浏览 收藏
-
- Golang · Go问答 | 1小时前 | Go问答 · Go pkix.Name x509 Certificate.Subject 证书主体
- Go x509.Certificate.Subject 怎样读取证书主体信息
- 298浏览 收藏
-
- Golang · Go问答 | 1小时前 | 标准库 · 工程实践 · HTTP客户端 · Go问答 · Go net/http keep-alive HTTP连接 Request.Close
- Go http.Request.Close 怎样让客户端主动关闭 HTTP 连接
- 135浏览 收藏
-
- Golang · Go问答 | 1小时前 | DNS Go timeout errors.As net.DNSError Temporary
- Go net.DNSError 怎样区分 DNS 超时与临时错误
- 140浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go os/exec.Cmd.Err 怎样判断命令在启动前就失败
- 125浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1080次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1079次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1244次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1184次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1029次使用
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- Go gosym.Sym.BaseName 怎样去掉符号的包名与接收者
- 2026-11-17 501浏览
-
- 正则命名捕获组取不到值怎么办
- 2026-11-15 501浏览
-
- Go pprof profile duration 参数如何理解
- 2026-11-14 501浏览

