Go语言HTTP请求流式写入body的示例代码

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《Go语言HTTP请求流式写入body的示例代码》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下请求、body、语言HTTP，希望所有认真读完的童鞋们，都有实质性的提高。

背景

最近在开发一个功能时，需要通过 http 协议上报大量的日志内容，但是在 Go 标准库里的 http client 的 API 是这样的：

http.NewRequest(method, url string, body io.Reader)

body 是通过 io.Reader 接口来传递，并没有暴露一个 io.Writer 接口来提供写入的办法，先来看看正常情况下怎么写入一个 body ，示例：

需要先把要写

buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)

入的数据放在 Buffer 中，放内存缓存着，但是我需要写入 大量 的数据，如果都放内存里肯定要 OOM 了，http client 并没有提供 流式写入 的方法，我这么大的数据量直接用 Buffer 肯定是不行的，最后在 google 了一番之后找到了解决办法。

使用 io.pipe

调用 io.pipe() 方法会返回 Reader 和 Writer 接口实现对象，通过 Writer 写数据， Reader 就可以读到，利用这个特性就可以实现流式的写入，开一个协程来写，然后把 Reader 传递到方法中，就可以实现 http client body 的流式写入了。

代码示例：

pr, rw := io.Pipe()
// 开协程写入大量数据
go func(){
 for i := 0; i 

<p><span style="color: #ff0000"><strong>源码阅读 目的</strong></span></p>
<p>了解 go 中 http client 对于 body 的传输是如何处理的。</p>
<p>开始</p>
<p>在构建 Request 的时候，会断言 body 参数的类型，当类型为 <code>*bytes.Buffer</code> 、 <code>*bytes.Reader</code> 、 <code>*strings.Reader</code> 的时候，可以直接通过 <code>Len()</code> 方法取出长度，用于 <code>Content-Length</code> 请求头，相关代码<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyero5ko5XFfIfNhNCyr5q5aZ7EZKicx6abpoprca6-0N6ujZtvl72hhpSRt7qlkdCBZLGGmJ6za4Fhio2cabO3yqOOeXzcsp53zpHdpW6R03Wqr4ZxZrSNoJl8bIexvtyfrY6KiNvFfIOUm6adaZvTdqXFZIqgyKJtnpKyh4W0p6-siHail62tfs6B3LKkkrqBZK92gqC0jYqbfaN-a77Qs7GDhp6as3uG3oaVsbOFmIVhu6yKnrSKdW0' rel='nofollow'>net/http/request.go#L872-L914 </a>：</p>

<pre class="brush:plain;">
if body != nil {
 switch v := body.(type) {
 case *bytes.Buffer:
 req.ContentLength = int64(v.Len())
 buf := v.Bytes()
 req.GetBody = func() (io.ReadCloser, error) {
  r := bytes.NewReader(buf)
  return ioutil.NopCloser(r), nil
 }
 case *bytes.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 case *strings.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 default:
 }
 if req.GetBody != nil && req.ContentLength == 0 {
 req.Body = NoBody
 req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
 }
}

在链接建立的时候，会通过 body 和上一步中得到的 ContentLength 来进行判断，如果 body!=nil 并且 ContentLength==0 时，可能就会启用 Chunked 编码进行传输，相关代码 net/http/transfer.go#L82-L96  ：

case *Request:
 if rr.ContentLength != 0 && rr.Body == nil {
 return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
 }
 t.Method = valueOrDefault(rr.Method, "GET")
 t.Close = rr.Close
 t.TransferEncoding = rr.TransferEncoding
 t.Header = rr.Header
 t.Trailer = rr.Trailer
 t.Body = rr.Body
 t.BodyCloser = rr.Body
 // 当body为非nil，并且ContentLength==0时，这里返回-1
 t.ContentLength = rr.outgoingLength()
 // TransferEncoding没有手动设置，并且请求方法为PUT、POST、PATCH时，会启用chunked编码传输
 if t.ContentLength 

<p><span style="color: #ff0000"><strong>验证(一)</strong></span></p>
<p>按照对源码的理解，可以得知在使用 <code>io.pipe()</code> 方法进行流式传输时，会使用 <code>chunked</code> 编码进行传输，通过以下代码进行验证：</p>
<p>服务端</p>

<pre class="brush:plain;">
func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客户端

func main(){
 pr, rw := io.Pipe()
 go func(){
 for i := 0; i 

<p>先运行服务端，然后运行客户端，并且使用 <code>WireShake</code> 进行抓包分析，结果如下：</p>
<p style="text-align: center"><img alt="" src="/uploads/20221231/167246281663afc1e097e80.png"></p>
<p>可以看到和预想的结果一样。</p>
<p><span style="color: #ff0000"><strong>验证(二)</strong></span></p>
<p>在数据量大的时候 <code>chunked</code> 编码会增加额外的开销，包括编解码和额外的报文开销，能不能不用 <code>chunked</code> 编码来进行 <code>流式传输</code> 呢？通过源码可以得知，当 <code>ContentLength</code> 不为 0 时，如果能预先计算出待传输的 <code>body size</code> ，是不是就能避免 <code>chunked</code> 编码呢？思路就到这，接着就是写代码验证：</p>
<p>服务端</p>

<pre class="brush:plain;">
func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客户端

count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
 for i := 0; i 

<p>抓包结果：</p>
<p style="text-align: center"><img alt="" src="/uploads/20221231/167246281663afc1e0c9608.png"></p>
<p>可以看到确实直接使用的 <code>Content-Length</code> 进行传输，没有进行 <code>chunked</code> 编码了。</p>
<p><span style="color: #ff0000"><strong>总结</strong></span></p>
<p>本文的目的主要是记录 go 语言中 <code>http client</code> 如何进行流式的写入，并通过阅读源码了解 <code>http client</code> 内部对 body 的写入是如何进行处理的，通过两个验证可以得知，如果能提前计算出 <code>ContentLength</code> 并且对性能要求比较苛刻的情况下，可以通过手动设置 <code>ContentLength</code> 来优化性能。</p>
<p>文中关于golang的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Go语言HTTP请求流式写入body的示例代码》文章吧，也可关注golang学习网公众号了解相关技术文章。</p>