Go io.Pipe连接压缩器与上传器的背压处理方案

把压缩后的大文件直接交给上传接口时，最容易踩到两个坑：为了“提速”堆出一块很大的内存缓冲，以及上传失败后压缩 goroutine 还卡在写入处。更稳的做法是用 io.Pipe 把 gzip.Writer 和上传端的 io.Reader 接起来。它没有内部缓冲，上传端读得慢，压缩写端就会自然等待；上传端出错时，再用 CloseWithError 把错误传回去。

io.Pipe为什么会形成自然背压

io.Pipe() 返回一对 PipeReader 和 PipeWriter。官方文档把它定义为同步内存管道：一次写入要等对应读取消费数据，管道本身不替你积压字节。因此，写端的阻塞不是异常，而是把“上传速度”传递给“压缩速度”的边界。

这个边界适合流式上传：源数据只经过当前正在处理的小块，不需要先读成一个完整的 []byte。但它也意味着必须有一个持续读取 PipeReader 的消费者；如果上传接口在某个分支提前返回，写端就必须得到关闭或错误通知。

压缩器与上传器如何连接

连接方向不要反：压缩器是生产者，所以让 gzip.NewWriter(pw) 写到 PipeWriter；上传函数是消费者，所以把 PipeReader 作为它的输入。生产端放进 goroutine，主 goroutine 负责调用上传函数并等待生产结果。

package stream

import (
    "compress/gzip"
    "context"
    "io"
)

// streamUpload 将压缩输出直接交给上传函数，避免把完整文件放进内存。
func streamUpload(ctx context.Context, src io.Reader, upload func(context.Context, io.Reader) error) error {
    pr, pw := io.Pipe()
    produceDone := make(chan error, 1)

    go func() {
        gz := gzip.NewWriter(pw)
        // Copy 返回错误时，先通知读端，避免上传端继续等待数据。
        if _, err := io.Copy(gz, src); err != nil {
            _ = gz.Close()
            _ = pw.CloseWithError(err)
            produceDone 

这里的 ctx 由上传实现负责响应；io.Pipe 自身不会监听上下文。源端如果也是可取消读取器，还应在取消后尽快返回，否则关闭管道只能解决管道这一层的等待。

压缩器与上传器的关闭顺序

成功路径的顺序只有一句话：先关压缩器，再关管道写端。gzip.Writer.Close 会写出校验和与尾部信息，之后 PipeWriter.Close 才会让读端得到 EOF。反过来先关管道，上传端可能提前结束，压缩尾部就无法完整送达。

上传失败时怎样解除写端阻塞

上传函数返回错误后，读端已经不再消费数据。如果只把这个错误返回给调用方，生产 goroutine 仍可能停在某次 pw.Write 或 io.Copy 内。pr.CloseWithError(uploadErr) 会让管道的另一端获得错误并退出阻塞，随后通过 produceDone 回收 goroutine。

反方向也要处理：源读取或压缩失败时调用 pw.CloseWithError(err)，上传端的读取会结束并拿到这个错误。不要把错误吞掉后只发送 EOF，否则上层可能把一个不完整的压缩流当成正常上传。

什么时候不该使用 io.Pipe

io.Pipe 更像同步交接点，不是消息队列。上传接口需要随机读取、重试时重复读取、或者生产与消费必须短暂脱钩时，应该改用临时文件、可重读的对象或带明确容量的缓冲队列。它也不负责限速、重试和断点续传；这些策略应放在上传器边界。

上线前至少检查三件事：上传失败能否触发 CloseWithError，压缩器是否在成功分支执行 Close，以及取消请求后生产源是否会停止。三点都成立，io.Pipe 才能同时提供低内存和可回收的背压链路。

常见问题

io.Pipe 会不会像 bytes.Buffer 一样自动缓存数据？

不会。它没有内部缓冲，写入要与读取配对；需要解耦时应显式增加缓冲或改用文件。

为什么必须调用 gzip.Writer.Close？

因为压缩器关闭时还要写出尾部信息。只关闭 PipeWriter 不能代替压缩器收口。

上传失败只关闭 PipeWriter 可以吗？

不建议。失败发生在读端时，优先对 PipeReader 调用 CloseWithError，让正在写入的生产端得到明确错误并退出。