Go bytes.Buffer 如何复用空间处理分段响应

处理流式接口时，响应经常不是一次到齐，而是由多段 JSON、日志片段或协议帧连续到达。若每段都重新创建 bytes.Buffer，短时间内会出现许多临时分配；若只调用 Write 却从不清空，底层数组又会跟着未读内容一起增长。更稳妥的做法是：预估单段大小后复用一个 buffer，每段数据完成消费或复制后调用 Reset，让长度归零但保留已经申请的空间。

分段响应为什么会让 buffer 越写越大

bytes.Buffer 同时维护“未读窗口”和底层存储。Len() 只看未读数据，Cap() 看已经分配的总空间，Available() 则是还能直接写入的空间。连续调用 Write 时，如果可用容量不够，buffer 会扩容；读取或处理完数据后，只要不调用 Reset，长度仍可能代表旧内容，下一段就会在它后面继续追加。

这也是“内存没有立刻下降”容易被误判的原因：Reset 会把长度归零并保留底层存储，下一次写入可以复用它。它适合大小相近、生命周期连续的响应段；如果某一段异常大，长期保留这块容量反而不划算，应在业务边界上丢弃当前 buffer，或让对象回到池之前重新评估容量。

复用的关键是消费后 Reset 而不是反复创建

复用的边界只有一句话：当前段已经被解析、写出或复制到独立内存后，才允许清空 buffer。下面的示例把每段当作完整文本处理；真实项目中可以把 consume 换成 JSON 解码、协议帧校验或写入下游。

func handleSegments(segments [][]byte, maxSegment int) error {
	// 一个请求内复用同一块存储，避免每段都重新分配 buffer。
	var buf bytes.Buffer
	if maxSegment > 0 {
		// 预留单段常见上限；超出时仍允许 Buffer 按需扩容。
		buf.Grow(maxSegment)
	}

	for _, segment := range segments {
		buf.Reset()
		if _, err := buf.Write(segment); err != nil {
			// Write 当前实现通常返回 nil，但保留错误分支便于替换写入策略。
			return err
		}
		// consume 必须在 Reset 前完成，不能把 Bytes 的别名带出本轮。
		if err := consume(buf.Bytes()); err != nil {
			return err
		}
	}
	return nil
}

这里的 Reset 放在下一段写入前，和放在上一段处理结束后效果相同，但后者更容易审查“数据是否已经消费”。如果处理函数需要异步保存内容，应先用 append([]byte(nil), buf.Bytes()...) 复制一份，再交给异步任务；不要直接保存 Bytes() 返回的切片。

用 ReadFrom 统一处理每段输入

当分段数据来自网络适配器、文件或自定义 io.Reader 时，可以把写入动作统一为 ReadFrom。官方实现会持续读取到 EOF，并在 buffer 有足够空间时复用底层切片；返回的字节数可用于记录本段实际接收量。

func readOneSegment(r io.Reader, buf *bytes.Buffer) ([]byte, error) {
	// 调用方保证 buf 只属于当前请求，避免并发读写同一对象。
	buf.Reset()
	if _, err := buf.ReadFrom(r); err != nil {
		// ReadFrom 会吞掉 io.EOF，但会返回其他读取错误。
		return nil, err
	}
	// 结果仍然别名 buf 的存储；跨越下一次 Reset 前必须复制。
	result := append([]byte(nil), buf.Bytes()...)
	return result, nil
}

ReadFrom 并不意味着不会扩容。若每段远大于预估值，容量仍会增加；而且它读取到 EOF，不能拿来替代“读到分隔符就交付”的帧解析器。分隔符协议应先在独立的读取层确定边界，再把确定的一段交给 buffer。

哪些数据不能直接保留以及并发怎么选

还要注意复制时机：调用 Reset 后，旧的 Bytes() 切片即使暂时看起来仍有内容，也不再是稳定结果。对于真正的流式协议，buffer 只是暂存区，协议解析器必须负责半包、粘包和异常长度；不能把“复用空间”误当成“自动完成分段”。

相关问题

Reset 会释放 bytes.Buffer 的内存吗？

不会。它把长度清零并保留底层存储，目的是服务后续写入；是否保留应结合单段大小和对象生命周期判断。

Grow 调用得越大越好吗？

不是。Grow 只适合有可靠上限或稳定分布的场景，盲目预留过大的空间会抬高常驻内存。

Bytes 返回的数据能在下一段处理后继续使用吗？

不能依赖。它与 buffer 共享存储，下一次写入、读取或 Reset 后就可能失效；需要跨边界保存时请复制。

参考：https://pkg.go.dev/bytes、https://go.dev/src/bytes/buffer.go。官方文档与源码分别说明了 Buffer 方法契约，以及未读窗口、容量复用和扩容路径。