Go 批处理与流式处理：吞吐、延迟和内存取舍

批量可以摊薄固定开销，流式可以控制内存。高性能处理任务通常不是二选一，而是根据数据规模、延迟目标和内存预算组合两者。

批量提升吞吐

数据库批量写入、Redis pipeline、批量编码都能减少网络往返和系统调用。但批量过大时，单次延迟和内存峰值会升高。

流式控制内存

导入导出、大文件处理和消息消费适合流式处理。不要把所有数据一次性读入内存，再开始处理。

背压决定稳定性

当下游处理变慢时，上游必须感知并放慢。无界队列会把延迟问题藏成内存问题。

生产场景

适用于数据导入、报表导出、消息消费、日志处理和批量同步任务。

关键指标

• 吞吐、P99、RSS
• 批量大小与错误率
• 队列长度和下游等待时间

常见误区

• 一次性加载全部数据
• 批量大小只看吞吐不看内存
• 无界队列隐藏下游慢

代码示例

for batch := range ReadBatches(ctx, r, 500) {
    if err := writer.WriteBatch(ctx, batch); err != nil { return err }
}
// batch size 来自内存和下游预算

上线检查

• 优化前后必须保留同一条件下的 benchmark 或 profile。
• 至少观察 P95/P99、错误率、CPU、内存和 GC 指标。
• 如果改动影响热路径，必须准备灰度和回滚方案。