Go 线上故障复盘模板：日志、指标、链路追踪与 pprof 证据闭环

很多线上故障复盘只记录现象和结论，缺少证据链。下一次出现类似问题时，团队仍然要从头猜测。复盘应该沉淀成可执行的排查模板。

解决方案思路

复盘按时间线记录：告警时间、影响范围、关键指标、相关日志、trace_id、pprof 文件、根因、修复动作和回归防护。每个行动项要有 owner、截止时间和验证指标。

核心代码示例

incident_id: INC-2026-001
impact: order query P99 > 2s
evidence: metrics + logs + trace + pprof
root_cause: Redis timeout retry amplification
action: timeout budget + retry cap + alert rule

运行逻辑

告警触发后先冻结证据，再按指标、日志、trace、profile 的顺序缩小范围。修复后把对应指标加入回归看板，确保同类问题不会静默复发。

重点观察指标

• MTTD、MTTA、MTTR
• 复盘行动项完成率
• 同类故障复发次数和告警提前量

常见误区

• 复盘只写责任，不写证据
• 没有把修复转化为监控和回归规则
• 故障材料散落在聊天记录里

参考方案

• Go Diagnostics 文档
• net/http/pprof 官方文档
• OpenTelemetry Go 文档

落地检查

• 字段、指标和 Span 名称要稳定，便于长期聚合。
• 上线前先在灰度环境验证采集成本和数据量。
• 告警必须能指向 owner、排查入口和回滚方案。