当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > LLM 流式输出中断时怎么保存可恢复的对话状态

LLM 流式输出中断时怎么保存可恢复的对话状态

来源：17golang原创 2026-09-07 19:24:07 0浏览收藏

流式回答一断线就从头生成，通常不是模型“不会续写”，而是应用没有保存已经确认的增量。更稳妥的做法是：为每次生成分配 generation_id，把每个增量写入带递增序号的事件日志，客户端重连时从最后一个序号回放；提交对话时再用幂等键去重。

要恢复的是“客户端没有收到的已生成内容”，不是凭空保证模型从任意 token 继续生成。上游请求已经消失时，应明确标记未完成，再决定继续原任务或重新生成。

要点速览

generation_id、seq、status 是恢复一条流的最小身份信息。
先落库再推送，重连按 Last-Event-ID 回放，重复事件按序号丢弃。
传输可恢复不等于模型可续生成；提交用户消息时还要单独做幂等。

先把“断线”拆成三个不同问题

排查时先问清楚是哪一层断了。浏览器到服务端的 SSE 连接断开，只代表用户暂时没收到字节；服务端到模型的上游连接断开，才涉及生成是否还在继续；服务端进程重启，则要求恢复日志和生成状态本身是持久的。

现象	应该保存什么	恢复动作
浏览器断线	事件序号与增量文本	回放缺失事件
模型仍在生成	上游任务句柄与状态	接回原任务或继续消费
上游已失败	失败原因、最后检查点	提示未完成并重新发起

LLM 流式输出的浏览器连接、SSE 事件、EventLog、GenerationState 与 Model Upstream 恢复边界关系图 — 图1：把浏览器连接、持久化恢复日志和模型上游分开，断线恢复只回放已经确认的增量事件。

状态记录可以长这样：status 使用 running、completed、failed、incomplete 等有限值；last_seq 表示已经持久化的最后序号，不要把“已经写入”和“已经显示”混成一个字段。

每个增量都要能重放，也要能去重

增量落库时，唯一键应至少包含 generation_id 和 seq。服务端先写事件，再向连接发送同一个 id，这样即使发送动作重复，也不会产生两条逻辑事件。下面的代码是一个最小的内存接口，生产环境把 EventLog 换成带唯一约束的数据库表或持久化日志。

type DeltaEvent struct {
    GenerationID string // 标识一次生成，不能用用户 ID 代替
    Seq          int64  // 同一生成内单调递增
    Text         string // 本次增量，不直接覆盖累计答案
}

func AcceptDelta(log EventLog, event DeltaEvent) (bool, error) {
    // 先用 generation_id + seq 幂等写入，重复事件直接视为已接受
    inserted, err := log.InsertIfAbsent(event.GenerationID, event.Seq, event.Text)
    if err != nil {
        return false, err // 持久化失败时不要向客户端确认
    }
    return inserted, nil // false 表示重试写入，不是新的增量
}

这里的关键不是“每个 token 都必须落库”，而是要定义检查点粒度。可以按字符片段、句子或固定字节数合并，但合并后仍要保留顺序和边界。若只保存一份不断覆盖的全文，重连时无法判断客户端缺了哪一段，也无法安全丢弃重复数据。

LLM 增量事件通过 seq、Last-Event-ID、幂等键和回放游标合并到客户端对话文本的关系图 — 图2：以 seq 和幂等键作为稳定标识，让同一增量既能安全重放，也不会重复拼接到对话文本。

重连时只回放最后确认点之后的事件

SSE 事件可以带 id。浏览器重连时会把最后事件 ID 作为 Last-Event-ID 传回；不能依赖单个连接对象保存进度，因为连接对象在断线后已经不存在。服务端应按请求头读取游标，并从日志查询更大的序号。

func Stream(w http.ResponseWriter, r *http.Request, log EventLog) {
    // Last-Event-ID 缺失时从 0 开始；也可用受保护的 since 参数兼容非浏览器客户端
    after := parseSeq(r.Header.Get("Last-Event-ID"))
    events, err := log.After(r.Context(), r.PathValue("generation_id"), after)
    if err != nil {
        http.Error(w, "replay unavailable", http.StatusServiceUnavailable)
        return
    }
    w.Header().Set("Content-Type", "text/event-stream")
    for _, event := range events {
        // id 与数据来自同一条已持久化记录，客户端可按 seq 幂等合并
        fmt.Fprintf(w, "id: %d\\ndata: %s\\n\\n", event.Seq, event.Text)
    }
}

客户端合并时也要防御重复：收到的序号小于等于本地游标就丢弃，序号跳跃则先标记“缺片段”，不要把后来的文本直接拼接。对需要严格顺序的回答，宁可短暂等待回放补齐，也不要展示一段看似完整但中间缺字的内容。