LoRA 微调数据集里为什么要保留一致的对话格式

LoRA 微调后模型突然不按指令回答，很多人第一反应是调大 rank、增加训练轮数或换学习率。若训练数据里的角色字段、chat template、结束标记和线上推理入口没有保持一致，适配器学到的其实是另一种输入分布，超参数再漂亮也很难补回来。

最稳妥的做法是：把每条样本统一成 messages，让训练和推理都经过同一个 tokenizer 模板；训练时不要额外拼接生成提示，推理时再明确告诉模板从哪里开始生成。

一、为什么对话格式会影响 LoRA 微调结果

聊天模型看到的不是“问句”和“答案”两个抽象字段，而是一串包含角色边界的 token。system、user、assistant 可能会被模板转换成特殊控制 token；同一句中文，如果从 user 位置变成普通文本，模型接收到的条件就已经不同。

Hugging Face Transformers 的 chat template 以包含 role 和 content 的消息列表为输入，再按模型约定生成可分词的序列。训练时通常使用 add_generation_prompt=False，因为样本已经包含 assistant 回复；推理时才使用生成提示，标出下一段应由 assistant 接管。

这也解释了一个常见误判：训练 loss 下降，只能说明模型在当前渲染格式上拟合得更好，不能证明线上 prompt 采用了同一套控制 token。LoRA 的低秩矩阵改变的是部分参数更新路径，不会自动把一份错误的数据协议变成正确协议。

二、把训练格式固定成可检查的 messages 样本

先把原始问答整理成稳定的数据结构。下面的示例故意保留 system、user、assistant 三种角色，实际项目可以删掉不需要的 system，但不要同一批数据一会儿省略角色、一会儿用自定义前缀代替。

# 每行 JSONL 表示一条完整对话，角色名与推理模板保持一致
sample = {
    "messages": [
        {"role": "system", "content": "你是一个简洁的技术助手。"},
        {"role": "user", "content": "解释 LoRA 为什么不需要更新全部参数。"},
        {"role": "assistant", "content": "LoRA 只训练低秩适配器，基座模型参数保持冻结。"}
    ]
}

# 训练阶段渲染完整对话，不在末尾追加新的 assistant 起始标记
formatted = tokenizer.apply_chat_template(
    sample["messages"],
    tokenize=False,
    add_generation_prompt=False,
)

# 若后续单独调用 tokenizer，避免再次添加已经由模板写入的特殊 token
batch = tokenizer(formatted, add_special_tokens=False)

这里有三个边界要记住。第一，模板已经负责控制 token 时，后续单独分词不要再默认添加一套 BOS/EOS。第二，训练样本的最后一条通常是 assistant 回复，不能把生成用的 assistant 起始提示混进监督目标。第三，若使用 TRL 的 SFTTrainer，可直接提供 conversational dataset，让训练器按 tokenizer 的 chat template 处理；但仍要确认 tokenizer 的模板就是目标基座模型使用的那一份。

三、训练前先核对监督范围和推理入口

格式统一后，还要看“哪些 token 参与学习”。如果训练器只对 assistant 回复计算 loss，角色和用户内容是条件；如果误把整段对话都作为目标，模型可能更努力地复述用户问题。不同训练框架对 completion-only loss、assistant mask 的配置名称不同，关键是先确认 mask 覆盖范围，而不是照抄参数名。

最小核对方法是固定一条样本，分别打印训练渲染串和推理 prompt，只比较结构：角色标记是否一致、assistant 的起点是否明确、EOS 是否只出现一次、训练监督是否覆盖预期回答。不要只比较肉眼可见的中文，因为真正影响模型的是控制 token 的位置。

四、把格式问题排在超参数之前

当模型出现“能答但格式乱”“经常继续扮演 user”“回答提前结束”时，优先检查数据协议。确认模板和 mask 后，再观察学习率、rank、序列长度与数据质量；否则调参只是在掩盖输入分布不一致。

1. 保存基座模型、tokenizer 和 chat template 的版本信息。
2. 抽查角色是否只来自约定集合，空内容和多轮顺序是否有明确规则。
3. 用同一条样本生成训练串与线上 prompt，核对控制 token 和 EOS。
4. 记录 assistant 监督范围，避免把用户内容误当成目标。

常见问题

只保留 user 和 assistant，可以省略 system 吗？

可以，但要让训练集和推理入口都遵守同一约定。省略 system 本身不是错误，训练时有 system、推理时完全没有才是格式漂移。

训练时为什么通常不加 generation prompt？

训练样本已经包含 assistant 回复，额外的 assistant 起始标记会把“等待生成”的提示混进目标序列。生成阶段才需要它来指示回答起点。

换一个模型后还能复用原来的 JSONL 吗？

可以复用语义字段，但不能假设模板和特殊 token 相同。换基座模型后，先读取新 tokenizer 的 chat template，再重新渲染和抽查样本。

LoRA 的效率来自只训练适配器，不代表输入格式可以随意。把 messages、模板、控制 token、监督范围和推理入口当成一份版本化的数据契约，通常比继续堆训练轮数更快找到问题。