本地大模型聊天效果差怎么检查 chat template

本地大模型“聊天效果差”，不一定是模型能力突然下降。最先要查的是 chat template：同一组 system/user 消息，如果没有按模型训练时的格式渲染，模型可能把新问题当成上一条文本继续写；如果 assistant 起始标记缺失，回复也可能变成复述、角色错乱或直接输出模板符号。

先固定一组 messages，分别保存 apply_chat_template 的文本结果和 token 结果；优先确认 assistant 回复起点是否存在、特殊 token 是否重复，再考虑温度和 top_p。修复时只改一个边界，便于回滚。

先把“聊天变差”缩小成可比较的输入

排查时不要一上来改采样参数。先用短而稳定的对话：一个 system、一条 user，不放历史消息，也不混入工具调用。记录模型名、tokenizer 来源、模板渲染文本和输入 token 数量。这样才能区分“模型本身的输出波动”和“输入格式已改变”。

如果同一份 messages 在两次运行中渲染结果不同，先检查 tokenizer 配置是否被覆盖；如果文本相同但 token 数量不同，再检查是否走了不同的分词路径。模板是 tokenizer 的一部分，不能只从模型名称猜它使用哪种标记。

用 apply_chat_template 对照三个输入边界

Hugging Face Transformers 的推荐入口是 tokenizer.apply_chat_template。它接收带有 role 和 content 的消息列表，把对话转换成模型训练时使用的控制标记。下面的代码只做输入对照，不需要运行本地模型。

from transformers import AutoTokenizer

# 使用实际部署的模型目录，避免拿另一个模型的模板做对照
tokenizer = AutoTokenizer.from_pretrained("your-model-directory")
messages = [
    {"role": "system", "content": "回答要简短，并给出可执行的检查项。"},
    {"role": "user", "content": "为什么我本地聊天模型总是在复述问题？"},
]

# 先看纯文本：确认 assistant 回复起点是否由模板补上
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
print(prompt)

# 生产生成时直接让模板完成分词，减少重复添加特殊 token 的机会
model_inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
)
print(model_inputs.shape)

重点不是某个固定的标记长什么样，而是最后是否明确进入 assistant 回复区域。不同模型的控制 token 不同，有些模型没有额外的 assistant 起始 token，add_generation_prompt 可能不会改变文本；这时应以该 tokenizer 的模板结果为准，不能照抄另一个模型的输出。

检查生成提示和特殊 token 是否重复

最常见的误区有两个。第一，生成新回复却把 add_generation_prompt 关掉，模型没有收到“现在轮到 assistant 说话”的提示。第二，先用 tokenize=False 得到已经带控制标记的字符串，后面又用默认的 add_special_tokens=True 手动分词，导致 BOS/EOS 或其他特殊 token 被加两次。

因此排查表可以写得很简单：

如果必须先渲染文本再分词，要明确告诉 tokenizer 不要再次添加特殊 token，并把这条约束写进调用封装。官方文档还特别提醒：add_generation_prompt 与 continue_final_message 语义相反，前者开始一条新的 assistant 消息，后者移除结束标记，让模型继续最后一条消息；两者不能一起使用。

按最小改动修复，并保留回滚路径

确认问题后，一次只改一个变量：先恢复模型自带 tokenizer 的 chat_template，再统一调用 apply_chat_template；不要同时更换模型、提示词、量化方式和采样参数。修复前保存一条渲染文本、token 数量和一条固定问题的输出，修复后逐项比较。

如果新模板来自手写 Jinja，先用少量 system、user、assistant 组合检查空白、结束标记和 assistant 起点。模板中的额外换行也可能改变输入；这类变化应当记录在版本控制中，出现回归时直接恢复上一份 tokenizer 配置。线上可以把“渲染后 token 数异常”“末尾没有回复起点”作为输入告警，但不要把模型偶发生成偏差直接判成模板故障。

常见问题

只打开 add_generation_prompt 就一定能解决吗？

不一定。它只负责按模板表达新 assistant 消息的起点；如果模型本身不需要额外标记、模板不匹配或特殊 token 已重复，仍需继续对照渲染结果。

为什么同样的 messages 在不同模型上不能通用？

messages 的结构可以相似，但控制 token 和模板是模型训练格式的一部分。应使用目标模型自己的 tokenizer，而不是复制另一个模型的字符串模板。

调低 temperature 能掩盖模板问题吗？

只能暂时改变输出波动，不能修复输入边界。先让固定 messages 得到正确渲染，再调整采样参数才有可比性。