Transformers generate 怎样返回每步生成分数并定位异常输出
Transformers 的 generate() 默认更像一个“只给答案”的函数:你拿到生成后的 token,却看不到每一步为什么选中它。要做输出排查,关键不是改模型,而是在调用时同时打开 return_dict_in_generate=True 和 output_scores=True,再把每个生成 token 与 scores 中同一步的分数对齐。
官方地址:https://huggingface.co/docs/transformers/main/en/main_classes/text_generation
return_dict_in_generate让返回值带有结构化字段,output_scores才会保留逐步分数。scores[step]对应生成过程中的一步,不要把 prompt 的 token 当成生成 token。- 低分、重复和提前停止是三类不同信号,不能只看最终文本猜原因。
先把 generate 改成可解释的返回对象
我通常先保留原来的输入准备方式,只改生成参数。这样排查结果与原流程可比较,也不会把训练损失、微调指标混进来。output_scores 返回的是每个生成步的分数张量;它不是一张“整段文本的总分表”。
import torch
# 让 generate 返回结构化对象,并保留每个生成步的候选分数
generated = model.generate(
**inputs,
max_new_tokens=64, # 只限制新生成的 token 数
return_dict_in_generate=True, # 让结果带 sequences、scores 等字段
output_scores=True, # 保存每一步的候选分数
)
sequences = generated.sequences
step_scores = generated.scores
print(sequences.shape)
print(len(step_scores)) # 通常对应实际生成的步数

把每步分数对齐到实际生成 token
sequences 通常包含原始输入和新生成部分,所以要先用输入长度切片。批量输入时每条样本的 prompt 长度可能不同,最好使用 attention mask 计算各自的有效长度,不要写死一个全局下标。
# 用 attention_mask 找到每条样本的有效 prompt 长度
prompt_lengths = inputs["attention_mask"].sum(dim=1).tolist()
for row, prompt_len in enumerate(prompt_lengths):
generated_ids = sequences[row, prompt_len:]
text = tokenizer.decode(generated_ids, skip_special_tokens=False)
print(f"样本 {row} 的新文本:{text}")
# 每一步取出该样本最终选中的 token,和对应分数放在一起
for step, scores_at_step in enumerate(step_scores):
if step >= generated_ids.shape[0]:
break
token_id = generated_ids[step].item()
logits = scores_at_step[row]
probability = torch.softmax(logits, dim=-1)[token_id].item()
token_text = tokenizer.decode([token_id], skip_special_tokens=False)
print(step, repr(token_text), round(probability, 4))
这里的顺序很重要:先从 sequences 取实际选中的 token,再到同一步的分数向量中按 token id 取值。若直接把整段序列和 scores 从第0步硬拼,得到的“异常位置”往往会整体错一截。
| 字段 | 看什么 | 常见误读 |
|---|---|---|
sequences | 最终生成的 token 序列 | 把 prompt 也算进新生成长度 |
scores[step] | 该步对词表候选的分数 | 当成整段文本的最终概率 |
sequence_scores | 部分 beam search 输出中的序列级分数 | 与贪心或采样结果直接横向比较 |
用 token 级概率和分数定位异常
诊断时不要只打印最低分 token。先把它放回上下文:它是否是重复片段的起点,是否紧跟着特殊 token,是否只是采样温度较高造成的正常波动。下面的阈值只是排查入口,不是模型质量的统一标准。
previous_token_id = None
for step, scores_at_step in enumerate(step_scores):
if step >= generated_ids.shape[0]:
break
token_id = generated_ids[step].item()
logits = scores_at_step[row]
probability = torch.softmax(logits, dim=-1)[token_id].item()
token_text = tokenizer.decode([token_id], skip_special_tokens=False)
# 用局部信号标记候选异常,阈值应按业务样本校准
low_probability = probability

低概率只说明当前 token 在这一步的相对选择不占优势;重复 token 可能来自提示词、解码策略或模型本身;提前停止则要结合 EOS、max_new_tokens、stop_strings 等边界一起判断。三者应分别记录,后续才有可比的样本。
按生成策略选择可比指标
贪心和采样更适合看逐步 token 分数与上下文,beam search 还可能提供序列级分数。不同解码策略的分数形成过程不同,不能拿一次采样的 token 概率和一次 beam search 的序列分数直接排排行榜。
- 贪心:关注最低分步、重复片段和 EOS 是否提前出现。
- 采样:同时记录 temperature、top-k 或 top-p,否则同一 prompt 的概率轨迹无法复现。
- Beam search:需要保存 beam 数和序列级字段,并把长度惩罚等配置写进诊断记录。
常见问题
为什么 generated.scores 是空的?
最常见原因是没有设置 output_scores=True,或调用的封装层没有把该参数传给 generate()。
scores 的长度为什么比 max_new_tokens 小?
模型可能先遇到 EOS、停止字符串或其他停止条件;max_new_tokens 是上限,不是必须生成的步数。
能不能用 scores 直接判断答案正确?
不能。它反映的是当前解码过程中的相对选择,不能替代事实核验、任务评测或人工抽样。
CNCF 项目毕业后怎样读懂维护和生态信号
- 上一篇
- CNCF 项目毕业后怎样读懂维护和生态信号
- 下一篇
- Kubernetes Pod Security Admission 怎样把策略告警转成阻断
-
- 科技周边 · 人工智能 | 35分钟前 | 人工智能 · api设计 · 人工复核 内容审核 Categories Moderation API category_scores
- 内容审核接口返回多标签结果时怎样设计分支
- 160浏览 收藏
-
- 科技周边 · 人工智能 | 38分钟前 | 人工智能 · 多模态 · token 视觉模型 detail 多图输入 Vision API
- 视觉模型输入多张图片时怎样控制顺序和细节级别
- 386浏览 收藏
-
- 科技周边 · 人工智能 | 40分钟前 | 人工智能 · 提示词缓存 prompt_cache_key 稳定前缀 动态输入
- 提示词缓存怎样拆分稳定前缀和动态输入
- 419浏览 收藏
-
- 科技周边 · 人工智能 | 44分钟前 | 多模态输入 Gemini API Files API MIME 类型
- Gemini API 怎样把文件输入和文本提示放在同一请求
- 164浏览 收藏
-
- 科技周边 · 人工智能 | 44分钟前 | 人工智能 · padding Transformers tokenizer attention_mask input_ids truncation
- Transformers tokenizer 怎样让 padding 与 truncation 对齐批量输入
- 416浏览 收藏
-
- 科技周边 · 人工智能 | 45分钟前 |
- Hugging Face Datasets DatasetDict 跨 train 与 validation 的 map 处理方案
- 267浏览 收藏
-
- 科技周边 · 人工智能 | 51分钟前 | 人工智能 · 结构化输出 · JSON Schema Responses API Structured Outputs strict refusal
- 结构化输出怎样约束模型返回 JSON Schema
- 328浏览 收藏
-
- 科技周边 · 人工智能 | 55分钟前 | 人工智能 · openai · 工具调用 Responses API function_call_output call_id
- Responses API 怎样处理工具调用后的继续响应
- 156浏览 收藏
-
- 科技周边 · 人工智能 | 55分钟前 | 人工智能 · openai · 多轮对话 Responses API conversation state OpenAI API previous_response_id
- Responses API 怎样用上一轮响应继续多轮对话
- 121浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- GPT-Live双工语音会话接入后端
- 470浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1055次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1054次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1219次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1162次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1005次使用
-
- 量化模型本地推理的显存估算方法
- 2026-10-17 501浏览
-
- 本地大模型反复输出同一句话怎么调整生成参数
- 2026-09-06 501浏览
-
- Python 调用大模型时如何用结构化输出校验 JSON:从解析失败到可重试
- 2026-08-29 501浏览
-
- AI写作工具免费版安装教程(含豆包Clawdbot)
- 2026-05-30 501浏览
-
- WPS AI能自动生成PPT吗?输入主题一键制作演示文稿
- 2026-05-27 501浏览

