当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Transformers generate 怎样返回每步生成分数并定位异常输出

Transformers generate 怎样返回每步生成分数并定位异常输出

来源:17golang原创 2026-11-16 20:46:01 0浏览 收藏

Transformers 的 generate() 默认更像一个“只给答案”的函数:你拿到生成后的 token,却看不到每一步为什么选中它。要做输出排查,关键不是改模型,而是在调用时同时打开 return_dict_in_generate=True 和 output_scores=True,再把每个生成 token 与 scores 中同一步的分数对齐。

官方地址:https://huggingface.co/docs/transformers/main/en/main_classes/text_generation

要点速览
  • return_dict_in_generate 让返回值带有结构化字段,output_scores 才会保留逐步分数。
  • scores[step] 对应生成过程中的一步,不要把 prompt 的 token 当成生成 token。
  • 低分、重复和提前停止是三类不同信号,不能只看最终文本猜原因。

先把 generate 改成可解释的返回对象

我通常先保留原来的输入准备方式,只改生成参数。这样排查结果与原流程可比较,也不会把训练损失、微调指标混进来。output_scores 返回的是每个生成步的分数张量;它不是一张“整段文本的总分表”。

import torch

# 让 generate 返回结构化对象,并保留每个生成步的候选分数
generated = model.generate(
    **inputs,
    max_new_tokens=64,              # 只限制新生成的 token 数
    return_dict_in_generate=True,   # 让结果带 sequences、scores 等字段
    output_scores=True,              # 保存每一步的候选分数
)

sequences = generated.sequences
step_scores = generated.scores
print(sequences.shape)
print(len(step_scores))             # 通常对应实际生成的步数
Transformers generate 返回对象中 prompt、generated token、sequences 与 scores 的结构说明图
图1:生成结果对象的结构说明图,展示 prompt、sequences 和逐步 scores 的对应关系。

把每步分数对齐到实际生成 token

sequences 通常包含原始输入和新生成部分,所以要先用输入长度切片。批量输入时每条样本的 prompt 长度可能不同,最好使用 attention mask 计算各自的有效长度,不要写死一个全局下标。

# 用 attention_mask 找到每条样本的有效 prompt 长度
prompt_lengths = inputs["attention_mask"].sum(dim=1).tolist()

for row, prompt_len in enumerate(prompt_lengths):
    generated_ids = sequences[row, prompt_len:]
    text = tokenizer.decode(generated_ids, skip_special_tokens=False)
    print(f"样本 {row} 的新文本:{text}")

    # 每一步取出该样本最终选中的 token,和对应分数放在一起
    for step, scores_at_step in enumerate(step_scores):
        if step >= generated_ids.shape[0]:
            break
        token_id = generated_ids[step].item()
        logits = scores_at_step[row]
        probability = torch.softmax(logits, dim=-1)[token_id].item()
        token_text = tokenizer.decode([token_id], skip_special_tokens=False)
        print(step, repr(token_text), round(probability, 4))

这里的顺序很重要:先从 sequences 取实际选中的 token,再到同一步的分数向量中按 token id 取值。若直接把整段序列和 scores 从第0步硬拼,得到的“异常位置”往往会整体错一截。

字段看什么常见误读
sequences最终生成的 token 序列把 prompt 也算进新生成长度
scores[step]该步对词表候选的分数当成整段文本的最终概率
sequence_scores部分 beam search 输出中的序列级分数与贪心或采样结果直接横向比较

用 token 级概率和分数定位异常

诊断时不要只打印最低分 token。先把它放回上下文:它是否是重复片段的起点,是否紧跟着特殊 token,是否只是采样温度较高造成的正常波动。下面的阈值只是排查入口,不是模型质量的统一标准。

previous_token_id = None
for step, scores_at_step in enumerate(step_scores):
    if step >= generated_ids.shape[0]:
        break
    token_id = generated_ids[step].item()
    logits = scores_at_step[row]
    probability = torch.softmax(logits, dim=-1)[token_id].item()
    token_text = tokenizer.decode([token_id], skip_special_tokens=False)

    # 用局部信号标记候选异常,阈值应按业务样本校准
    low_probability = probability 
Transformers 生成步、token、score、probability 与低分重复提前停止诊断的关系图
图2:token 级诊断说明图,展示生成步与异常信号的对应关系。

低概率只说明当前 token 在这一步的相对选择不占优势;重复 token 可能来自提示词、解码策略或模型本身;提前停止则要结合 EOS、max_new_tokens、stop_strings 等边界一起判断。三者应分别记录,后续才有可比的样本。

按生成策略选择可比指标

贪心和采样更适合看逐步 token 分数与上下文,beam search 还可能提供序列级分数。不同解码策略的分数形成过程不同,不能拿一次采样的 token 概率和一次 beam search 的序列分数直接排排行榜。

  • 贪心:关注最低分步、重复片段和 EOS 是否提前出现。
  • 采样:同时记录 temperature、top-k 或 top-p,否则同一 prompt 的概率轨迹无法复现。
  • Beam search:需要保存 beam 数和序列级字段,并把长度惩罚等配置写进诊断记录。

常见问题

为什么 generated.scores 是空的?

最常见原因是没有设置 output_scores=True,或调用的封装层没有把该参数传给 generate()。

scores 的长度为什么比 max_new_tokens 小?

模型可能先遇到 EOS、停止字符串或其他停止条件;max_new_tokens 是上限,不是必须生成的步数。

能不能用 scores 直接判断答案正确?

不能。它反映的是当前解码过程中的相对选择,不能替代事实核验、任务评测或人工抽样。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
CNCF 项目毕业后怎样读懂维护和生态信号CNCF 项目毕业后怎样读懂维护和生态信号
上一篇
CNCF 项目毕业后怎样读懂维护和生态信号
Kubernetes Pod Security Admission 怎样把策略告警转成阻断
下一篇
Kubernetes Pod Security Admission 怎样把策略告警转成阻断
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1055次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1054次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1219次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1162次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1005次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码