当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Transformers StopStringCriteria 怎样按结束字符串停止生成

Transformers StopStringCriteria 怎样按结束字符串停止生成

来源:17golang原创 2026-11-20 08:43:51 0浏览 收藏

如果模型输出需要在出现 后立即收尾,单独设置 max_new_tokens 只能限制长度,不能表达业务结束条件。更合适的做法是用同一个 tokenizer 构造 StopStringCriteria,再放进 StoppingCriteriaList 交给 generate。

官方地址:https://huggingface.co/docs/transformers/main/en/internal/generation_utils

关键点是:停止条件负责“什么时候停”,tokenizer 负责把字符串映射到模型的词元边界,终止标记是否从最终文本中删除则属于业务层后处理。

StopStringCriteria 解决的不是长度限制

StopStringCriteria 针对的是“生成结果出现指定字符串就停止”这个问题。它和 max_new_tokens 的职责不同:前者关注内容边界,后者关注长度上限;两者可以同时设置,避免结束字符串没有出现时生成无限延长。

这个接口需要 tokenizer,因为结束字符串可能跨越多个 token,不能简单地把每次生成的 token 当成一个完整字符比较。停止条件也不是一个独立的字符串截断工具,它应该绑定到目标模型实际使用的 tokenizer,并通过生成接口统一管理。

prompt 文本、tokenizer、结束字符串、StopStringCriteria、停止条件列表与 generate 的结构关系说明图
图1:结构说明图,查看 StopStringCriteria 如何接入生成接口。

用同一个 tokenizer 构造结束条件

下面的示例把 作为业务协议中的结束标记。StopStringCriteria 接收 tokenizer 和一个字符串或字符串列表;多个标记可以放在同一停止条件中。

from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    StopStringCriteria,
    StoppingCriteriaList,
)

model_name = "your-model-name"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "请用两句话概括下面的接口:"
inputs = tokenizer(prompt, return_tensors="pt")

# 结束字符串属于业务协议,使用模型配套 tokenizer 构造停止条件。
stop_rule = StopStringCriteria(
    tokenizer=tokenizer,
    stop_strings=[""],
)
stopping = StoppingCriteriaList([stop_rule])

output_ids = model.generate(
    **inputs,
    stopping_criteria=stopping,
    max_new_tokens=128,  # 没遇到结束标记时仍用长度上限兜底。
)

# 解码保留特殊标记,便于决定是否移除业务结束串。
text = tokenizer.decode(output_ids[0], skip_special_tokens=False)
print(text)

这里最容易出错的是 tokenizer 不一致:如果结束条件使用了另一套词表,模型实际生成的 token 边界和停止判断的假设就不再对应。max_new_tokens 仍然建议保留,它是结束字符串缺失或模型输出异常时的安全上限。

把条件交给 generate,而不是在循环外猜测

StoppingCriteriaList 是停止策略的组合容器。把条件交给 generate 后,生成过程可以在每轮追加 token 后统一判断;调用方只需要关心输入、输出和后处理,不必自己复制一套生成循环。

如果停止条件依赖 scores,官方文档要求同时打开 return_dict_in_generate=True 与 output_scores=True,否则传给条件的分数可能是 None。本例只依据生成文本中的结束字符串,因此不需要打开这两个选项。

接口职责使用判断
tokenizer把文本与 token 相互转换必须和模型配套
StopStringCriteria声明字符串终止条件内容边界明确时使用
StoppingCriteriaList组合停止规则需要多个条件时扩展
max_new_tokens限制最大生成长度作为兜底上限保留

终止标记与最终文本要分开处理

停止判定和文本清洗是两件事。生成通常需要先把能触发条件的 token 放进序列,再让停止条件返回停止信号;如果协议不希望把 交给下游,就在解码后按明确规则移除,而不要把“是否停止”和“最终展示什么”混在停止条件里。

模型生成 token、候选文本、结束字符串、停止判定、最终序列和业务后处理的结果边界结构图
图2:结果边界说明图,查看停止判定与业务后处理的职责分界。
decoded = tokenizer.decode(output_ids[0], skip_special_tokens=False)

# 只处理协议标记,不把普通文本中的同名片段全部删除。
marker = ""
if marker in decoded:
    final_text = decoded.split(marker, 1)[0].rstrip()
else:
    # 没有命中标记时保留原文,交给长度上限或上层策略处理。
    final_text = decoded

print(final_text)

常见问题

StopStringCriteria 能替代 max_new_tokens 吗?

不能。它们分别表达内容终止和长度上限;实际调用通常同时保留,避免结束字符串没有出现时失去边界。

为什么要传 tokenizer?

因为结束字符串的匹配要考虑模型的 token 化方式,使用不同 tokenizer 会让停止条件与实际生成序列不匹配。

停止后一定会自动删除结束字符串吗?

不要把删除行为当成停止条件的职责。先按协议决定是否保留,再在解码后的业务层做精确后处理。

最终可以把接口决策压缩成一句话:用配套 tokenizer 构造 StopStringCriteria,用 StoppingCriteriaList 组合规则,用 max_new_tokens 兜底,再由调用方决定终止标记的展示方式。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Hugging Face Hub HfApi.list_repo_tree 怎样列出模型仓库中的文件Hugging Face Hub HfApi.list_repo_tree 怎样列出模型仓库中的文件
上一篇
Hugging Face Hub HfApi.list_repo_tree 怎样列出模型仓库中的文件
Transformers compute_transition_scores 怎样查看每个生成 token 的分数
下一篇
Transformers compute_transition_scores 怎样查看每个生成 token 的分数
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1139次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1123次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1299次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1237次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1090次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码