当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Transformers GenerationConfig stop_strings 怎样让文本生成按字符串停止

Transformers GenerationConfig stop_strings 怎样让文本生成按字符串停止

来源:17golang原创 2026-11-17 23:43:17 0浏览 收藏

如果希望 Transformers 在输出某个字符串后停止,关键不是只在配置里写一个字符串,而是让 stop_strings 和对应的 tokenizer 一起进入 generate。停止条件会根据 tokenizer 的词表判断字符串是否已经出现在生成序列的末端,命中后结束生成;因此它既能处理一个 token 的标记,也能处理跨多个 token 的字符串。

官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation

最小可靠写法是:在 GenerationConfig 中声明 stop_strings,调用 model.generate 时再传入同一个 tokenizer。输出序列通常仍包含停止标记,展示前是否裁掉由业务决定。

把 stop_strings 放进 GenerationConfig

生成配置适合集中保存长度、采样和停止条件。下面的例子用一个文本标记作为回答边界;代码只展示调用关系,不依赖某个具体模型的运行结果。

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

# 模型和 tokenizer 必须来自同一个模型目录,保证 token 映射一致
model_name = "your-model-id"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "请用两句话说明缓存穿透。"
# 返回张量,便于后面区分输入 token 与新生成 token
inputs = tokenizer(prompt, return_tensors="pt")

generation_config = GenerationConfig(
    max_new_tokens=96,
    do_sample=False,
    # 可以传一个字符串,也可以传字符串列表
    stop_strings=[""],
)

# stop_strings 需要 tokenizer 参与字符串到词表的匹配
outputs = model.generate(
    **inputs,
    generation_config=generation_config,
    tokenizer=tokenizer,
)

这里最容易漏掉的是 tokenizer=tokenizer。停止字符串不是简单的 Python endswith 检查:生成器需要知道字符串如何被当前词表切分,才能判断它是否在新 token 的末端完成。模型、tokenizer 和输入也应该保持同一套词表语义。

Transformers GenerationConfig stop_strings tokenizer input_ids generate 与输出序列的关系
图1:stop_strings 接入 Transformers generate 的静态结构说明图,不是运行截图。

直接传参数还是保存到配置里

一次性的调用可以把停止字符串直接传给 generate;需要复用同一套推理策略时,用 GenerationConfig 更容易集中管理。两种写法表达的是同一个停止意图,但不要同时用两套不同的值,否则排查时很难判断最终生效的配置来自哪里。

# 适合临时调用:停止条件紧邻本次 generate,便于阅读
outputs = model.generate(
    **inputs,
    stop_strings=["", ""],
    tokenizer=tokenizer,
    max_new_tokens=96,
)

# 适合复用:把策略保存成一个配置对象
config = GenerationConfig.from_model_config(model.config)
config.max_new_tokens = 96
config.stop_strings = ["", ""]

# 仍然要把 tokenizer 交给生成调用
outputs = model.generate(**inputs, generation_config=config, tokenizer=tokenizer)

字符串列表表示“命中其中任意一个即可停止”。如果业务上只允许一种协议标记,优先使用单个不容易出现在自然文本中的标记;如果要兼容两套上游模板,再把可接受的结束标记放进列表,并在结果中记录究竟命中了哪一个。

理解字符串和 token 的边界

停止字符串和 token 不是一一对应关系。一个结束标记可能被拆成两个或更多 token,也可能和相邻文本共享 token 的一部分。Transformers 的停止条件会结合词表处理这些边界,但它只关注生成序列的末端,不会因为 prompt 里早就出现了同样的文字就提前结束。

这也是为什么不能把逻辑替换成“每生成一个 token 就用 Python 字符串查找”的简化版本:解码前看到的是 token id,解码后又可能丢失特殊 token 或改变空格表现。让框架使用 tokenizer 处理停止条件,业务层只负责展示和存储策略。

Transformers 停止字符串跨 token 匹配并区分 prompt 与生成后缀
图2:停止字符串与 token 边界的静态关系说明图,不是运行截图。

只截取新生成内容,再决定是否裁掉标记

对 decoder-only 模型,generate 返回的序列通常包含原始 prompt。要把回答与输入分开,应按输入长度切片,再解码新 token;否则你可能把 prompt 中的同名标记一起写入结果。

# decoder-only 模型的输入长度,用于去掉返回序列中的 prompt
prompt_token_count = inputs["input_ids"].shape[-1]
new_token_ids = outputs[:, prompt_token_count:]

# 只解码新增内容,避免把输入 prompt 混入展示文本
generated_text = tokenizer.batch_decode(
    new_token_ids,
    skip_special_tokens=True,
)[0]

stop_markers = ["", ""]
# 停止标记是否展示是业务决策;这里选择只在末尾裁掉命中的标记
for marker in stop_markers:
    if generated_text.endswith(marker):
        generated_text = generated_text[:-len(marker)]
        break

裁剪只应该发生在末尾。不要对整段文本做全局替换,否则回答正文中合法出现的同一字符串也会被删除。对于 encoder-decoder 模型,输入与输出序列的组织方式不同,不能机械套用 decoder-only 的输入长度切片;应按该模型的返回结构处理。

没有命中时用长度上限兜底

stop_strings 是提前结束条件,不是长度保证。模型可能一直没有生成目标标记,最终由 max_new_tokens 或其他生成边界结束,所以业务层应该把“命中停止字符串”和“达到长度上限”区分记录。

现象优先检查处理建议
没有提前停止是否传入 tokenizer;停止标记是否真的出现在模型可能生成的文本中保留长度上限,并记录未命中的结束原因
结果末尾带有标记展示层是否需要协议标记仅在字符串位于末尾时裁剪
多条样本长度不同是否按 batch 独立解码和记录结束原因逐样本处理,不用第一条样本的状态覆盖整个 batch
输入里有同样的标记是否错误地对完整 decoded 文本做全局查找先切出新生成 token,再做末尾判断

几个容易踩到的边界

  • 空字符串不要作为停止条件。它没有清晰的业务边界,应该在配置进入生成层前拦截。
  • 标记要和模板约定一致。例如上游协议使用 ,不要在一处写成带空格的变体,再期待两者语义相同。
  • 不要把 stop_strings 当作内容过滤器。它只负责结束生成,不负责删除敏感词、纠正格式或保证回答完整。
  • 批量结果要逐条归因。同一次 batch 中可以有的样本命中标记、有的样本达到长度上限,记录结构不要只保留一个全局布尔值。

常见问题

stop_strings 为什么必须传 tokenizer?

停止器需要根据 tokenizer 的词表判断字符串如何跨 token 完成匹配,因此官方接口要求把 tokenizer 传给生成调用。

停止标记会自动从返回文本里消失吗?

不要把“停止生成”和“裁剪返回文本”混为一谈。生成序列可能仍包含触发停止的内容,展示层要不要裁剪应由业务代码明确处理。

prompt 中已经有停止字符串会怎样?

停止条件关注生成序列末端的新内容,不应把 prompt 中已有的同名字符串当成这次生成的命中结果。解码时仍建议先切出新生成 token,避免业务逻辑误判。

可以同时使用多个 stop_strings 吗?

可以传字符串列表,任意一个停止字符串匹配时即可结束。建议把列表与模板协议一起版本化,并记录实际命中的标记。

小结

把 stop_strings 看成生成协议的一部分:配置层声明停止条件,generate 接收同一个 tokenizer,返回后先分离 prompt 与新 token,再决定是否裁剪末尾标记。最后保留 max_new_tokens 作为兜底,并把“命中标记”和“长度结束”分开记录,批量生成时每条样本独立处理。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
LibreOffice Calc 怎样用追踪引用找到公式来源LibreOffice Calc 怎样用追踪引用找到公式来源
上一篇
LibreOffice Calc 怎样用追踪引用找到公式来源
PyTorch Tensor.detach_ 为什么不能用于 view
下一篇
PyTorch Tensor.detach_ 为什么不能用于 view
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1084次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1084次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1247次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1191次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1037次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码