Transformers GenerationConfig stop_strings 怎样让文本生成按字符串停止
如果希望 Transformers 在输出某个字符串后停止,关键不是只在配置里写一个字符串,而是让 stop_strings 和对应的 tokenizer 一起进入 generate。停止条件会根据 tokenizer 的词表判断字符串是否已经出现在生成序列的末端,命中后结束生成;因此它既能处理一个 token 的标记,也能处理跨多个 token 的字符串。
官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation
最小可靠写法是:在GenerationConfig中声明stop_strings,调用model.generate时再传入同一个tokenizer。输出序列通常仍包含停止标记,展示前是否裁掉由业务决定。
把 stop_strings 放进 GenerationConfig
生成配置适合集中保存长度、采样和停止条件。下面的例子用一个文本标记作为回答边界;代码只展示调用关系,不依赖某个具体模型的运行结果。
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
# 模型和 tokenizer 必须来自同一个模型目录,保证 token 映射一致
model_name = "your-model-id"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
prompt = "请用两句话说明缓存穿透。"
# 返回张量,便于后面区分输入 token 与新生成 token
inputs = tokenizer(prompt, return_tensors="pt")
generation_config = GenerationConfig(
max_new_tokens=96,
do_sample=False,
# 可以传一个字符串,也可以传字符串列表
stop_strings=[""],
)
# stop_strings 需要 tokenizer 参与字符串到词表的匹配
outputs = model.generate(
**inputs,
generation_config=generation_config,
tokenizer=tokenizer,
)
这里最容易漏掉的是 tokenizer=tokenizer。停止字符串不是简单的 Python endswith 检查:生成器需要知道字符串如何被当前词表切分,才能判断它是否在新 token 的末端完成。模型、tokenizer 和输入也应该保持同一套词表语义。

直接传参数还是保存到配置里
一次性的调用可以把停止字符串直接传给 generate;需要复用同一套推理策略时,用 GenerationConfig 更容易集中管理。两种写法表达的是同一个停止意图,但不要同时用两套不同的值,否则排查时很难判断最终生效的配置来自哪里。
# 适合临时调用:停止条件紧邻本次 generate,便于阅读
outputs = model.generate(
**inputs,
stop_strings=["", "
字符串列表表示“命中其中任意一个即可停止”。如果业务上只允许一种协议标记,优先使用单个不容易出现在自然文本中的标记;如果要兼容两套上游模板,再把可接受的结束标记放进列表,并在结果中记录究竟命中了哪一个。
理解字符串和 token 的边界
停止字符串和 token 不是一一对应关系。一个结束标记可能被拆成两个或更多 token,也可能和相邻文本共享 token 的一部分。Transformers 的停止条件会结合词表处理这些边界,但它只关注生成序列的末端,不会因为 prompt 里早就出现了同样的文字就提前结束。
这也是为什么不能把逻辑替换成“每生成一个 token 就用 Python 字符串查找”的简化版本:解码前看到的是 token id,解码后又可能丢失特殊 token 或改变空格表现。让框架使用 tokenizer 处理停止条件,业务层只负责展示和存储策略。

只截取新生成内容,再决定是否裁掉标记
对 decoder-only 模型,generate 返回的序列通常包含原始 prompt。要把回答与输入分开,应按输入长度切片,再解码新 token;否则你可能把 prompt 中的同名标记一起写入结果。
# decoder-only 模型的输入长度,用于去掉返回序列中的 prompt
prompt_token_count = inputs["input_ids"].shape[-1]
new_token_ids = outputs[:, prompt_token_count:]
# 只解码新增内容,避免把输入 prompt 混入展示文本
generated_text = tokenizer.batch_decode(
new_token_ids,
skip_special_tokens=True,
)[0]
stop_markers = ["", "
裁剪只应该发生在末尾。不要对整段文本做全局替换,否则回答正文中合法出现的同一字符串也会被删除。对于 encoder-decoder 模型,输入与输出序列的组织方式不同,不能机械套用 decoder-only 的输入长度切片;应按该模型的返回结构处理。
没有命中时用长度上限兜底
stop_strings 是提前结束条件,不是长度保证。模型可能一直没有生成目标标记,最终由 max_new_tokens 或其他生成边界结束,所以业务层应该把“命中停止字符串”和“达到长度上限”区分记录。
| 现象 | 优先检查 | 处理建议 |
|---|---|---|
| 没有提前停止 | 是否传入 tokenizer;停止标记是否真的出现在模型可能生成的文本中 | 保留长度上限,并记录未命中的结束原因 |
| 结果末尾带有标记 | 展示层是否需要协议标记 | 仅在字符串位于末尾时裁剪 |
| 多条样本长度不同 | 是否按 batch 独立解码和记录结束原因 | 逐样本处理,不用第一条样本的状态覆盖整个 batch |
| 输入里有同样的标记 | 是否错误地对完整 decoded 文本做全局查找 | 先切出新生成 token,再做末尾判断 |
几个容易踩到的边界
- 空字符串不要作为停止条件。它没有清晰的业务边界,应该在配置进入生成层前拦截。
- 标记要和模板约定一致。例如上游协议使用
,不要在一处写成带空格的变体,再期待两者语义相同。 - 不要把 stop_strings 当作内容过滤器。它只负责结束生成,不负责删除敏感词、纠正格式或保证回答完整。
- 批量结果要逐条归因。同一次 batch 中可以有的样本命中标记、有的样本达到长度上限,记录结构不要只保留一个全局布尔值。
常见问题
stop_strings 为什么必须传 tokenizer?
停止器需要根据 tokenizer 的词表判断字符串如何跨 token 完成匹配,因此官方接口要求把 tokenizer 传给生成调用。
停止标记会自动从返回文本里消失吗?
不要把“停止生成”和“裁剪返回文本”混为一谈。生成序列可能仍包含触发停止的内容,展示层要不要裁剪应由业务代码明确处理。
prompt 中已经有停止字符串会怎样?
停止条件关注生成序列末端的新内容,不应把 prompt 中已有的同名字符串当成这次生成的命中结果。解码时仍建议先切出新生成 token,避免业务逻辑误判。
可以同时使用多个 stop_strings 吗?
可以传字符串列表,任意一个停止字符串匹配时即可结束。建议把列表与模板协议一起版本化,并记录实际命中的标记。
小结
把 stop_strings 看成生成协议的一部分:配置层声明停止条件,generate 接收同一个 tokenizer,返回后先分离 prompt 与新 token,再决定是否裁剪末尾标记。最后保留 max_new_tokens 作为兜底,并把“命中标记”和“长度结束”分开记录,批量生成时每条样本独立处理。
LibreOffice Calc 怎样用追踪引用找到公式来源
- 上一篇
- LibreOffice Calc 怎样用追踪引用找到公式来源
- 下一篇
- PyTorch Tensor.detach_ 为什么不能用于 view
-
- 科技周边 · 人工智能 | 13分钟前 |
- 大模型 API 流式输出的断线续传处理方案
- 403浏览 收藏
-
- 科技周边 · 人工智能 | 15分钟前 | 人工智能 · 批处理 · PyTorch chunk_size torch.func.vmap vmap in_dims out_dims
- PyTorch torch.func.vmap 怎样把单样本函数批量化
- 230浏览 收藏
-
- 科技周边 · 人工智能 | 21分钟前 | 人工智能 · PyTorch 性能测量 torch.compile TorchDynamo Inductor
- PyTorch torch.compile 怎样区分首次编译耗时和后续执行耗时
- 231浏览 收藏
-
- 科技周边 · 人工智能 | 24分钟前 |
- PyTorch Tensor.to 怎样避免相同设备上的无效复制
- 294浏览 收藏
-
- 科技周边 · 人工智能 | 27分钟前 |
- Hugging Face DataCollatorWithPadding 怎样按最长序列动态补齐输入
- 144浏览 收藏
-
- 科技周边 · 人工智能 | 29分钟前 | 人工智能 · PyTorch View detach Tensor.detach_ autograd
- PyTorch Tensor.detach_ 为什么不能用于 view
- 230浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- Transformers generate 怎样返回每步生成分数并定位异常输出
- 308浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · api设计 · 人工复核 内容审核 Categories Moderation API category_scores
- 内容审核接口返回多标签结果时怎样设计分支
- 160浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 多模态 · token 视觉模型 detail 多图输入 Vision API
- 视觉模型输入多张图片时怎样控制顺序和细节级别
- 386浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 提示词缓存 prompt_cache_key 稳定前缀 动态输入
- 提示词缓存怎样拆分稳定前缀和动态输入
- 419浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 多模态输入 Gemini API Files API MIME 类型
- Gemini API 怎样把文件输入和文本提示放在同一请求
- 164浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1084次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1084次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1247次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1191次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1037次使用
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览
-
- 开源机器学习数据库OpenMLDB v0.4.0产品介绍
- 2023-01-10 147浏览

