当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Transformers generate 怎样限制重复 n-gram

Transformers generate 怎样限制重复 n-gram

来源:17golang原创 2026-11-19 13:00:27 0浏览 收藏

在 Transformers 的 generate() 里限制重复 n-gram,核心参数是 no_repeat_ngram_size。把它设为大于 0 的整数后,生成器会禁止已经出现过的同长度 token 片段再次出现;例如设为 3,就不允许同一组三元 token 片段重复。它解决的是局部片段循环,不等于语义去重,也不会自动理解“换一种说法”。

官方地址:https://huggingface.co/docs/transformers/main_classes/text_generation

我在给摘要和问答模型加解码约束时,最容易踩的坑不是参数名写错,而是把 n 当成“中文词的个数”。实际判断发生在 tokenizer 产生的 token 序列上。因此,比较稳妥的做法是先理解约束对象,再根据文本类型选择 n,最后观察术语和短文本是否被误伤。

先弄清它限制的到底是什么

n-gram 是连续的 n 个 token 组成的片段。no_repeat_ngram_size=2 检查二元片段,3 检查三元片段,依此类推。生成每个新 token 时,约束处理器会查看当前序列:如果这个候选 token 会让某个 n-gram 第二次出现,它就会被排除。

Transformers generate 中 token 序列、n-gram 窗口与候选排除的静态结构说明图
图1:token 序列、n-gram 窗口与候选排除的原创静态结构说明图,不是运行截图。

这里有三个边界需要记住:

  • 它约束的是 token 片段。同一个中文词可能被切成一个或多个 token,所以 n=3 不一定对应“三个汉字”或“三个词”。
  • 它是局部重复约束。模型仍可能换一个相近表达重复同一个意思,语义层面的冗余需要改提示词、重排结果或额外的语义评估。
  • 它会影响候选分布。被排除的候选不再参与当前步选择,约束越强,生成自由度越低。

在 generate 中加入硬约束

最小配置就是把 no_repeat_ngram_size 传给 generate()。下面的示例故意把模型名留成占位符,替换为你已经准备好的因果语言模型即可。

from transformers import AutoModelForCausalLM, AutoTokenizer

# 使用自己的模型仓库或本地目录,避免把示例模型当成固定依赖
model_id = "your-org/your-causal-model"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

prompt = "请用三句话说明缓存击穿与缓存雪崩的区别。"
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(
    **inputs,
    max_new_tokens=96,          # 限制本次最多新增的 token 数
    no_repeat_ngram_size=3,     # 禁止已经出现过的三元 token 片段再次出现
    do_sample=False,            # 先用确定性解码观察约束效果
    pad_token_id=tokenizer.eos_token_id,  # 某些因果模型没有单独的 pad token
)

text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(text)  # 这里只展示解码结果,不把它当作质量验证结论

这个参数是“硬约束”:它不是把重复片段的概率降低一点,而是在候选生成时直接禁止会造成重复 n-gram 的 token。也因此,参数生效后不应再把“输出仍然有相同意思”误判为配置失效;需要先区分表面片段重复和语义重复。

如果服务使用采样,只需保留这个参数并切换采样配置,约束仍然是同一层的解码约束:

outputs = model.generate(
    **inputs,
    max_new_tokens=128,         # 让采样有足够空间,但避免无限延长
    no_repeat_ngram_size=3,     # 继续禁止重复三元 token 片段
    do_sample=True,
    temperature=0.7,            # 只调整候选随机性,不替代 n-gram 约束
    top_p=0.9,                  # 从累计概率较高的候选集合中采样
    pad_token_id=tokenizer.eos_token_id,
)

按文本类型选择 n 的大小

没有一个对所有模型和任务都合适的固定值。可以先把 n 当成三档选择,再根据实际输出调整:

取值思路适合观察的场景主要代价
2重复短语特别明显、输出很容易原地循环约束强,常见短语和固定搭配更容易被限制
3摘要、说明文、问答等需要抑制局部循环的文本仍可能限制少量高频术语,需要看领域词密度
4 或更大只有较长片段重复才需要干预的长文本对短循环不敏感,但更容易让人误以为参数没有效果
no_repeat_ngram_size 不同取值对重复风险、生成自由度和领域术语的静态取舍说明图
图2:不同 n 值对重复风险、生成自由度和领域术语的取舍关系说明图,不是模型运行结果。

这张表的“适合”只是调参起点,不是质量承诺。更实际的判断方式是拿一组固定提示词,分别记录三件事:重复片段是否消失、关键术语是否被破坏、答案是否因为过度绕路而变长。若技术文档中有大量 API 名称、字段名或固定格式,通常应该优先避免过强的二元约束。

不要把它和 repetition_penalty 混为一谈

no_repeat_ngram_size 与 repetition_penalty 都能缓解重复,但作用方式不同:

  • no_repeat_ngram_size 针对固定长度片段做硬限制,命中条件后候选会被排除。
  • repetition_penalty 是对重复 token 的分数施加惩罚,仍然保留一定生成可能。

如果问题是“模型连续复读一小段话”,先尝试 n-gram 约束更容易定位;如果问题是词汇使用过于单一,单独使用硬约束可能太生硬,可以把惩罚参数作为较柔和的对照方案。两者叠加时,先固定一个参数再调整另一个,否则很难判断究竟是哪一层改变了输出。

短文本和术语密集文本要特别小心

硬约束不是越强越好。短回答的有效 token 本来就少,no_repeat_ngram_size=2 可能把自然的连接词、格式词或标题模板过早排除;技术文档则可能反复出现同一个类名、字段名或命令参数,这种重复未必是坏事。

可以采用更保守的配置边界:

def generation_kwargs(task_type: str) -> dict:
    # 让不同任务使用不同约束,避免把摘要参数直接套到代码解释上
    if task_type == "short_answer":
        return {"max_new_tokens": 64, "no_repeat_ngram_size": 3}
    if task_type == "technical_explanation":
        return {"max_new_tokens": 160, "no_repeat_ngram_size": 4}
    # 未登记的任务先不启用硬约束,交给固定样本观察后再收紧
    return {"max_new_tokens": 96}

如果你发现输出出现不自然的绕句、术语缺失或句子突然中断,优先把 n 调大、暂时移除硬约束,或改用较柔和的重复惩罚;不要只增加 max_new_tokens,那通常不能解决约束过强的问题。

encoder-decoder 模型不要配错参数

普通的 no_repeat_ngram_size 关注生成序列本身。对 encoder-decoder 模型,Transformers 还提供 encoder_no_repeat_ngram_size,它表达的是另一种边界:编码器输入中出现的 n-gram 不应出现在 decoder 输出中。两者不是同一个开关,不能因为任务使用了 T5、BART 一类结构就直接互换。

如果只是想避免摘要结果在自身内部重复,先使用 no_repeat_ngram_size;只有确实需要限制“输入片段不能被复制到输出”时,才单独评估 encoder 侧参数,并确认模型类型和生成策略符合该用法。

上线前把调参变成一张小清单

  1. 确认 tokenizer 的 token 粒度,不把 n 直接解释成汉字数或词数。
  2. 用固定提示词保存一组基线输出,先看真实重复片段的长度。
  3. 从较温和的 n 开始,记录重复、术语缺失和回答完整度三个结果。
  4. 需要确定性排查时先关闭采样;需要保持多样性时再恢复 do_sample。
  5. 把短回答、技术解释和长文本分成不同配置,不要用一套全局值覆盖所有任务。
  6. 发现硬约束误伤时保留回退配置,优先回到上一个可读输出,再决定是否换成 repetition_penalty。

简单说,no_repeat_ngram_size 适合解决“同一段 token 片段反复出现”的局部问题。多数说明文可以从 3 附近开始观察,短文本和术语密集文本则要给固定搭配留出空间。把它当成解码层的边界控制,而不是语义质量开关,调参结果会更容易解释。

常见追问

设置为 0 会怎样?

通常表示不启用这项 n-gram 重复限制;最终还要结合模型配置和其他 logits 处理器理解输出行为。

为什么设置了参数仍然有重复意思?

因为它限制的是相同 token 片段,不负责判断同义改写、主题重复或段落结构重复。

n 越大是不是越严格?

不一定。n 越大,精确命中同一片段的条件越苛刻,实际约束反而可能变松;应结合重复片段长度和 tokenizer 粒度判断。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Transformers BatchEncoding 怎样读取溢出序列映射Transformers BatchEncoding 怎样读取溢出序列映射
上一篇
Transformers BatchEncoding 怎样读取溢出序列映射
Transformers AutoConfig 怎样在加载模型前查看配置
下一篇
Transformers AutoConfig 怎样在加载模型前查看配置
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1115次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1104次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1277次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1219次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1066次使用