Transformers BatchEncoding.sequence_ids 怎样区分双句编码中的词元来源
在文本分类、问答和句对匹配任务里,模型输入经常由两句话组成。真正容易混淆的不是如何调用 tokenizer,而是拿到一串 input_ids 后,怎样知道某个词元来自第一句、第二句,还是 tokenizer 自动补上的特殊词元。对 Fast tokenizer 生成的 BatchEncoding,可以直接用 sequence_ids(batch_index) 读取这层对应关系。
官方文档:https://huggingface.co/docs/transformers/main_classes/tokenizer
把sequence_ids()看成“词元到原始句子编号”的映射:None表示特殊词元,0表示第一句,1表示第二句。处理批量输入时,记得传入当前样本的batch_index。
先把双句编码保留为 BatchEncoding
sequence_ids 不是对普通字典或单独的 input_ids 做推断,而是读取 Fast tokenizer 在编码阶段保留的对齐信息。因此,先使用 AutoTokenizer 获得快速实现,并保留完整返回对象。
from transformers import AutoTokenizer
# 使用 Fast tokenizer,BatchEncoding 才能提供词元对齐方法
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", use_fast=True)
# text 是第一句,text_pair 是第二句;返回对象不要立刻转成普通字典
encoded = tokenizer(
"A cat sits on the mat.",
text_pair="The animal is resting.",
add_special_tokens=True,
return_attention_mask=True,
)
# 词元列表与来源列表按同一位置对齐
tokens = encoded.tokens()
source_ids = encoded.sequence_ids()
for token, source_id in zip(tokens, source_ids):
# None 是 [CLS]、[SEP] 等特殊词元,不属于任一句原文
print(token, source_id)
这里的关键是不要只保存 encoded["input_ids"]。普通字典仍然能喂给模型,但会丢失由 Fast tokenizer 保存的对齐对象;如果业务后面需要把词元归属回写到句子,就应让 BatchEncoding 继续存在。
用 None、0、1 读取每个词元的来源
对句对编码,sequence_ids() 返回一个与当前样本词元数等长的列表。特殊词元通常位于两句之间或两端,标记为 None;第一句的词元标记为 0,第二句的词元标记为 1。不要把列表下标误当成句子编号,真正的句子来源要看列表元素。
# 按来源拆出词元,保留特殊词元的位置便于后续对齐
tokens = encoded.tokens()
source_ids = encoded.sequence_ids(batch_index=0)
first_tokens = []
second_tokens = []
special_tokens = []
for token, source_id in zip(tokens, source_ids):
# source_id 的取值来自 tokenizer 的序列映射,不自行猜测分隔符位置
if source_id == 0:
first_tokens.append(token)
elif source_id == 1:
second_tokens.append(token)
else:
# None 包括句首、句间和句尾的特殊词元
special_tokens.append(token)
print("第一句:", first_tokens)
print("第二句:", second_tokens)
print("特殊词元:", special_tokens)

这种写法适合做词元归属展示、句对字段切分和后处理标注。它不会告诉你词元在原文中的字符范围;若还要回到字符位置,应结合 Fast tokenizer 提供的 offsets 或字符对齐方法。
批量句对要用 batch_index 对准样本
当输入是多个句对时,sequence_ids() 默认读取第 0 个样本。循环处理批量数据时,应该显式传入当前批次下标,并用同一个下标读取 tokens(batch_index),这样每个 token 和来源标记仍然是一一对应的。
batch = tokenizer(
["A cat sits.", "A dog runs."],
text_pair=["The animal rests.", "The animal moves."],
padding=True,
truncation=True,
return_tensors=None,
)
for batch_index in range(len(batch["input_ids"])):
# tokens 与 sequence_ids 必须使用同一个 batch_index
tokens = batch.tokens(batch_index)
source_ids = batch.sequence_ids(batch_index=batch_index)
pairs = list(zip(tokens, source_ids))
# 过滤特殊词元后,得到当前样本的两句词元
first = [token for token, sid in pairs if sid == 0]
second = [token for token, sid in pairs if sid == 1]
print(batch_index, first, second)
开启 padding 后,补齐位置通常也不会被当成原始句子词元;实际处理时仍应以返回的标记为准,不要依赖某一种模型固定的 [SEP] 或 padding 位置。

不要把 sequence_ids 当成 token_type_ids 的替代品
两者都可能出现 0 和 1,但用途不同。sequence_ids 是 Fast tokenizer 在 BatchEncoding 上提供的对齐查询,直接回答“这个词元来自哪一个输入序列”;token_type_ids 是某些模型输入格式中的字段,是否返回、如何使用取决于具体 tokenizer 和模型。
另外,慢速 Python tokenizer 不提供这套 Fast 对齐方法。若代码必须兼容慢速实现,应改用模型实际提供的字段或预先保存输入边界,不要无条件调用 sequence_ids()。这也是为什么示例里显式使用 use_fast=True,并且没有把来源逻辑写成“遇到某个分隔符就切换”的硬编码。
常见问题
为什么只看到 None 和 0,没有 1?
通常说明当前样本只编码了一句话,或者第二句在进入 tokenizer 前为空。先确认调用时确实传入了 text_pair,再查看对应的 batch_index。
可以用 sequence_ids 找原文字符位置吗?
它只返回句子编号,不返回字符起止位置。需要字符范围时,应使用 Fast tokenizer 的 offsets 或 token_to_chars 等对齐接口。
小结
- 保留 Fast tokenizer 返回的
BatchEncoding,再调用sequence_ids。 None/0/1分别表示特殊词元、第一句、第二句。- 批量输入要让
tokens(batch_index)和sequence_ids(batch_index)使用同一个下标。
Go go/types.Basic.Kind 怎样区分不同基础类型的种类
- 上一篇
- Go go/types.Basic.Kind 怎样区分不同基础类型的种类
- 下一篇
- Go go/types.Chan.Elem 怎样取得通道承载值的类型
-
- 科技周边 · 人工智能 | 50分钟前 | 人工智能 · Hugging Face Datasets ClassLabel str2int 标签编码
- Hugging Face ClassLabel.str2int 怎样把类别名称映射为标签编号
- 222浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 | 人工智能 · PyTorch Tensor.is_contiguous memory_format
- PyTorch Tensor.is_contiguous 怎样检查张量在指定内存格式下是否连续
- 170浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 | python · 人工智能 · Transformers ModelOutput to_tuple 模型输出
- Transformers ModelOutput.to_tuple 怎样把非空模型输出字段转换为元组
- 192浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 | 人工智能 · Transformers word_ids BatchEncoding 子词对齐
- Transformers BatchEncoding.word_ids 怎样关联子词与原始单词位置
- 462浏览 收藏
-
- 科技周边 · 人工智能 | 4小时前 |
- Hugging Face ClassLabel.int2str 怎样把标签编号还原为类别名称
- 175浏览 收藏
-
- 科技周边 · 人工智能 | 5小时前 | python · 人工智能 · Hugging Face Datasets Dataset.split NamedSplit 数据集切分
- Hugging Face Dataset.split 怎样识别数据集对象对应的切分名称
- 476浏览 收藏
-
- 科技周边 · 人工智能 | 6小时前 |
- PyTorch torch.get_default_dtype 怎样读取新建浮点张量默认使用的数据类型
- 316浏览 收藏
-
- 科技周边 · 人工智能 | 16小时前 |
- FAISS 向量索引选择与召回精度的对比方法
- 212浏览 收藏
-
- 科技周边 · 人工智能 | 16小时前 | python · FAISS IndexIDMap2 remove_ids 向量删除 自定义ID
- FAISS IndexIDMap2 怎样按自定义 ID 删除向量
- 334浏览 收藏
-
- 科技周边 · 人工智能 | 16小时前 | 人工智能 · GPU CPU embedding Sentence Transformers multi-process 设备分配
- Sentence Transformers 多进程编码任务的设备分配方法
- 301浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1095次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1092次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1258次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1198次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1047次使用
-
- go格式“占位符”输入输出 类似python的input
- 2023-01-19 346浏览
-
- Golang如何调用Python代码详解
- 2023-01-07 235浏览
-
- HTTP 的 response 中的响应体和头部是分开发送的吗?
- 2023-01-28 387浏览
-
- B站等视频网站的弹幕用的是 websocket 还是轮询?
- 2023-02-16 447浏览
-
- Linux 下有什么命令行工具以时序显示 CPU 占用率?
- 2023-01-13 360浏览

