Sentence Transformers 多进程编码任务的设备分配方法
Sentence Transformers 做大批量 embedding 时,设备分配的核心不是把同一个模型对象“推”到很多卡上,而是把可用设备明确写成一个列表,让每个独立 worker 负责一份输入分块。当前推荐用 model.encode() 配合 device、pool 和 chunk_size;旧的 encode_multi_process() 已被新的 encode() 入口取代。
官方地址:https://sbert.net/docs/sentence_transformer/usage/efficiency.html
本文只解决“多进程编码任务怎样分配设备”这一件事:先给出 CPU 和多 GPU 的设备清单,再说明任务切分、结果顺序、进程池复用和释放。示例中的输出形状用于说明接口关系,不代表某台机器的实测速度。
一、先把设备清单映射成并行度
device 传单个字符串时,是单进程编码;传列表时,Sentence Transformers 会用多进程分摊编码。列表长度就是你希望参与任务的设备或 worker 数量,所以不要把“机器上有几张卡”和“这次任务要开几个 worker”混为一谈。
| 场景 | 设备列表 | 分配含义 |
|---|---|---|
| 单张 GPU | ["cuda:0"] | 一个 GPU worker,适合先验证模型和数据路径 |
| 两张 GPU | ["cuda:0", "cuda:1"] | 一张卡对应一个独立进程和模型副本 |
| CPU 并行 | ["cpu", "cpu", "cpu", "cpu"] | 四个 CPU worker,数量应结合核心数和内存调整 |

多 GPU 时通常按“一卡一进程”规划。每个进程都需要自己的模型副本和显存空间,因此把同一张卡重复写入列表,得到的不是额外显存,而是多个进程争用同一张卡。CPU 场景可以重复写入 cpu,但 worker 越多不一定越快,内存、线程库和数据搬运都要留余量。
二、让父进程只负责配置模型
多进程的边界是“父进程组织任务,子进程执行编码”。父进程应在 if __name__ == "__main__" 中加载模型和准备输入,避免模块被子进程导入时重复创建任务。多 GPU 任务还要避免在父进程先把模型固定到某一张 GPU,再让所有 worker 继承这个状态。
from sentence_transformers import SentenceTransformer
MODEL_NAME = "sentence-transformers/all-MiniLM-L6-v2"
def main():
# 模型对象只负责提供配置和分词器;设备列表交给 encode 或进程池。
model = SentenceTransformer(MODEL_NAME)
texts = ["第一条文档", "第二条文档", "第三条文档"]
# 列表设备会触发多进程编码;列表长度决定并行 worker 数。
embeddings = model.encode(
texts,
device=["cuda:0", "cuda:1"],
batch_size=32,
chunk_size=512,
convert_to_numpy=True,
)
print(embeddings.shape)
if __name__ == "__main__":
# 保护入口,避免 spawn 模式下子进程重复执行主流程。
main()
这个写法适合一次编码任务:设备列表直接写在 encode() 调用中,任务结束后由库管理本次多进程路径。若需要连续处理多个数据集,下一节的显式 pool 更适合复用 worker。
三、用 CPU worker 分摊大批量编码
CPU 设备可以在列表中重复出现。官方迁移示例使用四个 cpu worker,并把 chunk_size 设为 512。这里的 chunk 是送往 worker 的输入块,不是模型的 batch size:batch_size 控制单个 worker 一次前向处理多少条,chunk_size 控制进程之间一次搬运多少条。
from sentence_transformers import SentenceTransformer
def encode_on_cpu(texts):
# 让每个 CPU worker 加载自己的模型副本,避免共享不可安全跨进程传递的状态。
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
# 四个 cpu 槽位代表四个独立进程;应按主机内存和核心数调整。
return model.encode(
texts,
device=["cpu", "cpu", "cpu", "cpu"],
batch_size=64,
chunk_size=512,
show_progress_bar=True,
)
编码结果仍按输入顺序对应返回。调大 chunk_size 可以减少进程间调度次数,但会让单个任务块占用更多内存,并可能让短任务等待更久;调得过小则会增加队列和序列化开销。先按数据规模给一个保守值,再用真实吞吐和峰值内存调整。

四、按 GPU 显式绑定设备
有多张 GPU 时,最清楚的方式是把逻辑设备名显式写入列表。每个目标设备启动一个独立 worker,模型会在该进程中建立对应副本。显存预算应按“模型副本数 × 单副本占用 + batch 峰值”估算;如果某张卡更小,不要只因为设备编号连续就强行平均分配。
from sentence_transformers import SentenceTransformer
def encode_on_gpus(texts):
# 不在父进程里写死 cuda:0;由目标设备列表决定 worker 的绑定关系。
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
target_devices = ["cuda:0", "cuda:1"]
# 一卡一个进程;chunk_size 只控制输入分块,不改变向量维度。
return model.encode(
texts,
device=target_devices,
batch_size=64,
chunk_size=256,
normalize_embeddings=True,
convert_to_numpy=True,
)
如果只有一张 GPU,使用 device="cuda:0" 的单进程路径通常更简单;不要为了“多进程”在同一张卡上复制多个 worker。若同时运行生成式模型和 embedding 模型,也要预留显存与计算资源,必要时把小型 embedding 模型放到 CPU。
normalize_embeddings=True 是向量语义和检索策略的选择,不是设备分配开关。本文示例打开它,只是为了提醒读者把向量归一化策略固定在编码协议中;如果已有索引按未归一化向量构建,就不要在迁移时悄悄改变这个参数。
五、复用池并在结束时回收
需要连续编码多个批次时,可以显式调用 start_multi_process_pool() 创建池,把同一个 pool 传给多次 encode()。这样不必每个批次重新启动 worker。任务无论成功还是异常,都应在 finally 中调用 stop_multi_process_pool()。
from sentence_transformers import SentenceTransformer
def encode_batches(batches):
# 创建一次模型配置和 worker 池,供多个批次复用。
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
pool = model.start_multi_process_pool(["cuda:0", "cuda:1"])
outputs = []
try:
for texts in batches:
# pool 复用同一组 worker;chunk_size 仍应结合批次规模设置。
vectors = model.encode(
texts,
pool=pool,
batch_size=64,
chunk_size=256,
convert_to_numpy=True,
)
outputs.append(vectors)
return outputs
finally:
# 即使某个批次失败,也要终止子进程并释放队列资源。
model.stop_multi_process_pool(pool)
池复用的收益来自避免重复启动和重复加载,但它也意味着池的设备配置在整个生命周期内固定。如果下一批数据需要换成 CPU 或换一组 GPU,应先停止旧池,再按新设备列表创建新池,不要在同一个 pool 上动态修改设备。
怎样判断设备分配是否合理
- 设备占用不均:先看输入长度是否差异很大,再调整
chunk_size;不要只增加 worker 数。 - 显存突然不足:减少每卡的
batch_size或目标设备数量,确认每个 worker 都有自己的模型副本。 - CPU 越加 worker 越慢:检查线程库过度超卖、内存带宽和进程间序列化,减少 CPU 列表长度。
- 结果形状正确但检索变差:比较
normalize_embeddings、precision和模型版本,设备并行本身不应改变输入顺序。 - 程序退出后仍有子进程:确认所有路径都经过
finally,并且没有在主模块顶层创建不可控的池。
小结与常见问题
Sentence Transformers 多进程编码的设备分配可以收敛成三条规则:单个设备字符串走单进程,设备列表走多进程;多 GPU 通常一张卡对应一个 worker;多批次任务用显式 pool 复用,并在 finally 中停止。先根据显存、CPU 核心和输入规模确定设备列表,再分别调 batch_size 与 chunk_size,排查会更有方向。
旧的 encode_multi_process() 还能继续用吗?
迁移文档将它标记为已弃用,推荐使用 encode() 的 device、pool 和 chunk_size 参数。新代码直接采用新入口,旧代码则按批次逐步迁移。
为什么多 GPU 不是把一个模型切成两半?
这里的多进程编码是数据并行:每个 worker 使用一份模型副本处理输入分块。它和把单个模型做层间切分的模型并行不是同一种方案。
CPU worker 应该开多少个?
没有固定答案。可以从物理核心数较小的倍数开始,结合峰值内存、文本长度和实际吞吐调整;worker 数超过内存带宽或线程容量后,吞吐可能下降。
生成式模型评测集按任务分层的设计要点
- 上一篇
- 生成式模型评测集按任务分层的设计要点
- 下一篇
- FAISS IndexIDMap2 怎样按自定义 ID 删除向量
-
- 科技周边 · 人工智能 | 19分钟前 |
- FAISS 向量索引选择与召回精度的对比方法
- 212浏览 收藏
-
- 科技周边 · 人工智能 | 21分钟前 | python · FAISS IndexIDMap2 remove_ids 向量删除 自定义ID
- FAISS IndexIDMap2 怎样按自定义 ID 删除向量
- 334浏览 收藏
-
- 科技周边 · 人工智能 | 25分钟前 | python · 人工智能 · skip take Hugging Face Datasets streaming IterableDataset
- Hugging Face Datasets IterableDataset 怎样跳过前 N 条样本
- 294浏览 收藏
-
- 科技周边 · 人工智能 | 32分钟前 | 人工智能 · Hugging Face Datasets IterableDataset repeat
- Hugging Face Datasets repeat 怎样按指定次数重放样本
- 195浏览 收藏
-
- 科技周边 · 人工智能 | 45分钟前 |
- 大模型 API 流式输出的断线续传处理方案
- 403浏览 收藏
-
- 科技周边 · 人工智能 | 47分钟前 | 人工智能 · 批处理 · PyTorch chunk_size torch.func.vmap vmap in_dims out_dims
- PyTorch torch.func.vmap 怎样把单样本函数批量化
- 230浏览 收藏
-
- 科技周边 · 人工智能 | 53分钟前 | 人工智能 · PyTorch 性能测量 torch.compile TorchDynamo Inductor
- PyTorch torch.compile 怎样区分首次编译耗时和后续执行耗时
- 231浏览 收藏
-
- 科技周边 · 人工智能 | 56分钟前 |
- PyTorch Tensor.to 怎样避免相同设备上的无效复制
- 294浏览 收藏
-
- 科技周边 · 人工智能 | 59分钟前 |
- Hugging Face DataCollatorWithPadding 怎样按最长序列动态补齐输入
- 144浏览 收藏
-
- 科技周边 · 人工智能 | 1小时前 | 人工智能 · PyTorch View detach Tensor.detach_ autograd
- PyTorch Tensor.detach_ 为什么不能用于 view
- 230浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1084次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1084次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1247次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1191次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1037次使用
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览
-
- 开源机器学习数据库OpenMLDB v0.4.0产品介绍
- 2023-01-10 147浏览

