当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Sentence Transformers 多进程编码任务的设备分配方法

Sentence Transformers 多进程编码任务的设备分配方法

来源:17golang原创 2026-11-18 00:25:13 0浏览 收藏

Sentence Transformers 做大批量 embedding 时,设备分配的核心不是把同一个模型对象“推”到很多卡上,而是把可用设备明确写成一个列表,让每个独立 worker 负责一份输入分块。当前推荐用 model.encode() 配合 device、pool 和 chunk_size;旧的 encode_multi_process() 已被新的 encode() 入口取代。

官方地址:https://sbert.net/docs/sentence_transformer/usage/efficiency.html

本文只解决“多进程编码任务怎样分配设备”这一件事:先给出 CPU 和多 GPU 的设备清单,再说明任务切分、结果顺序、进程池复用和释放。示例中的输出形状用于说明接口关系,不代表某台机器的实测速度。

一、先把设备清单映射成并行度

device 传单个字符串时,是单进程编码;传列表时,Sentence Transformers 会用多进程分摊编码。列表长度就是你希望参与任务的设备或 worker 数量,所以不要把“机器上有几张卡”和“这次任务要开几个 worker”混为一谈。

场景设备列表分配含义
单张 GPU["cuda:0"]一个 GPU worker,适合先验证模型和数据路径
两张 GPU["cuda:0", "cuda:1"]一张卡对应一个独立进程和模型副本
CPU 并行["cpu", "cpu", "cpu", "cpu"]四个 CPU worker,数量应结合核心数和内存调整
Sentence Transformers 设备列表分配到独立 worker 和模型副本的静态结构说明图
图1:设备列表、独立 worker 与模型副本的结构说明图;这是静态操作示意图,不是运行截图。

多 GPU 时通常按“一卡一进程”规划。每个进程都需要自己的模型副本和显存空间,因此把同一张卡重复写入列表,得到的不是额外显存,而是多个进程争用同一张卡。CPU 场景可以重复写入 cpu,但 worker 越多不一定越快,内存、线程库和数据搬运都要留余量。

二、让父进程只负责配置模型

多进程的边界是“父进程组织任务,子进程执行编码”。父进程应在 if __name__ == "__main__" 中加载模型和准备输入,避免模块被子进程导入时重复创建任务。多 GPU 任务还要避免在父进程先把模型固定到某一张 GPU,再让所有 worker 继承这个状态。

from sentence_transformers import SentenceTransformer

MODEL_NAME = "sentence-transformers/all-MiniLM-L6-v2"

def main():
    # 模型对象只负责提供配置和分词器;设备列表交给 encode 或进程池。
    model = SentenceTransformer(MODEL_NAME)
    texts = ["第一条文档", "第二条文档", "第三条文档"]

    # 列表设备会触发多进程编码;列表长度决定并行 worker 数。
    embeddings = model.encode(
        texts,
        device=["cuda:0", "cuda:1"],
        batch_size=32,
        chunk_size=512,
        convert_to_numpy=True,
    )
    print(embeddings.shape)

if __name__ == "__main__":
    # 保护入口,避免 spawn 模式下子进程重复执行主流程。
    main()

这个写法适合一次编码任务:设备列表直接写在 encode() 调用中,任务结束后由库管理本次多进程路径。若需要连续处理多个数据集,下一节的显式 pool 更适合复用 worker。

三、用 CPU worker 分摊大批量编码

CPU 设备可以在列表中重复出现。官方迁移示例使用四个 cpu worker,并把 chunk_size 设为 512。这里的 chunk 是送往 worker 的输入块,不是模型的 batch size:batch_size 控制单个 worker 一次前向处理多少条,chunk_size 控制进程之间一次搬运多少条。

from sentence_transformers import SentenceTransformer

def encode_on_cpu(texts):
    # 让每个 CPU worker 加载自己的模型副本,避免共享不可安全跨进程传递的状态。
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

    # 四个 cpu 槽位代表四个独立进程;应按主机内存和核心数调整。
    return model.encode(
        texts,
        device=["cpu", "cpu", "cpu", "cpu"],
        batch_size=64,
        chunk_size=512,
        show_progress_bar=True,
    )

编码结果仍按输入顺序对应返回。调大 chunk_size 可以减少进程间调度次数,但会让单个任务块占用更多内存,并可能让短任务等待更久;调得过小则会增加队列和序列化开销。先按数据规模给一个保守值,再用真实吞吐和峰值内存调整。

CPU 多进程编码的 chunks、worker、结果合并与 stop pool 静态结构说明图
图2:CPU worker 分摊与进程池生命周期说明图;连线表达接口关系,不代表实测调度时间。

四、按 GPU 显式绑定设备

有多张 GPU 时,最清楚的方式是把逻辑设备名显式写入列表。每个目标设备启动一个独立 worker,模型会在该进程中建立对应副本。显存预算应按“模型副本数 × 单副本占用 + batch 峰值”估算;如果某张卡更小,不要只因为设备编号连续就强行平均分配。

from sentence_transformers import SentenceTransformer

def encode_on_gpus(texts):
    # 不在父进程里写死 cuda:0;由目标设备列表决定 worker 的绑定关系。
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    target_devices = ["cuda:0", "cuda:1"]

    # 一卡一个进程;chunk_size 只控制输入分块,不改变向量维度。
    return model.encode(
        texts,
        device=target_devices,
        batch_size=64,
        chunk_size=256,
        normalize_embeddings=True,
        convert_to_numpy=True,
    )

如果只有一张 GPU,使用 device="cuda:0" 的单进程路径通常更简单;不要为了“多进程”在同一张卡上复制多个 worker。若同时运行生成式模型和 embedding 模型,也要预留显存与计算资源,必要时把小型 embedding 模型放到 CPU。

normalize_embeddings=True 是向量语义和检索策略的选择,不是设备分配开关。本文示例打开它,只是为了提醒读者把向量归一化策略固定在编码协议中;如果已有索引按未归一化向量构建,就不要在迁移时悄悄改变这个参数。

五、复用池并在结束时回收

需要连续编码多个批次时,可以显式调用 start_multi_process_pool() 创建池,把同一个 pool 传给多次 encode()。这样不必每个批次重新启动 worker。任务无论成功还是异常,都应在 finally 中调用 stop_multi_process_pool()。

from sentence_transformers import SentenceTransformer

def encode_batches(batches):
    # 创建一次模型配置和 worker 池,供多个批次复用。
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    pool = model.start_multi_process_pool(["cuda:0", "cuda:1"])
    outputs = []
    try:
        for texts in batches:
            # pool 复用同一组 worker;chunk_size 仍应结合批次规模设置。
            vectors = model.encode(
                texts,
                pool=pool,
                batch_size=64,
                chunk_size=256,
                convert_to_numpy=True,
            )
            outputs.append(vectors)
        return outputs
    finally:
        # 即使某个批次失败,也要终止子进程并释放队列资源。
        model.stop_multi_process_pool(pool)

池复用的收益来自避免重复启动和重复加载,但它也意味着池的设备配置在整个生命周期内固定。如果下一批数据需要换成 CPU 或换一组 GPU,应先停止旧池,再按新设备列表创建新池,不要在同一个 pool 上动态修改设备。

怎样判断设备分配是否合理

  • 设备占用不均:先看输入长度是否差异很大,再调整 chunk_size;不要只增加 worker 数。
  • 显存突然不足:减少每卡的 batch_size 或目标设备数量,确认每个 worker 都有自己的模型副本。
  • CPU 越加 worker 越慢:检查线程库过度超卖、内存带宽和进程间序列化,减少 CPU 列表长度。
  • 结果形状正确但检索变差:比较 normalize_embeddings、precision 和模型版本,设备并行本身不应改变输入顺序。
  • 程序退出后仍有子进程:确认所有路径都经过 finally,并且没有在主模块顶层创建不可控的池。

小结与常见问题

Sentence Transformers 多进程编码的设备分配可以收敛成三条规则:单个设备字符串走单进程,设备列表走多进程;多 GPU 通常一张卡对应一个 worker;多批次任务用显式 pool 复用,并在 finally 中停止。先根据显存、CPU 核心和输入规模确定设备列表,再分别调 batch_size 与 chunk_size,排查会更有方向。

旧的 encode_multi_process() 还能继续用吗?

迁移文档将它标记为已弃用,推荐使用 encode() 的 device、pool 和 chunk_size 参数。新代码直接采用新入口,旧代码则按批次逐步迁移。

为什么多 GPU 不是把一个模型切成两半?

这里的多进程编码是数据并行:每个 worker 使用一份模型副本处理输入分块。它和把单个模型做层间切分的模型并行不是同一种方案。

CPU worker 应该开多少个?

没有固定答案。可以从物理核心数较小的倍数开始,结合峰值内存、文本长度和实际吞吐调整;worker 数超过内存带宽或线程容量后,吞吐可能下降。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
生成式模型评测集按任务分层的设计要点生成式模型评测集按任务分层的设计要点
上一篇
生成式模型评测集按任务分层的设计要点
FAISS IndexIDMap2 怎样按自定义 ID 删除向量
下一篇
FAISS IndexIDMap2 怎样按自定义 ID 删除向量
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1084次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1084次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1247次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1191次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1037次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码