当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > Python asyncio.Semaphore 控制多模型并发：避免推理请求同时打满显存

Python asyncio.Semaphore 控制多模型并发：避免推理请求同时打满显存

来源：17golang原创 2026-08-29 22:36:25 0浏览收藏

多模型推理服务最容易被忽略的风险，是把所有请求都交给 asyncio.gather() 后同时启动。任务数量一多，显存、模型服务连接和上游限流会一起承压。把 asyncio.Semaphore 放在真正的推理调用前，可以把“同时运行多少个模型任务”变成一个明确、可验收的配置。

并发上限应该保护推理临界区，而不是简单限制任务创建；用 async with semaphore 包住 model_infer，再用超时和任务组保证名额最终归还。

要点速览

asyncio.Semaphore(2) 只允许两个任务进入推理临界区。
信号量应紧贴 model_infer，不要把排队、结果整理也算进显存占用。
超时、取消和异常都要经过上下文管理器，避免并发名额泄漏。

为什么 gather 一次启动所有推理任务

asyncio.gather() 负责并发等待，并不替你限制同时执行的协程数量。下面的代码会一次创建所有任务：

import asyncio

async def run_all(prompts):
    return await asyncio.gather(*(model_infer(prompt) for prompt in prompts))

这段写法适合任务数量很小、上游本身有可靠排队能力的情况。对本地多模型服务而言，问题在于任务刚被调度就可能同时占用显存。需要保护的是推理调用本身，而不是列表遍历。

把并发门放在真正的推理调用前

先把并发入口收窄到一个函数。图中只保留正文实际使用的三个节点：asyncio.create_task 负责安排任务，Semaphore 负责放行，model_infer 执行推理。

import asyncio

semaphore = asyncio.Semaphore(2)

async def infer_one(prompt):
    async with semaphore:
        return await model_infer(prompt)

async def run_all(prompts):
    tasks = [asyncio.create_task(infer_one(prompt)) for prompt in prompts]
    return await asyncio.gather(*tasks)

这里可以创建很多等待中的任务，但同时进入 model_infer 的任务最多为 2 个。把信号量放在 infer_one 外层会连排队时间也占住名额，通常会让吞吐下降；放在模型调用内部更容易和显存占用对应。

asyncio.create_task 经过 Semaphore 后进入 model_infer 的并发数据流

超时和异常要释放并发名额

不要手写“获取后 try，最后 release”的重复模板，除非确实需要把信号量跨函数传递。官方文档给出的等价语义是 async with semaphore 自动在退出时释放名额；再把单次调用放进 asyncio.timeout，超时也会离开上下文。

async def infer_one(prompt):
    async with semaphore:
        async with asyncio.timeout(20):
            return await model_infer(prompt)

批量任务需要统一收口时，可以使用 TaskGroup。它和 gather 的一个重要差别是：嵌套任务出现异常时，任务组会取消剩余任务。取消传播后，每个任务仍会退出自己的 async with semaphore，并发名额不会永久卡住。

async def run_checked(prompts):
    results = []
    async with asyncio.TaskGroup() as group:
        tasks = [group.create_task(infer_one(prompt)) for prompt in prompts]
    for task in tasks:
        results.append(task.result())
    return results