当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > OpenAI Responses API background 模式怎么轮询:queued、completed 与超时回收

OpenAI Responses API background 模式怎么轮询:queued、completed 与超时回收

来源:17golang原创 2026-08-23 12:42:31 0浏览 收藏
所属专题:OpenAI Responses API 工程化实践专题 - 从首个请求、工具调用到后台任务与生产治理

长文档分析、代码审查和批量资料整理不一定适合让 HTTP 请求一直挂着。Responses API 的 background 模式可以先提交任务,再根据响应状态取回结果;真正容易出错的地方是把 queued 当成失败,或者轮询超时后又无条件创建第二个任务。

要点速览
  • 后台任务要保存 response id,把它当作后续查询和幂等关联的主键。
  • queued、in_progress、completed、failed 和 cancelled 代表不同处理阶段,不能用一个布尔值替代。
  • 轮询需要设置间隔、总时限和重试上限;超时只表示暂时没有拿到最终状态,不等于任务已经失败。
  • 结果保存要和状态更新分开核对,避免完成状态已写入而输出内容还没落库。

OpenAI Responses API 同步等待与 background 轮询的状态路径对比

先把一次后台请求拆成四个动作

一个可靠的后台任务通常只有四步:创建、记录、轮询、收口。创建接口返回的响应标识要立刻写入任务表;后续查询都围绕这个标识展开,不要因为前端刷新或服务重启而重新创建同一份分析任务。

动作需要保存的内容失败时的处理
创建response id、业务任务号、创建时间网络不确定时先查关联任务,避免重复创建
轮询状态、最近查询时间、次数按退避间隔重试,不改变 response id
完成输出正文、完成时间、用量信息先保存结果,再更新业务状态
失败或取消错误类型、最后状态、人工处理标记判断是否可重试,禁止无条件重建

官方 API Reference 中,创建和读取响应是两个独立动作。数据控制说明还提到,后台模式为了支持查询会保留响应数据一段时间,因此需要把业务侧结果及时保存到自己的受控存储。

创建时只提交能重放的任务描述

提交后台任务前,先把业务输入整理成一个可追踪的任务对象。不要把只存在于浏览器内存里的上下文当作唯一输入,否则几分钟后拿到结果时,很难解释它到底分析了什么。

job = {
    "business_id": "review-20260823-1024",
    "prompt_version": "review-v3",
    "input_ref": "s3://safe-bucket/reviews/1024.txt",
    "state": "creating"
}

请求成功后,把返回的 response id 写回这条业务记录。关键不是把所有原文复制到日志里,而是保留输入引用、提示版本和模型配置,让任务能够复查和重试。

用显式状态机处理 queued 和 in_progress

后台任务刚创建时可能还在排队,随后进入处理中。轮询器应该把这两种状态都视为“继续等待”,而不是调用失败。

WAITING = {"queued", "in_progress"}

def next_action(status):
    if status in WAITING:
        return "poll_later"
    if status == "completed":
        return "save_result"
    if status in {"failed", "cancelled"}:
        return "record_terminal_error"
    return "inspect_unknown_status"

未知状态不要静默当成完成。先记录原始状态和响应标识,再让告警或人工检查决定下一步;过于激进的默认分支会把新状态误写成成功。

轮询间隔要和总时限一起设计

固定每 100 毫秒查询一次,看起来响应快,实际会制造很多无意义请求。更稳的做法是前几次短等待,随后逐步拉长间隔,并设置一个业务总时限。

def poll_plan(attempt):
    intervals = (2, 4, 8, 15, 30)
    return intervals[min(attempt, len(intervals) - 1)]

轮询超时有三种可能:任务仍在处理、读取接口暂时不可用、任务已经完成但本地没有及时读到。超时记录应保留最后一次状态和 response id,交给下一轮恢复;不要因为本地计时器到点,就直接创建一个新任务。

完成状态和结果保存必须有两个检查点

拿到 completed 后,先读取输出内容并做最小完整性检查,再写业务状态。检查内容至少包括输出非空、关联的 response id 一致,以及任务输入引用没有被替换。

def accept_response(response, job):
    if response["id"] != job["response_id"]:
        raise ValueError("response id mismatch")
    if response["status"] != "completed":
        raise ValueError("response is not completed")
    text = response.get("output_text", "")
    if not text.strip():
        raise ValueError("empty output")
    save_output(job["business_id"], text)
    mark_done(job["business_id"])

如果结果保存失败,业务状态应停留在“待收口”而不是“已完成”。下一次恢复任务时仍按 response id 读取,不会让空结果占住成功位置。

取消和失败不要共用一个重试按钮

用户主动取消,通常不应自动重试;服务端失败则要结合错误类型判断是否可重试;读取暂时失败,只需要继续查询原 response。把三种情况都绑定到“再次创建”,最容易产生重复计费和重复结果。

  • cancelled:保存取消来源和操作人,停止后续轮询。
  • failed:保存错误类型,只有明确可恢复时才安排重试。
  • 读取超时:不改变原任务状态,延迟后继续读取。
  • 未知状态:暂停自动收口,保留原始响应等待人工确认。

OpenAI Responses API 后台任务状态机对比:正确轮询减少重复任务与误报警

用固定样本验收重复、超时和重启场景

本地测试不要只覆盖一次成功返回。至少准备四组样本:短任务快速完成、长任务经历 queued、读取接口暂时失败、服务在保存 response id 后重启。每组都检查最终任务数、重复结果数和人工介入数。

  • 同一个业务任务只能关联一个活动 response id。
  • 轮询器重启后可以从任务表恢复,不需要重新创建请求。
  • 超时样本最终仍能通过原 response id 收口。
  • 失败和取消都能保留原因,且不会被误记为成功。

指标可以分成三组:平均等待时间和长尾等待时间,状态查询次数和接口错误率,重复创建数和空结果数。只看平均延迟会漏掉少量长期排队任务,只有把长尾和重复任务一起看,才能判断轮询策略是否合适。

常见问题

queued 状态是不是表示请求失败?

不是。它表示任务还在等待处理,轮询器应保留 response id 并按间隔继续读取,只有最终失败状态才进入失败处理。

轮询超时后要不要重新创建任务?

不要直接重建。先用原 response id 再读一次并检查业务任务记录;只有确认原任务已经终止且业务允许重试时,才创建新任务。

为什么完成状态已经写入,结果表却是空的?

通常是状态更新和结果保存没有形成清晰的先后关系。先核对 response id 和输出非空,再保存正文,最后更新业务完成状态。

后台模式适合所有请求吗?

不适合强交互、用户正在等待即时反馈的短请求。它更适合耗时较长、可以异步通知、并且有可靠任务表的工作流。

上线前的收口清单

检查创建记录是否先于轮询;response id 是否贯穿日志、任务表和结果表;queued 与 in_progress 是否都能继续等待;超时是否不会重复创建;完成结果是否先保存再改状态;取消、失败和未知状态是否各自有处理路径。把这几项放进发布前验收,后台任务才不会从“请求挂住”变成“重复跑了两遍”。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Krita 参考图工具怎么固定构图:工具选项、画布缩放与保存核对Krita 参考图工具怎么固定构图:工具选项、画布缩放与保存核对
上一篇
Krita 参考图工具怎么固定构图:工具选项、画布缩放与保存核对
Dependabot 依赖更新新增三天冷却:安全补丁不延迟,普通版本怎么验收
下一篇
Dependabot 依赖更新新增三天冷却:安全补丁不延迟,普通版本怎么验收
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    372次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    443次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    449次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    395次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    220次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码