当前位置:首页 > 文章列表 > 文章 > 前端 > ReadableStream逐块读取响应并处理背压的实现方法

ReadableStream逐块读取响应并处理背压的实现方法

来源:17golang原创 2026-09-19 23:59:05 0浏览 收藏

如果你要把 fetch 的响应边读边显示,关键不是把所有内容先读进内存,而是让每一次 reader.read() 都等待当前 chunk 被消费。这样消费者变慢时不会无界预读;用户停止、命中目标或处理失败时,再用 reader.cancel() 结束不再需要的流。

官方地址:https://developer.mozilla.org/en-US/docs/Web/API/ReadableStream

最小可靠组合是:response.body.getReader() 获取锁定的 reader,循环等待 read(),用 TextDecoder.decode(..., {stream:true}) 解码,并在提前结束时等待 reader.cancel(reason),最后释放锁。

本文只讨论默认 reader、逐块读取和 cancel;如果要同时处理多条转换链,应另看 TransformStream

获取 reader 并确认流的锁定边界

response.body 是可读流,也可能为空。调用 getReader() 后,流会被锁定,其他代码不能再取得第二个 reader。因此应把 reader 的所有权放在一个函数里,避免组件卸载、重复请求和事件回调同时读取。

async function getReaderFromResponse(response) {
  // 没有 body 时不能继续读取,先把异常变成调用方可处理的结果。
  if (!response.body) {
    throw new Error("响应没有可读取的 body");
  }

  // 默认 reader 按 chunk 读取字节流,并锁定这条流的读取权。
  return response.body.getReader();
}
ReadableStream、response body、reader 与解码器之间的锁定边界说明图
图1:结构说明图,查看 response body、reader、解码器和消费端的静态边界;这不是运行截图。

不要把同一个 response.body 交给多个读取函数。需要分流时要明确选择 tee() 或其他架构,但那已经超出本文的 reader 与 cancel 边界。

用 read 循环逐块解码并控制消费节奏

read() 返回 { done, value }。文本响应不能简单地对每个 Uint8Array 单独调用解码器,否则一个汉字跨 chunk 时可能出现替换字符。应复用一个 TextDecoder,并在结束时补一次不带 stream:true 的 flush。

async function readTextStream(response, onChunk, signal) {
  const reader = await getReaderFromResponse(response);
  const decoder = new TextDecoder();
  let text = "";

  try {
    while (true) {
      // 每次只取一个 chunk;处理完当前内容后才发起下一次读取。
      const { done, value } = await reader.read();
      if (done) {
        // flush 处理最后一个不完整的多字节字符。
        text += decoder.decode();
        return text;
      }

      // stream:true 让跨 chunk 的 UTF-8 字符留给下一次解码。
      text += decoder.decode(value, { stream: true });
      onChunk(text);

      // 外部停止信号到来时,结束未完成的消费,不继续预读。
      if (signal?.aborted) {
        await reader.cancel("用户停止读取");
        return text;
      }
    }
  } catch (error) {
    // 处理函数或网络异常时通知底层 source,并把原始错误交给调用方。
    await reader.cancel("读取或处理失败").catch(() => {});
    throw error;
  } finally {
    // 无论完成、取消还是异常,都释放 body 的读取锁。
    reader.releaseLock();
  }
}

示例中的 onChunk 可以更新文本节点、追加解析结果或交给状态管理器。不要在循环里再启动一个不受控的后台读取任务;当前 chunk 没有处理完,下一次 read() 就不应提前排队。

把背压理解为消费端的等待关系

对响应体来说,最实用的背压处理是让消费端按自己的速度调用 read():渲染、解析或落盘耗时,就自然延迟下一次读取。reader 本身没有一个让你随意设置的“速度参数”,也不要把每次 chunk 的大小误认为业务层可以固定控制。

如果你自己用 new ReadableStream() 创建底层 source,才会在 controller 上看到 desiredSize;它表示内部队列相对高水位的期望容量,可能为负,属于 source 的入流控制信号。本文的 fetch 示例只负责正确消费和取消,不能据此声称已经控制了服务器发送速度。

现象正确判断处理方式
页面渲染慢消费端应放慢下一次 read不要并发预读,合并更新或分帧渲染
chunk 大小变化网络和实现决定分块边界按字节流解码,不依赖固定长度
已不需要剩余数据继续 read 只会浪费处理和缓存等待 reader.cancel(reason)

在提前结束和异常时调用 cancel

cancel() 表示这条流后续的数据都不要了,返回一个 Promise。它和“暂时没有处理完”不同:处理慢时只需延后下一次 read(),只有确认不再需要剩余内容时才取消。取消后流不可继续读取,原因字符串可用于底层 source 的记录。

命中搜索词、用户点击停止、组件销毁或解析器报错,都可以进入同一条取消路径。若还需要保留已收到的前缀,应先保存业务状态,再等待 cancel;不要把取消后的流当成可恢复断点。

ReadableStream 消费端等待、背压和 cancel 关系说明图
图2:关系说明图,查看消费端等待如何限制继续读取,以及提前结束如何连接到 cancel;这不是运行截图。

释放锁并复查三种结果

正常结束时,donetrue,应完成 decoder flush;主动取消时,保留已接收文本并把结束原因交给界面;异常时,先取消底层流,再把错误抛给重试或提示逻辑。三种结果都要经过 finallyreleaseLock()

排查“读取卡住”时,先看是否有一个循环已经锁住 body,再看消费回调是否永远没有返回;排查“文字乱码”时,确认是否复用了 TextDecoder 和 stream:true;排查“停止后仍在增长”时,确认是否等待了 cancel(),而不是只把页面按钮设为 disabled。

相关问题

ReadableStream 的 reader 能重复创建吗?同一时刻不能。已有 reader 会锁定流,先释放锁或让当前函数完整结束。

处理慢时要马上 cancel 吗?不需要。慢只是背压信号,延迟下一次 read();只有业务确定不再需要剩余数据时才 cancel。

cancel 后还能继续读吗?不能。若只是暂时让出读取权,应区分业务暂停和真正放弃剩余数据的取消语义。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go encoding/base64用 NewEncoder 关闭时补齐尾部数据的实现方案Go encoding/base64用 NewEncoder 关闭时补齐尾部数据的实现方案
上一篇
Go encoding/base64用 NewEncoder 关闭时补齐尾部数据的实现方案
LibTV节点式工作流交付前怎么留版本记录?节点输出、修改原因与责任确认
下一篇
LibTV节点式工作流交付前怎么留版本记录?节点输出、修改原因与责任确认
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    121次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    196次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    139次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    114次使用
  • CMMLU中文大模型评估基准:功能、使用教程与应用场景解析
    CMMLU
    深入了解CMMLU中文评估基准,涵盖67个学科主题,提供数据集下载、Zero-shot/Five-shot评估方法及排行榜,助力优化中文语言模型性能。
    96次使用