当前位置:首页 > 文章列表 > 文章 > 前端 > 前端大文件上传为什么会卡住:分片、并发窗口与断点续传的架构取舍

前端大文件上传为什么会卡住:分片、并发窗口与断点续传的架构取舍

来源:17golang原创 2026-08-08 22:54:01 0浏览 收藏

上传一个 800MB 的视频时,页面上的进度条停在 37% 并不一定是网络断了。更常见的原因是浏览器同时发出了太多分片请求,某个失败请求没有退出队列,后面的任务一直等着;如果用户刷新页面,已经成功的部分又被当成从零开始。比较稳的做法是把文件切成固定大小的分片,用有限并发窗口上传,并让服务端返回已接收分片清单,刷新后只补缺口。

大文件上传卡住的核心诱因很少是带宽跑满,大多是无节制的并发请求打满浏览器连接池、单点失败阻塞整个队列、没有落盘校验机制导致断点恢复时重传全部内容。用分片切割任务、固定并发槽控住峰值流量、靠服务端返回的已传分片清单做恢复,是多数业务场景下性价比最高的落地方案。
实践要点
  • 先用 File.slice 切片,再用 3~4 个并发槽控制浏览器请求数量。
  • 每个分片保存 index、size 和校验信息,失败时只重试当前分片。
  • 服务端返回已完成分片,断点续传的核心是跳过成功项,而不是保存一个百分比。
  • 暂停、取消和页面刷新都要能让队列停止或恢复,不能只禁用上传按钮。

一次性上传为什么在大文件场景下撑不住

把整个 File 直接放进一个 fetch 请求,代码很短,却把三个问题揉成了一个长事务:连接断开时无法判断已经传了多少,浏览器或网关的请求体限制可能提前截断,重试时还要重新发送完整文件。

切片并不会自动解决问题。假设每片 8MB,800MB 文件会变成 100 个任务;如果用 Promise.all 一口气启动 100 个请求,连接池、内存和服务端临时文件占用都会突然升高。真正需要控制的是“同时在飞的任务数”,而不是只看文件总大小。

前端大文件上传从 File.slice 分片进入有限并发窗口,再汇总为完整文件的因果流程图

分片模型先把文件变成可追踪的任务

客户端至少要给每个分片一个稳定身份。简单项目可以使用文件指纹、分片序号和总片数拼出上传会话;生产项目通常还会把文件大小、修改时间或前端计算的哈希加入指纹,避免两个同名文件互相覆盖。

const PART_SIZE = 8 * 1024 * 1024;

function makeParts(file) {
  const parts = [];
  let index = 0;
  for (let start = 0; start 

这里的 index 必须从 0 连续递增,最后一片允许小于 8MB。服务端不要按请求到达顺序拼接,而应按会话 ID 和分片序号写入临时文件夹,例如 uploads/{uploadId}/000042.part,这样并发完成顺序变化也不会破坏文件。

并发窗口比“越多越快”更重要

小文件可以并发 3~4 片;如果每片都较大,继续加到 12 个并发,通常只是让失败重试变得更集中。下面的队列只保留固定数量的活动任务,某一片完成后才补下一片。

async function uploadParts(parts, uploadId, signal) {
  const limit = 4;
  let cursor = 0;
  const done = new Set();

  async function worker() {
    while (cursor 

这个最小实现有一个故意保留的边界:sendWithRetry 失败时应抛出错误,不能在 worker 内静默吞掉。否则进度条可能显示“全部完成”,服务端却缺一片。

重试、暂停和取消要有明确的状态边界

单个分片的网络错误适合做有限重试,例如 3 次,间隔 500ms、1s、2s。服务端返回 4xx 时不要盲目重试,文件过大、会话过期和校验失败都应该回到用户可见的错误状态。

async function sendWithRetry(part, uploadId, signal) {
  for (let attempt = 0; attempt = 400 && response.status  setTimeout(resolve, 500 * 2 ** attempt));
  }
}

暂停可以通过一个队列级别的停止标记实现;取消则调用 AbortController.abort(),并通知服务端清理临时分片。两者不要混为一谈:暂停要保留会话,取消通常意味着删除会话。

前端断点续传根据服务端已完成分片清单跳过成功分片并重试缺失分片的状态变化图

断点续传的关键是服务端清单,不是本地进度条

创建会话时,服务端返回 uploadId;查询接口返回已经落盘的分片序号。客户端恢复上传时先把这份清单放进 Set,只把缺少的分片送进并发队列。

const state = await fetch(`/api/upload/${uploadId}`).then(r => r.json());
const received = new Set(state.parts);
const pending = parts.filter(part => !received.has(part.index));

if (pending.length === 0) {
  await fetch(`/api/upload/${uploadId}/complete`, { method: 'POST' });
} else {
  await uploadParts(pending, uploadId, controller.signal);
}

完成接口还要再做一次服务端校验:分片数量是否齐全、每片大小是否符合约定、合并后的文件大小或哈希是否匹配。客户端显示 100% 只能说明请求都返回了,不能替代这一步。

上线前用三组指标判断架构是否真的变稳

先记录一次性上传的失败率、平均请求体大小和恢复耗时,再与分片方案对比。不要只看平均上传速度,P95 分片耗时、重试比例和临时文件夹占用更能暴露并发窗口的问题。

检查项应观察什么异常时先查哪里
浏览器网络面板活动请求是否稳定在 4 个以内队列游标和重复触发
服务端会话parts 清单是否连续、可重复查询分片落盘名和 uploadId
合并接口缺片时拒绝合并,完整时只合并一次幂等键与临时文件夹锁
失败恢复刷新后只发送缺失分片本地会话保存与过期策略

常见问题:大文件上传的几个边界

分片越小,上传一定越快吗?

不一定。分片太小会增加请求数量和服务端文件管理开销;可以从 5~10MB 试起,再根据网络质量和后端临时存储调整。

页面刷新后还能继续上传吗?

可以,但必须保留文件指纹与 uploadId,并向服务端查询已完成分片。只把百分比存到 localStorage 无法判断哪些分片真实落盘。

为什么不直接把并发数调到 16?

并发数受用户带宽、浏览器连接、服务端限流和临时磁盘共同约束。先用 3~4 个槽观察失败率,再按 P95 和重试比例做小步调整。

总结:把上传拆成可检查、可恢复的状态机

大文件上传的稳定性来自三个边界:分片让失败范围变小,并发窗口限制资源峰值,服务端清单让恢复动作有依据。前端可以先实现固定 4 并发和有限重试,再补齐暂停、取消、过期清理与合并幂等;这条路径比一开始堆满复杂功能更容易验证。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
pkg.go.dev API 刚开放,Go 项目如何避开模块路径歧义?pkg.go.dev API 刚开放,Go 项目如何避开模块路径歧义?
上一篇
pkg.go.dev API 刚开放,Go 项目如何避开模块路径歧义?
Go 1.26 的 go fix 怎么用:先看 modernizer 建议,再安全升级旧写法
下一篇
Go 1.26 的 go fix 怎么用:先看 modernizer 建议,再安全升级旧写法
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • ljg-skills -
    ljg-skills
    ljg-skills 是李继刚开源的 AI 技能与提示词集合,面向大模型使用者整理了一批可复用的 prompt、角色设定和任务技能模板,适合用于学习提示词设计、搭建个人 AI 工作流和沉淀团队常用智能体能力。
    4758次使用
  • MELO音乐 - AI 音乐生成平台,支持多模态创作能力
    MELO音乐
    MELO音乐是一站式AI视频与音乐制作助手,对标suno, udio的高品质体验。提供伴奏生成、原创写词、无损导出、哼唱识曲、混音变声等全套音频与短视频编辑工具。无论是流行Kpop、电音说唱、民谣古风、摇滚儿歌还是商用轻音乐,MELO为你免费谱曲,轻松做同款!
    4359次使用
  • UniScribe - AI 免费在线音视频转文字平台
    UniScribe
    UniScribe 是一款 AI 音视频转文字与内容整理工具,支持上传音频、视频文件或粘贴 YouTube 链接,自动生成转写文本、摘要、思维导图和关键问题,并支持多格式导出,适合会议记录、课程学习、访谈整理和内容创作复盘。
    4306次使用
  • 剧云 - 免费 AI 智能中文剧本创作平台
    剧云
    剧云是专业中文剧本创作平台,安全稳定运行十余年,集成AI编剧、剧本医生审核、人物小传、剧情关系图、大纲编写、多人协作、Word导入导出、版权管控功能,数据安全防护,轻松高效创作剧本。
    4543次使用
  • 万象有声 - AI 一站式有声内容创作平台
    万象有声
    万象有声,一个专为有声创作者打造的新一代智能有声内容创作平台。平台提供专业的智能拆章、智能画本编辑、AI配音、AI生成音效、后期制作、智能对轨、智能审听等有声创作全流程工具,可以帮助创作者高效、低成本创作出引人入胜的有声作品。立即体验,让有声书制作更简单!
    4489次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码