Java NIO FileChannel 怎么实现可恢复的大文件复制
大文件复制最怕的不是慢,而是复制到一半进程退出后只能从头再来。一个稳妥的做法是把最终文件和临时文件分开:用目标临时文件的长度作为可见进度,再用独立的 checkpoint 记录已经确认的偏移。Java NIO 的 FileChannel 负责按位置读写,任务重启后从安全偏移继续。
transferTo返回的是本次实际传输字节数,不能假设一次完成全部请求。- checkpoint 要在目标写入并
force后再更新,恢复点必须落后于或等于已持久化数据。 - 复制完成先校验源、临时文件长度,再把临时文件替换成最终文件。
先把最终文件、临时文件和恢复点分开
建议使用三个路径:源文件 source.bin、临时文件 target.bin.part、恢复点 target.bin.checkpoint。最终文件不存在或保持旧版本,消费者不会读到半成品;临时文件保存已写入的数据,checkpoint 只保存一个字节偏移。
恢复时以 checkpoint 为主、以临时文件长度为辅:如果 checkpoint 大于临时文件长度,说明状态记录领先,不能直接跳过去;示例选择回退到临时文件长度,并把源文件大小固定在任务开始时,防止复制过程中源文件被追加。

用 FileChannel 按偏移处理短传输
transferTo(position, count, target) 不会改变源 channel 的当前位置,返回值才是实际写入量。因此循环变量必须用返回值递增;返回 0 时再做一次小块 ByteBuffer 兜底,避免某些文件系统或大文件场景下循环无法前进。
static void copyResumable(Path source, Path part, Path checkpoint) throws IOException {
long sourceSize = Files.size(source); // 固定本次任务看到的源文件边界
long partSize = Files.exists(part) ? Files.size(part) : 0L;
long saved = readCheckpoint(checkpoint); // 读取上次已确认的偏移
long offset = Math.min(saved, partSize); // 记录领先时回退到实际文件长度
try (FileChannel in = FileChannel.open(source, StandardOpenOption.READ);
FileChannel out = FileChannel.open(part, StandardOpenOption.CREATE,
StandardOpenOption.WRITE, StandardOpenOption.READ)) {
if (in.size()
上面的示例把“恢复”限定为单写入者任务。生产环境还应给 checkpoint 加校验和或任务 ID,防止另一份源文件误用旧恢复点;如果需要跨机器容灾,也不能把本地 force 当成远端存储的提交确认。
checkpoint 的顺序决定恢复是否安全
正确顺序是:写入临时文件 → 调用 out.force(false) → 写 checkpoint。若先写 checkpoint,进程恰好在文件数据落盘前崩溃,重启可能从一个实际上不存在的偏移继续,结果中间出现空洞或旧数据。
| 状态 | 恢复动作 | 原因 |
|---|---|---|
| 没有临时文件 | 从 0 开始 | 没有可复用数据 |
| checkpoint 小于临时文件长度 | 截断到 checkpoint | 只信已确认的边界 |
| checkpoint 大于临时文件长度 | 回退到临时文件长度并记录异常 | 记录领先于数据 |
| 源文件长度变化 | 终止并重新建立任务 | 偏移已不再对应同一内容 |

完成复制后再校验和替换
不要因为 current == sourceSize 就直接认为复制成功。还要确认临时 channel 的 size() 等于任务开始时记录的源文件大小,并根据业务需要比较摘要。通过后再使用 Files.move 替换目标文件;ATOMIC_MOVE 是否可用取决于文件系统,失败时应明确记录并采用同一文件系统内的安全替换策略。
如果任务需要支持暂停,可以把“已 force 的偏移”作为唯一外部状态;如果需要并发分段复制,则每个分段都要有独立范围和校验,不能让多个线程同时推进同一个普通 channel 的共享位置。
常见问题
为什么不能只读取目标文件长度?
长度只说明文件有多少字节,不说明这些字节是否已经确认落盘;checkpoint 与 force 配合可以把恢复边界定义得更清楚。
transferTo 返回 0 是否代表复制完成?
不是。它只表示本次没有传输字节,可能与 channel 或文件系统状态有关;应避免死循环,并使用小块读取写入兜底。
什么时候应该删除 checkpoint?
只有临时文件长度校验通过且最终文件替换成功后删除。失败或中断时保留,下一次才有机会恢复。
Go bytes.Buffer 怎么复用来解析批量协议消息
- 上一篇
- Go bytes.Buffer 怎么复用来解析批量协议消息
- 下一篇
- Go QueryUnescape 遇到加号为什么变成空格
-
- 文章 · java教程 | 2小时前 | 文件操作 · Java · 资源管理 · nio · java Stream try-with-resources 文件遍历 Files.walk
- Java Files.walk 使用后为什么需要显式关闭 Stream
- 373浏览 收藏
-
- 文章 · java教程 | 7小时前 |
- Java Stream groupingBy 后怎么保留输入顺序
- 366浏览 收藏
-
- 文章 · java教程 | 23小时前 | Java教程 · 空值处理 · Comparator · 集合排序 · java comparator 多字段排序 nullsFirst nullsLast
- Java 多字段排序怎么处理 null 值
- 310浏览 收藏
-
- 文章 · java教程 | 1天前 | Java · httpclient · HTTP客户端 · java 连接超时 httpclient 请求超时
- Java HttpClient 怎么复用客户端并设置请求超时
- 351浏览 收藏
-
- 文章 · java教程 | 1天前 | 文件处理 · Java · nio · java 大文件读取 文件流 Files.lines
- Java 怎么逐行读取大文件并关闭文件流
- 311浏览 收藏
-
- 文章 · java教程 | 1天前 |
- Java 线程池使用 ThreadLocal 后怎么清理用户信息
- 188浏览 收藏
-
- 文章 · java教程 | 1天前 |
- Java record 里的 List 为什么还能修改
- 136浏览 收藏
-
- 文章 · java教程 | 1天前 | Java · 异常处理 · try-with-resources ·
- Java 关闭资源时的异常为什么出现在 suppressed 里
- 116浏览 收藏
-
- 文章 · java教程 | 1天前 | Java · 性能优化 · Optional · supplier orElse orElseGet Java Optional
- Java Optional 的 orElse 为什么每次都执行默认方法
- 382浏览 收藏
-
- 文章 · java教程 | 1天前 | Java · 时间转换 · java.time · java 时间戳 localdatetime ZoneId
- Java LocalDateTime 怎么转换成指定时区的时间戳
- 443浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 171次使用
-
- C-Eval
- 深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
- 101次使用
-
- AI Prompt Library
- 探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
- 20次使用
-
- LangGPT
- LangGPT是一种受编程语言启发的结构化提示词设计工具,提供双层框架、模块化模板及变量功能,帮助用户高效编写高质量Prompt。该项目已在GitHub免费开源,适用于内容创作、编程辅助等多场景。
- 32次使用
-
- ClickPrompt
- ClickPrompt是一款专为AI提示词编写者设计的开源在线工具,支持Stable Diffusion绘图、ChatGPT对话及GitHub Copilot代码辅助。提供Prompt自动生成、一键运行、社区分享及可视化优化功能,帮助用户高效获取精准AI输出。
- 71次使用
-
- Go Java 算法之字符串解码示例详解
- 2023-01-07 479浏览
-
- Go Java算法之单词搜索示例详解
- 2022-12-30 337浏览
-
- Gojava算法之括号生成示例详解
- 2023-02-22 128浏览
-
- GoJava算法之累加数示例详解
- 2023-01-07 149浏览
-
- GoJava算法最大单词长度乘积示例详解
- 2023-01-12 202浏览

