合并二进制数据块为一个复合文件的方法

学习Golang要努力，但是不要急！今天的这篇文章《合并二进制数据块为一个复合文件的方法》将会介绍到等等知识点，如果你想深入学习Golang，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

在我的服务器上，我有一些大文件已被分割成更小的（二进制）块。块以其编号存储：chunk0、chunk1、chunk2...

数字是块在大文件中的顺序位置。

它们存储在与其组成的文件同名的目录中。 （实际上，该目录的名称是大文件的哈希值）。

[ chunk0 (1MB)
        | chunk1 (1MB)
        | chunk2 (1MB)
file1/ -| chunk3 ..
        | chunk4 ..
        | chunk5 ..
        [ chunk6 ..

因此 file1 将是一个 6 mb 的复合文件。

服务器是用 go 编写的，客户端也是用 go 编写的。

我想为用户提供一种下载大文件的方法，而不必单独下载每个块。

大致如下：

1. 客户端向服务器 api 发送 file1 请求
2. 服务器提供来自块的完整 file1 数据
3. 客户端将文件数据下载到单个文件

那么问题来了，第2步该怎么做？我想在用户请求某个文件时（不创建任何新文件）动态重新组装块。另一个需要注意的是，它需要尽可能快，因为我正在开发的应用程序是以速度为导向的。

我认为类似 blob url 的功能会很好吗？但这个项目是用 go 语言编写的，无法使用浏览器或 javascript。

解决方案

一般来说，您可以通过将多个 io.readers 的内容写入单个 io.writer 来轻松地连接文件（无需执行任何磁盘文件操作）。这些抽象背后的缓冲将为您处理剩下的事情。

您需要的关键是

• io.Copy
• os.Open 返回 io.reader
• 事实上 http.ResponseWriter 是一个 io.writer

因此，第 2 步的一般方案可能是在您的 http.handler 中：

set content-type header
determine file chunk names in whole file
check all chunks are accessible 
for each chunk file in order
  open chunk file
  copy contents of file to w responsewriter
  close file

我在那里添加了对文件访问的预检查，因为当您检测到存在错误情况时，您不希望在发送文件的过程中。那时再设置适当的错误代码就太晚了。

此操作将完全受 io 限制，磁盘或网络吞吐量将成为限制因素，因此串行方法可能是最好的（如果您正在考虑在一台计算机中使用单个服务器进程） ）。

正如@emile pels 的评论中所述，io.multireader 允许您连接多个 reader，因此您可以将整个 for 循环替换为：

Create a slice of opened files in order
Create io.MultiReader(files...)
io.Copy(w, mreader)
Close each open file

我能想到的一个缺点是，它会强制您打开所有文件并在操作期间保持它们打开状态，这是在高负载、大文件大小和高每文件块系数的情况下进行的可能会导致您的进程超出其打开文件描述符限制。

以上就是《合并二进制数据块为一个复合文件的方法》的详细内容，更多关于的资料请关注golang学习网公众号！