将一个文件分成几个块

本篇文章向大家介绍《将一个文件分成几个块》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

假设我们有一个 100k 行或约 2gB 的文件，我们希望将其分成 10 个块，每个块有 10k 行，以便可以并行处理这些块。有没有办法在 10 个块的每个块的起始行创建指针，而不需要遍历整个文件？我正在考虑以某种方式根据文件的大小来划分文件，以便每 200mB 创建一次指针。这可行吗？

解决方案

是的，当然。但您需要做出一些假设并接受您的块不准确的事实。

要么假设标准线长度，要么扫描几条线并测量它。然后，您将其乘以您想要的行数，并希望这是一个不错的估计。

或者，如果您只想要 10 个块，则将文件大小除以 10。

然后您可以使用 lseek 和 read、pread 或 mmap 跳转到文件中的该点。然后向前扫描，直到找到一行的结尾和下一行的开头。

除非您实际计算每一行，否则它不会是精确的行数。但它会非常接近。

我很无聊又好奇，所以看看这个：
https://github.com/zlynx/linesection

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《将一个文件分成几个块》文章吧，也可关注golang学习网公众号了解相关技术文章。