如何均等拆分一个文件为4个文件

本篇文章向大家介绍《如何均等拆分一个文件为4个文件》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

我有一个巨大的文件，例如 100mb，我需要使用 golang 将其分成 4 个 25mb 文件。

这里的问题是，如果我使用 go 例程并读取文件，则文件内数据的顺序不会保留。我使用的代码是

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
    "sync"

    "github.com/google/uuid"
)

func main() {
    file, err := os.Open("sampletest.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    lines := make(chan string)
    // start four workers to do the heavy lifting
    wc1 := startWorker(lines)
    wc2 := startWorker(lines)
    wc3 := startWorker(lines)
    wc4 := startWorker(lines)
    scanner := bufio.NewScanner(file)

    go func() {
        defer close(lines)
        for scanner.Scan() {
            lines <- scanner.Text()
        }

        if err := scanner.Err(); err != nil {
            log.Fatal(err)
        }
    }()

    writefiles(wc1, wc2, wc3, wc4)
}

func writefile(data string) {
    file, err := os.Create("chunks/" + uuid.New().String() + ".txt")
    if err != nil {
        fmt.Println(err)
    }
    defer file.Close()
    file.WriteString(data)
}

func startWorker(lines <-chan string) <-chan string {
    finished := make(chan string)
    go func() {
        defer close(finished)
        for line := range lines {
            finished <- line
        }
    }()
    return finished
}

func writefiles(cs ...<-chan string) {
    var wg sync.WaitGroup

    output := func(c <-chan string) {
        var d string
        for n := range c {
            d += n
            d += "\n"
        }
        writefile(d)
        wg.Done()
    }
    wg.Add(len(cs))
    for _, c := range cs {
        go output(c)
    }

    go func() {
        wg.Wait()
    }()
}

这里使用此代码，我的文件被分成 4 个相等的文件，但其中的顺序未保留。 我对 golang 很陌生，非常感谢任何建议。

我从某个网站获取了这段代码，并进行了各处调整以满足我的要求。

正确答案

根据您的陈述，您应该能够将代码从并发运行修改为顺序运行，这比将并发方面应用于现有代码要容易得多。

工作基本上就是：删除并发部分。

无论如何，下面是一个简单的例子，说明如何实现你想要的。我使用您的代码作为基础，然后删除与并发进程相关的所有内容。

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
    "strings"

    "github.com/google/uuid"
)

func main() {
    split := 4

    file, err := os.Open("file.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    texts := make([]string, 0)
    for scanner.Scan() {
        text := scanner.Text()
        texts = append(texts, text)
    }
    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }

    lengthPerSplit := len(texts) / split
    for i := 0; i < split; i++ {
        if i+1 == split {
            chunkTexts := texts[i*lengthPerSplit:]
            writefile(strings.Join(chunkTexts, "\n"))
        } else {
            chunkTexts := texts[i*lengthPerSplit : (i+1)*lengthPerSplit]
            writefile(strings.Join(chunkTexts, "\n"))
        }
    }
}

func writefile(data string) {
    file, err := os.Create("chunks-" + uuid.New().String() + ".txt")
    if err != nil {
        fmt.Println(err)
    }
    defer file.Close()
    file.WriteString(data)
}

到这里，我们也就讲完了《如何均等拆分一个文件为4个文件》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！