使用通道或 goroutine 将文件夹中的文件移动到子文件夹

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习Golang相关编程知识。下面本篇文章就来带大家聊聊《使用通道或 goroutine 将文件夹中的文件移动到子文件夹》，介绍一下，希望对大家的知识积累有所帮助，助力实战开发！

我有一个包含多种类型文件的文件夹（在这个简单的情况下没有子文件夹）。假设它包含 20000 个 .raw 文件和 20000 个 .jpg 文件。我需要将 .raw 文件移动到 raw 文件夹中，并将 .jpg 文件移动到 jpg 文件夹中。于是厌倦了用golang来解决：

package main

import (
    "flag"
    "fmt"
    "io/fs"
    "io/ioutil"
    "os"
    "runtime"
    "strings"
    "sync"
    "time"
)

func createfolder(basepath string, foldername string) {
    os.mkdir(basepath+"/"+foldername, 0755)
}

func movefile(file string, path string, folder string) {
    err := os.rename(path+"/"+file, path+"/"+folder+"/"+file)
    if err != nil {
        panic(err)
    }
}

func getinfo(a fs.fileinfo, c chan string) {
    if a.isdir() || strings.hasprefix(a.name(), ".") {
        return
    } else {
        c <- a.name()
    }
}

func dealinfo(path string, typedict *sync.map, c chan string) {
    for name := range c {
        sp := strings.split(name, ".")
        suffix := sp[len(sp)-1]

        if _, ok := typedict.load(suffix); ok {
            movefile(name, path, suffix)
        } else {
            createfolder(path, suffix)
            movefile(name, path, suffix)
            typedict.store(suffix, 1)
        }
    }
}

func main() {
    runtime.gomaxprocs(8)
    var (
        filepath = flag.string("p", "", "default self folder")
    )

    flag.parse()
    fmt.println(*filepath)
    fmt.println("==========")
    if *filepath == "" {
        fmt.println("no valid folder path")
        return
    } else {
        fileinfos, err := ioutil.readdir(*filepath)
        stime := time.now()
        if err != nil {
            panic(err)
        }
        var typedict sync.map
        ch := make(chan string, 20)

        for _, fs := range fileinfos {
            go getinfo(fs, ch)
            go dealinfo(*filepath, &typedict, ch)
        }
        fmt.println(time.since(stime))
    }
}

但它返回一个错误：runtime：无法创建新的操作系统线程。我猜这是因为脚本创建了太多的 goroutines ？但我不知道为什么会发生这种情况，因为我认为 ch := make(chan string, 20) 会限制 goroutine 的数量。

我还尝试使用 wg *sync.waitgroup，例如：

getInfo(...) // use this func to put all files info into a channel

wg.Add(20)

for i:=0; i<20; i++ {
    go dealInfo(..., &wg)  // this new dealInfo contains wg.Done()
}

wg.Wait()

但这会导致 deadlock 错误。

我可以知道并行移动文件的最佳方法吗？非常感谢您的帮助！

正确答案

这可能有效。

但是移动操作取决于操作系统和文件系统。

例如，通过 NFS 并行执行可能不是最佳选择。您必须检查。

在这种情况下，我会尝试列出文件、发送到由某些 goroutine 执行（移动/重命名）的通道的策略。

goroutine（worker）的数量可以是命令行参数。

本篇关于《使用通道或 goroutine 将文件夹中的文件移动到子文件夹》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！