只获取目录中按时间戳排序的最新的 n 个文件

今天golang学习网给大家带来了《只获取目录中按时间戳排序的最新的 n 个文件》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

我正在尝试从按创建/修改时间排序的目录中获取最后一个 n 文件。 我目前正在使用此代码：

files, err := ioutil.ReadDir(path)
    if err != nil {
        return 0, err
    }

    sort.Slice(files, func(i, j int) bool {
        return files[i].ModTime().Before(files[j].ModTime())
    })

这里的问题是，这个目录中的预期文件数量约为 200 万个，当我将所有文件放入一个切片中时，它会消耗大量内存 ~ 800mb。而且也不确定gc什么时候会清理内存。

是否有其他方法可以获取按 ts 排序的目录中的最后一个 n 文件，而无需读取和消耗内存中的所有文件？

解决方案

正如 @marc 指出的那样，我使用 filepath.walk 的第一个答案仍然分配了大量内存。所以这里有一个改进的算法。

注意：这不是优化算法。这只是提供如何解决问题的想法。

    maxFiles := 5
    batch := 100 // optimize to find good balance

    dir, err := os.Open(path)
    if err != nil {
        log.Fatal(err)
    }
    
    var files []os.FileInfo
    for {
        fs, err := dir.Readdir(batch)
        if err != nil {
            log.Println(err)
            break
        }
        for _, fileInfo := range fs {
            var lastFile os.FileInfo
            if maxFiles <= len(files) {
                lastFile = files[len(files)-1]
            }
            if lastFile != nil && fileInfo.ModTime().After(lastFile.ModTime()) {
                break
            }

            files = append(files, fileInfo)

            sort.Slice(files, func(i, j int) bool {
                return files[i].ModTime().Before(files[j].ModTime())
            })

            if maxFiles < len(files) {
                files = files[:maxFiles]
            }
            break
        }
    }

基本思想是仅将最旧的 max x 个文件保留在内存中，并立即丢弃较新的文件，或者在较旧的文件将它们推出列表时立即丢弃它们。

使用 btree（因为它在内部排序）或双链表可能会有所帮助，而不是使用切片。您必须进行一些基准测试才能找出最佳方案。

到这里，我们也就讲完了《只获取目录中按时间戳排序的最新的 n 个文件》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！