Go os.ReadDir按文件名排序并限制目录批量读取的实现

Go 读取目录时，os.ReadDir(path) 会一次拿到全部条目，并按文件名排序；如果目录很大、每次只想处理固定数量，就应打开目录后循环调用 File.ReadDir(n)。需要注意的是，后者返回的是目录顺序，不等于文件名顺序。实际项目通常先在“内存和处理节奏”与“全局稳定排序”之间做选择，再决定是否补一次排序。

先判断是全量排序还是分批遍历

如果目录只有几千项，且后续任务依赖稳定顺序，直接使用 os.ReadDir 最简单。它把条目读入切片并按文件名排序，调用方只需检查一次错误。目录规模无法预估、每个条目还要触发解析或上传时，则更适合保留目录句柄，用 File.ReadDir(batchSize) 把内存和单次处理量限定住。

func listSorted(dir string) ([]string, error) {
    // os.ReadDir 返回完整目录，并按文件名排序。
    entries, err := os.ReadDir(dir)
    if err != nil {
        return nil, fmt.Errorf("read directory: %w", err)
    }
    names := make([]string, 0, len(entries))
    for _, entry := range entries {
        // 只保留文件名；是否包含目录由业务规则决定。
        names = append(names, entry.Name())
    }
    return names, nil
}

这个方案的边界很清楚：排序成本和全部条目的内存都由当前调用承担。它适合生成索引、构建清单或测试快照，不适合无上限目录的长时间消费。

用 File.ReadDir(n) 控制单批条目数量

File.ReadDir(n) 会记住同一个目录句柄的位置。只要 n > 0，每次最多返回 n 项；某一批仍有数据时，即使数量不足 n 也不能直接当成结束，只有返回空切片并得到 io.EOF 才表示目录已经读完。其他错误则应立即返回。

func consumeBatches(dir string, batchSize int, handle func(os.DirEntry) error) error {
    if batchSize  0 {
            // 先处理本批已有数据，再判断是否到达目录末尾。
            for _, entry := range batch {
                if err := handle(entry); err != nil {
                    return fmt.Errorf("handle %q: %w", entry.Name(), err)
                }
            }
        }
        if errors.Is(err, io.EOF) {
            return nil // 空批次加 EOF 才是正常结束。
        }
        if err != nil {
            return fmt.Errorf("read directory batch: %w", err)
        }
    }
}

示例刻意先处理 batch 再判断错误，因为最后一批可能“少于 batchSize 但仍有数据”。同时要避免在循环体里对每个条目使用延迟关闭资源；批处理函数应明确释放自身打开的资源。

在批量读取后补上确定性文件名排序

如果消费者只要求“每批最多处理多少项”，目录顺序通常足够；如果结果要用于分页接口、增量同步或可复现构建，就不能假设 File.ReadDir 的目录顺序已经按名称排列。最稳妥的做法是收集必要的条目后按 Name() 排序，再交给业务层分页。

func readAndSort(dir string) ([]os.DirEntry, error) {
    f, err := os.Open(dir)
    if err != nil {
        return nil, err
    }
    defer f.Close() // 排序前保留条目，排序后再统一交给调用方。

    var all []os.DirEntry
    for {
        batch, err := f.ReadDir(128)
        all = append(all, batch...)
        if errors.Is(err, io.EOF) {
            break
        }
        if err != nil {
            return nil, err
        }
    }
    sort.Slice(all, func(i, j int) bool {
        // 文件名排序规则显式写出，避免依赖文件系统返回顺序。
        return all[i].Name() 

固定过滤、错误和资源释放边界

过滤规则应在条目进入业务处理前完成，例如用 entry.IsDir() 跳过子目录，或只处理指定后缀。不要把空目录、权限错误和“最后一批不足 batchSize”混成一种状态：空目录通常是第一轮直接得到 io.EOF，权限问题应返回真实错误，最后一批不足则仍要先处理内容。

还要留意文件名排序是字节序的字符串比较，part-10 不会自动排在 part-2 后面形成数字自然序。如果业务需要自然序，应先定义数字字段和非法命名的处理方式，而不是悄悄替换标准排序规则。

相关问题

File.ReadDir(n) 会按文件名排序吗？

不会。它返回目录顺序；需要全局文件名顺序时，请使用 os.ReadDir，或收集后按 DirEntry.Name() 排序。

最后一批少于 batchSize 是否代表结束？

不代表。只要切片非空，就应先处理这一批；在 n > 0 的模式下，空切片配合 io.EOF 才是正常结束信号。

大目录既要低内存又要全局排序怎么办？

内存中无法同时保留完整排序集合和严格的低内存流式处理。可以改用外部排序、数据库索引或业务侧游标，把排序状态交给可持久化的中间层。