Java 怎么逐行读取大文件并关闭文件流

Java 逐行读取大文件，重点不是把 readLine() 写进循环，而是控制“数据何时进入内存”和“文件何时关闭”。对只需要逐条处理的日志、CSV 或导出文件，优先使用 Files.lines(path, charset)，让它惰性产生 Stream，并把流放进 try-with-resources。不要用 readAllLines 或 readString 把超大文件一次性装进集合或字符串。

先区分流式读取和一次性读取

Files.readAllLines 返回 List，Files.readString 返回完整字符串，两者适合小文件或确实需要全部内容的场景。大文件逐行处理则应保持“读一行、处理一行”的边界，不要在最后又 collect(Collectors.toList())，否则只是把内存压力换了一个写法。

Files.lines(path) 默认按 UTF-8 解码；如果来源文件是 GBK、ISO-8859-1 等编码，直接使用无字符集重载会得到乱码。把编码作为方法参数传入，排查时也更容易确认输入契约。

用 try-with-resources 关闭 Files.lines 返回的流

Oracle 文档明确说明，Files.lines 返回的流引用着打开的文件，关闭流才会关闭文件。因此不要把它写成没有生命周期管理的单行链式表达式。下面的示例只保留必要状态：遇到包含目标词的行就计数，整个过程中不会保存所有行。

import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.stream.Stream;

public class LargeFileReader {
    public static long countMatches(Path path, String keyword) throws IOException {
        // Stream 持有文件资源，必须由 try-with-resources 负责关闭
        try (Stream lines = Files.lines(path, StandardCharsets.UTF_8)) {
            // 逐行判断并计数，不把整个文件收集到 List
            return lines.filter(line -> line.contains(keyword)).count();
        }
    }
}

这里的终止操作是 count()。如果要对每行写数据库、提取字段或输出摘要，也应在流中完成处理；如果业务允许提前结束，可以使用 findFirst、anyMatch 等短路操作，但仍要让 try-with-resources 自然退出。

乱码和异常要按资源边界排查

打开文件时的失败通常以 IOException 直接抛出；文件已经打开后，惰性读取发生在终止操作期间，文档说明后续 IO 异常可能包装成 UncheckedIOException。因此排查顺序应是：先确认路径和权限，再确认字符集，最后检查消费流的代码是否把异常吞掉。

如果必须使用传统 API，也可以用 Files.newBufferedReader(path, charset) 返回 BufferedReader，同样放入 try-with-resources。它更适合需要显式调用 readLine()、控制循环或处理自定义结束条件的代码；关键原则仍然是由创建资源的作用域负责关闭。

上线前的逐行读取检查清单

• 文件很大且只需逐条处理时，使用 Files.lines 或 newBufferedReader，不要默认 readAllLines。
• 字符集写在调用处，避免依赖环境默认编码。
• 不要把未关闭的 Stream 交给更长生命周期的对象。
• 检查终止操作是否偷偷收集全部行，并为异常日志保留文件路径和处理上下文。

相关问题

Files.lines 会把整个大文件读进内存吗？

它按流消费惰性读取，不等同于把全部内容加载成 List；但下游如果 collect 或缓存所有行，仍会失去这个优势。

Files.lines 默认是什么字符集？

无字符集重载按 UTF-8 解码。来源不是 UTF-8 时，应使用带 Charset 的重载。

为什么一定要关闭 Stream？

因为流引用着打开的文件，关闭 Stream 才能及时释放文件资源；try-with-resources 还能覆盖异常路径。