Files.readAllLines读取带BOM文本方法

Java 中使用 `Files.readAllLines()` 读取带 BOM（如 UTF-8 的 EF BB BF）的文本文件时，即使显式指定 `StandardCharsets.UTF_8`，BOM 也不会被自动跳过，而是被解码为开头的不可见字符 `\uFEFF`，导致首行内容异常；根本原因在于 JDK 原生 `InputStreamReader` 不识别或跳过 BOM，需在字节流层面主动检测并跳过（如用 `Files.readAllBytes()` 预检 + `ByteArrayInputStream` 偏移）、采用流式处理（`Files.lines()` 配合手动 BOM 处理），或借助 Apache Commons IO 的 `BOMInputStream` 实现自动、健壮的多编码 BOM 支持——忽视这一细节可能引发静默数据污染，尤其在配置文件解析、日志处理等对首行敏感的场景中务必提前干预。

Java 的 Files.readAllLines() 本身**不自动处理 BOM（Byte Order Mark）**，即使你指定了正确的编码（如 StandardCharsets.UTF_8），如果文件以 UTF-8 BOM（EF BB BF）开头，BOM 会被当作普通字符读入第一行的开头，导致字符串内容异常（例如第一行变成 "\uFEFF内容"）。

为什么指定编码还不够？

因为 Files.readAllLines(Path, Charset) 底层使用 InputStreamReader，而标准 JDK 的 InputStreamReader（包括 UTF-8 实现）**默认不跳过或识别 BOM**。它把 BOM 当作合法的 UTF-8 字节序列照常解码 —— 而 UTF-8 BOM 在 Unicode 中对应 U+FEFF（零宽无间断空格），所以你会在首行开头看到这个不可见字符。

推荐方案：用 Files.lines() + 自定义 BOM 处理

更灵活、更轻量的方式是结合 Files.lines() 流式读取，并在读取前检测并跳过 BOM：

• 先用 Files.readAllBytes() 读取文件前几个字节
• 判断是否存在 UTF-8 / UTF-16 BE/LE BOM
• 根据检测结果，创建带跳过 BOM 的 InputStream（如用 new ByteArrayInputStream(bytes, offset, length)）
• 再包装成 InputStreamReader 并指定正确 charset（此时 BOM 已跳过，不会干扰解码）
• 最后用 BufferedReader::lines() 或逐行读取

简单示例（仅处理 UTF-8 BOM）：

Path path = Paths.get("data.txt");
byte[] content = Files.readAllBytes(path);
int skip = 0;
if (content.length >= 3 && content[0] == (byte)0xEF && content[1] == (byte)0xBB && content[2] == (byte)0xBF) {
    skip = 3; // 跳过 UTF-8 BOM
}
InputStream is = new ByteArrayInputStream(content, skip, content.length - skip);
List lines = new BufferedReader(
    new InputStreamReader(is, StandardCharsets.UTF_8)
).lines().collect(Collectors.toList());

更通用：用第三方库（推荐 Apache Commons IO）

org.apache.commons.io.input.BOMInputStream 可自动检测并跳过常见 BOM，且保持原始流语义：

• 构造 BOMInputStream(Files.newInputStream(path))
• 调用 bomIn.getBOM() 获取实际检测到的 BOM（可据此选择 charset）
• 用 BOMInputStream 包装 InputStreamReader，传入对应 charset
• 再交给 BufferedReader 读取

它支持 UTF-8、UTF-16BE、UTF-16LE、UTF-32BE、UTF-32LE 等多种 BOM，无需手动判断字节。

替代思路：预处理文件或统一去除首行 BOM

若只是临时处理、且确定只有 UTF-8 BOM，也可在读取后对第一行做简单清理：

• 调用 lines.get(0).replaceFirst("\uFEFF", "")
• 但注意：这仅适用于 BOM 出现在首行开头，且不会误删文本中真正出现的 U+FEFF 字符（虽然极少见）
• 不推荐用于生产环境，属于“打补丁”做法

不复杂但容易忽略 —— 关键在于理解 BOM 是字节层面的标记，不是编码参数能自动解决的，需在流打开前或读取时主动干预。

今天关于《Files.readAllLines读取带BOM文本方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！