Go bufio.Reader 怎样分块读取带换行的大文件

读取带换行的大文件时，关键不是让每次底层读取都恰好落在换行符上，而是让 bufio.Reader 负责跨缓冲区寻找分隔符。一般按行处理文本，优先使用 ReadString('\n') 或 ReadBytes('\n')；只有需要处理超长行片段、控制字节复用时，才直接使用 ReadLine()。

官方地址：https://pkg.go.dev/bufio

最小判断原则：返回的数据非空时先处理数据，再判断错误；文件最后一行没有换行符时，通常会得到“数据 + io.EOF”，这条数据不能丢。

bufio.Reader 解决的不是“切行”，而是缓冲区边界

大文件通常来自文件、网络连接或其他 io.Reader。底层 Reader 一次返回多少字节并不固定，某次读取可能刚好停在一行中间。若把一次 Read 的结果直接当作一条记录，就会把一行拆成两段；如果把多次结果简单拼接，又需要自己维护换行符和 EOF。

bufio.NewReader 在上层保留一段缓冲区，ReadString 和 ReadBytes 会继续从底层补数据，直到找到指定分隔符或遇到错误。因此，换行符落在两个内部缓冲块之间时，调用方仍然能拿到完整的一行。缓冲区大小影响补数据的次数，不等于“单行最大长度”。

用 ReadString 或 ReadBytes 按换行读取

当业务逻辑以“行”为单位时，最小可用写法是循环调用带 '\n' 分隔符的读取方法。下面的示例使用 ReadString，保留行尾换行符，处理每一条非空数据后再决定是否退出。

package main

import (
    "bufio"
    "errors"
    "fmt"
    "io"
    "os"
)

func main() {
    file, err := os.Open("events.log")
    if err != nil {
        // 打开失败时没有可继续读取的输入，直接返回错误。
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close() // 读取完成后释放文件描述符。

    reader := bufio.NewReaderSize(file, 64*1024) // 只调节缓冲区，不设定行长上限。
    for {
        line, err := reader.ReadString('\n')
        if len(line) > 0 {
            // 即使本次同时返回 io.EOF，也要先处理最后一条无换行记录。
            fmt.Printf("记录: %q\n", line)
        }
        if err != nil {
            if errors.Is(err, io.EOF) {
                // EOF 表示输入已经结束；前面的数据已经处理完毕。
                break
            }
            // 非 EOF 错误需要保留给调用方或日志系统。
            fmt.Println("读取失败:", err)
            break
        }
    }
}

ReadBytes('\n') 的逻辑相同，但返回类型是 []byte。如果后续处理本来就接受字节切片，可以避免先得到字符串再转换；如果需要拼接、打印或传给只接受字符串的接口，ReadString 更直观。两者都会把找到的分隔符包含在返回结果中，业务需要去掉行尾时再显式处理。

要特别注意最后一行：文件可能以普通字符结束，没有最后一个换行符。此时返回值可能同时包含剩余内容和 io.EOF，正确顺序是“先处理非空数据，再判断 EOF”，不能一看到 EOF 就丢弃这一段。

超长行什么时候改用 ReadLine

ReadLine 是更底层的行读取原语。它不返回行尾，并且当一行超过内部缓冲区时，会返回当前片段，同时把 isPrefix 设为 true。调用方必须继续读取，直到 isPrefix 变成 false，否则一条超长记录会被误当成多条记录。

另一个边界是返回的字节切片只在下一次读取前有效。如果要把片段保存到循环之外，应及时复制；如果只是在当前循环中统计长度或立即处理，可以避免不必要的复制。需要保留分隔符、希望一次得到完整字符串时，优先回到 ReadString 或 ReadBytes。

ReadSlice 更接近底层缓冲区：缓冲区填满仍未找到分隔符时会返回 bufio.ErrBufferFull，返回切片也会在下一次 I/O 后失效。它适合明确知道如何管理片段的场景，不适合作为普通逐行读取的默认选择。

和 Scanner 对比：大文件读取的采用风险

bufio.Scanner 写法简洁，但它有自己的 token 缓冲和扫描规则。对于普通短行，Scanner 很方便；对于可能出现很长日志行、需要控制字节级返回或必须保留分隔符的文件，Reader 更容易把边界写清楚。不要只因为文件很大就盲目把 Reader 缓冲区调到几十兆：多数情况下，合理的缓冲区和逐条处理已经足够，真正的超长行再用 ReadLine 分段。

最后可以按四项检查：是否只保留了一个 Reader 作为输入边界；是否先处理数据再判断 EOF；是否明确是否保留换行符；是否对超长行片段做了合并或流式处理。这样即使换行符跨过内部缓冲块，也不会因为分块位置变化而改变记录边界。

相关问题

ReadString 返回的字符串为什么包含换行符？

因为分隔符属于返回数据的一部分。需要去掉行尾时，可以根据业务规则处理 \r\n 或 \n，不要用无条件裁剪破坏正文末尾的空格。

文件没有最后一个换行符会少读一行吗？

不会。只要先处理非空返回数据，再判断 io.EOF，最后一条没有换行符的记录仍会被消费。

Reader 缓冲区越大越好吗？

不一定。它主要减少底层读取次数，不能替代超长行策略；应结合输入来源、记录长度和内存预算选择，而不是把缓冲区大小当成行长上限。