Golang大文件读取技巧：bufio.Reader使用方法

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
)

func readLargeFileByLine(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        // 处理每一行
        fmt.Println(line)
    }

    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }
}

func readWithCustomBuffer(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := bufio.NewReaderSize(file, 64*1024) // 64KB 缓冲区
    buf := make([]byte, 0, 64*1024)

    for {
        line, err := reader.ReadBytes('\n')
        if err != nil && len(line) == 0 {
            break // 文件结束
        }
        buf = append(buf[:0], line...)
        // 处理 line 数据（注意：line 包含 \n）
        fmt.Printf("Read: %s", string(buf))
    }
}

func readInChunks(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := bufio.NewReader(file)
    chunk := make([]byte, 32*1024) // 32KB 块

    for {
        n, err := reader.Read(chunk)
        if n > 0 {
            // 处理 chunk[0:n]
            processChunk(chunk[:n])
        }
        if err != nil {
            break
        }
    }
}

func processChunk(data []byte) {
    // 自定义处理逻辑
    fmt.Printf("Process %d bytes\n", len(data))
}