Go csv.Reader 读取不规则列时怎样保留整行数据

如果 CSV 每条记录的列数不固定，关键设置是 csv.Reader.FieldsPerRecord = -1。它会关闭列数检查，Read 仍然返回每条记录完整的 []string。默认值 0 会把第一条记录的列数当成标准，后续列数不同就返回 csv.ErrFieldCount；正数则要求所有记录严格匹配指定列数。

官方文档：https://pkg.go.dev/encoding/csv#Reader

因此，“保留整行”首先要区分目标：若需要保留解析后的全部字段，用负数模式逐条接收 []string；若需要保留原始 CSV 文本，还要在解析前自行保存原始输入，因为 csv.Reader 返回的是字段切片，不是原始行。

一、FieldsPerRecord 的三种语义

csv.NewReader 创建的 Reader 默认把 FieldsPerRecord 设为 0。第一次成功读取后，它会记住首条记录的字段数，之后按这个数量检查。这个默认行为适合表头和数据列数稳定的文件，但不适合导出字段可选的 CSV。

二、用负数模式保留变长记录

将设置放在第一次调用 Read 或 ReadAll 之前，然后按流式方式处理每条记录。下面的代码不会把不同列数当成错误，短行和长行都会原样保存在返回的字段切片中。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strings"
)

func main() {
    input := "id,name,remark\n1,Ada\n2,Bob,has-note,extra\n"
    reader := csv.NewReader(strings.NewReader(input))
    // 负数表示不检查每条记录的字段数量，短行和长行都可以返回。
    reader.FieldsPerRecord = -1

    for {
        record, err := reader.Read()
        if err == io.EOF {
            // EOF 表示输入已经读完，不是数据错误。
            break
        }
        if err != nil {
            // 引号或分隔符格式错误仍然需要中止或单独记录。
            panic(err)
        }
        // record 包含这一条记录解析后的全部字段，长度可以变化。
        fmt.Printf("字段数=%d，记录=%q\n", len(record), record)
    }
}

这里的“整行”是解析意义上的整条记录：[]string{"1", "Ada"} 和 []string{"2", "Bob", "has-note", "extra"} 都会被保留。带引号的逗号、字段内换行仍由 CSV 解析规则处理，不应该用 strings.Split 替代 Reader。

三、严格模式下怎样识别列数错误

如果文件必须符合固定列数，可以设置正数，或者保留默认的首行推断。列数不一致时，Reader 返回的错误可以通过 errors.Is 判断 csv.ErrFieldCount；更详细的行号和列号则从 *csv.ParseError 读取。

package main

import (
    "encoding/csv"
    "errors"
    "fmt"
    "io"
    "strings"
)

func readStrict(input string) error {
    reader := csv.NewReader(strings.NewReader(input))
    // 明确要求每条记录都包含 3 个字段，避免错误数据继续流入下游。
    reader.FieldsPerRecord = 3

    for {
        record, err := reader.Read()
        if err == io.EOF {
            // 正常结束时返回 nil，调用方无需把 EOF 当作失败。
            return nil
        }
        if err != nil {
            if errors.Is(err, csv.ErrFieldCount) {
                // ErrFieldCount 只说明字段数量不符合契约。
                fmt.Printf("字段数量错误：已读到 %d 个字段\n", len(record))
                var parseErr *csv.ParseError
                if errors.As(err, &parseErr) {
                    // ParseError 提供 1-based 的起始行、错误行和字节列号。
                    return fmt.Errorf("第 %d 行第 %d 列：%w", parseErr.Line, parseErr.Column, err)
                }
            }
            // 引号等语法错误不是列数错误，保留原始错误链。
            return err
        }
        fmt.Println(record)
    }
}

需要注意，列数错误和 CSV 语法错误是两类问题。FieldsPerRecord=-1 只关闭字段数量检查，并不会让未闭合引号、非法引号等语法错误自动变成合法数据。

四、保存记录时留意 ReuseRecord

默认情况下，每次 Read 返回的切片由调用方独立持有。如果为了降低分配把 ReuseRecord 设为 true，后续读取可能复用上一次返回切片的底层数组。此时若要把记录保存到切片中，必须复制字段。

// copyRecord 在开启 ReuseRecord 时复制一条记录，避免后续 Read 改写已保存数据。
func copyRecord(record []string) []string {
    saved := make([]string, len(record))
    copy(saved, record)
    return saved
}

func collect(reader *csv.Reader) ([][]string, error) {
    // 允许变长记录；保存时会显式复制每条切片。
    reader.FieldsPerRecord = -1
    reader.ReuseRecord = true

    var all [][]string
    for {
        record, err := reader.Read()
        if err == io.EOF {
            return all, nil
        }
        if err != nil {
            // 保留解析错误，让上层决定跳过、告警或终止。
            return nil, err
        }
        all = append(all, copyRecord(record))
    }
}

如果只在当前循环体内消费记录，不把它放入长期集合，复用切片通常更简单；如果要缓存、异步发送或交给另一个 goroutine，复制是更稳妥的边界。

五、怎样选择宽松读取还是严格校验

可以按数据来源做决定：外部导出、历史文件或列确实可选时使用 -1，随后按 len(record) 做业务层映射；内部接口、批量导入或财务字段这类契约固定的数据，使用正数并在 ErrFieldCount 处失败。

• 允许变长不等于忽略所有错误：引号和分隔符语法仍要处理。
• 按列名映射时，先读取表头，再对短记录补默认值，避免直接访问越界下标。
• 需要原始文本审计时，在进入 csv.Reader 前保留输入副本或记录原始偏移；record 本身不是原始行。
• 数据量很大时优先逐条 Read，只有确定内存可控才使用 ReadAll。

总结

Go 的 csv.Reader 并不会因为列数不一致就必然丢掉整条记录。要保留解析后的完整字段，把 FieldsPerRecord 设为 -1；要保证格式统一，使用正数或默认的首行推断，并用 csv.ErrFieldCount 区分列数错误。若开启 ReuseRecord，保存记录前复制切片。

相关问题

FieldsPerRecord=0 为什么第二行会报错？

因为 0 会在第一条成功记录后锁定字段数，后续记录数量不同就触发 ErrFieldCount。

设置 -1 后还会出现 ParseError 吗？

会。-1 只关闭列数检查，非法引号或不完整的 quoted-field 仍属于 CSV 语法错误。

能不能用 ReadAll 保留所有不规则行？

可以，先设置 FieldsPerRecord=-1 再调用 ReadAll；但大文件更适合逐条读取并按需落盘。