Go语言日志转CSV优化技巧

本文揭示了一种高效、简洁且生产就绪的 Go 日志解析方案：针对时间戳与类 JSON 键值对混排的半结构化日志行（如"2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}"），摒弃低效正则匹配，转而利用 strings 精准切分 + encoding/json 安全解析，配合单引号转义、零拷贝切片和流式处理，在保证代码可读性与健壮性的同时，实现百万行日志秒级转为标准 CSV——既解决了实际工程中“看似简单却极易踩坑”的日志清洗痛点，又为 Go 生态下的轻量 ETL 提供了可复用的最佳实践范本。

本文介绍一种不依赖正则表达式的高性能方案，使用 Go 的 strings 和 encoding/json 包，将形如 "2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}" 的文本行解析并导出为标准 CSV 格式。

本文介绍一种不依赖正则表达式的高性能方案，使用 Go 的 `strings` 和 `encoding/json` 包，将形如 `"2015/01/01-01:00:00, {'a50': 15.5, 'a95': 14.5, 'a99': 21.5}"` 的文本行解析并导出为标准 CSV 格式。

在处理日志类文本数据时，常遇到结构“半规整”的情况：时间戳与 JSON 风格键值对共存于同一行，但又非标准 JSON 或 CSV。若强行用正则提取浮点数，不仅可读性差、易出错，且如问题中指出——Go 的 regexp 包在高频小匹配场景下存在明显性能开销。更优解是分治 + 类型驱动解析：利用字符串定位快速切分字段边界，再交由 json.Unmarshal 安全解析结构化部分。

核心思路：零拷贝切片 + 结构体映射

首先定义目标数据结构，注意字段名需与原始键名匹配（通过 struct tag 显式指定）：

type Record struct {
    A50 float64 `json:"a50"`
    A95 float64 `json:"a95"`
    A99 float64 `json:"a99"`
}

关键技巧在于：避免正则，改用 strings.Index 定位首个逗号，分离时间与数据段。原始格式中逗号是唯一稳定分隔符，其左侧为 YYYY/MM/DD-HH:MM:SS，右侧为类 JSON 字符串（尽管使用单引号，但 encoding/json 默认不支持；需先替换为双引号）。

完整实现示例

以下是一个生产就绪的转换函数，支持流式处理（内存友好），自动处理单引号 → 双引号转换，并严格校验解析错误：

package main

import (
    "bufio"
    "encoding/json"
    "fmt"
    "os"
    "strings"
)

type Record struct {
    A50 float64 `json:"a50"`
    A95 float64 `json:"a95"`
    A99 float64 `json:"a99"`
}

func convertToCSV(inputPath, outputPath string) error {
    inFile, err := os.Open(inputPath)
    if err != nil {
        return fmt.Errorf("failed to open input: %w", err)
    }
    defer inFile.Close()

    outFile, err := os.Create(outputPath)
    if err != nil {
        return fmt.Errorf("failed to create output: %w", err)
    }
    defer outFile.Close()

    scanner := bufio.NewScanner(inFile)
    writer := bufio.NewWriter(outFile)
    defer writer.Flush()

    for scanner.Scan() {
        line := strings.TrimSpace(scanner.Text())
        if line == "" {
            continue
        }

        // Step 1: 找到第一个逗号位置，分割时间与数据段
        commaIdx := strings.Index(line, ",")
        if commaIdx == -1 {
            return fmt.Errorf("invalid line format (no comma): %q", line)
        }

        timestampPart := line[:commaIdx]
        dataPart := line[commaIdx+1:]

        // Step 2: 提取日期（截断时间部分，保留 YYYY/MM/DD）
        datePart := timestampPart[:10] // 假设固定格式 "YYYY/MM/DD-..."

        // Step 3: 将单引号替换为双引号，使其符合 JSON 规范
        jsonSafe := strings.ReplaceAll(dataPart, "'", `"`)

        // Step 4: 解析 JSON 数据
        var rec Record
        if err := json.Unmarshal([]byte(jsonSafe), &rec); err != nil {
            return fmt.Errorf("failed to unmarshal JSON in line %q: %w", line, err)
        }

        // Step 5: 格式化为 CSV 行（注意：字段间用英文逗号+空格是可选风格；如需严格 CSV，应去掉空格并处理转义）
        csvLine := fmt.Sprintf("%s, %.1f, %.1f, %.1f\n", datePart, rec.A50, rec.A95, rec.A99)
        if _, err := writer.WriteString(csvLine); err != nil {
            return fmt.Errorf("failed to write CSV line: %w", err)
        }
    }

    if err := scanner.Err(); err != nil {
        return fmt.Errorf("scan error: %w", err)
    }

    return nil
}

func main() {
    if err := convertToCSV("input.txt", "output.csv"); err != nil {
        fmt.Fprintf(os.Stderr, "Error: %v\n", err)
        os.Exit(1)
    }
    fmt.Println("Conversion completed successfully.")
}

注意事项与最佳实践

• 单引号兼容性：Go 的 encoding/json 仅支持双引号字符串。示例中使用 strings.ReplaceAll(dataPart, "'", "\"") 是轻量且安全的预处理方式；若原始数据中存在带单引号的字符串值（极少见），需改用更健壮的词法替换（如正则 "'([^']*)'" → "$1"），但本场景中因数据为固定键值对，直接全局替换即可。
• 时间截取鲁棒性：示例假设日期格式恒为 YYYY/MM/DD-...（10 字符前缀）。若存在变长格式（如 2023/1/1-...），应改用 strings.Split(timestampPart, "-")[0] 提取日期部分。
• 错误处理策略：示例采用“遇错即停”，适合调试；生产环境可改为跳过异常行并记录警告（log.Printf("skipped bad line: %q — %v", line, err)）。
• 性能考量：全程无正则、无冗余字符串分配（line[:10]、line[commaIdx+1:] 均为 slice 操作），json.Unmarshal 底层已高度优化，实测百万行处理耗时通常在秒级。
• CSV 规范提示：严格 CSV 标准要求字段含逗号/换行/双引号时需转义。本例输出字段均为纯数字和日期，无需转义；若未来扩展字段含文本，建议改用 encoding/csv 包写入。

此方案兼顾简洁性、可维护性与性能，在日志清洗、ETL 预处理等场景中值得作为标准模式复用。

今天关于《Go语言日志转CSV优化技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！