Python 解析多表头 CSV 方法详解

本文深入解析了如何用原生 Python 高效处理“单 CSV 文件含多个独立表头”的棘手场景——无需拆分文件、不依赖 pandas，仅靠 csv.reader 流式读取与精准逻辑控制，即可稳健分离元信息与主体数据、自动跳过空行、安全对齐不规则列数，并构建结构清晰的字典化结果；方法轻量、内存友好、兼容性强，特别适合工业报表、仪器日志等真实工程中的非标 CSV 解析需求。

本文介绍如何不拆分原始文件，直接读取并解析具有两个（或多个）独立表头、不同列数的 CSV 文件，分别构建字典结构，兼顾灵活性与健壮性。

本文介绍如何不拆分原始文件，直接读取并解析具有两个（或多个）独立表头、不同列数的 CSV 文件，分别构建字典结构，兼顾灵活性与健壮性。

在实际工程和数据采集场景中，常遇到「单文件多表格」格式的 CSV：例如设备报告中先有元信息（文件名、时间、类型等），空行分隔后紧接详细测量数据。这类文件不符合标准单表 CSV 规范，无法直接用 pandas.read_csv() 或 csv.DictReader 一次性加载。但借助底层 csv.reader 结合逻辑跳过与条件判断，我们能精准定位各段起始位置，实现零临时文件、高可控性的解析。

✅ 推荐方案：分阶段读取 + 条件跳过空行

核心思路是流式读取、按需消费——使用 csv.reader 获取迭代器，手动控制读取节奏，避免将整个文件载入内存，同时确保对空行、空白单元格的鲁棒处理。

以下为完整可运行示例（兼容 Python 3.9+，无需额外依赖）：

import csv
from io import StringIO

# 模拟原始 CSV 内容（实际使用时替换为 open('file.csv')）
raw_data = '''File name,Date,Time,ID,Type
report.csv,27.03.2024,11:15,12345,Thing


No.,Device,Version,Readout date,Readout time,Value 1,Value 2,Value 3
1,2345678,10,26.03.2024,10:00,463,470,482
2,3456789,11,26.03.2024,11:00,298,340,363
3,4567890,12,26.03.2024,12:00,587,600,621
'''

# 创建 reader 迭代器
reader_obj = csv.reader(StringIO(raw_data))

# ? 第一部分：元信息表（2 行：header + data）
try:
    header1 = next(reader_obj)
    data1 = next(reader_obj)
    # 去除空字段，避免因末尾逗号导致空列干扰
    header1 = [h.strip() for h in header1 if h.strip()]
    data1 = [d.strip() for d in data1[:len(header1)]]
    section1 = dict(zip(header1, data1))
except StopIteration:
    raise ValueError("第一部分缺失：预期至少两行（表头 + 数据）")

# ? 跳过所有空行（包括完全空白或仅含空格的行）
while True:
    try:
        line = next(reader_obj)
        if any(cell.strip() for cell in line):  # 找到首个非空行 → 即第二部分表头
            header2 = [h.strip() for h in line if h.strip()]
            break
    except StopIteration:
        raise ValueError("未找到第二部分表头：文件可能缺少后续数据段")

# ? 第二部分：逐行读取剩余非空行作为数据
rows2 = []
for row in reader_obj:
    if any(cell.strip() for cell in row):
        # 截断至 header2 长度，防止数据行列数溢出（如导出异常）
        trimmed_row = [cell.strip() for cell in row[:len(header2)]]
        rows2.append(trimmed_row)

# 构建第二部分字典：每列为一个 list（列优先存储）
if rows2:
    transposed = list(map(list, zip(*rows2)))
    section2 = dict(zip(header2, transposed))
else:
    section2 = {col: [] for col in header2}

# ✅ 最终结果
print("【第一部分元信息】")
print(section1)
print("\n【第二部分测量数据（列式字典）】")
print({k: v[:3] + ['...'] if len(v) > 3 else v 
       for k, v in section2.items()})  # 示例中仅显示前3项

⚠️ 关键注意事项

• 空行检测必须严格：仅用 if line: 不够（CSV 中空单元格仍返回 ['']），应使用 any(cell.strip() for cell in line) 判断是否真有有效内容；
• 列对齐安全机制：第二部分数据行可能比表头短（缺失值）或长（导出错误），务必用 row[:len(header)] 截断，避免 zip 提前终止；
• 编码与分隔符：若文件含中文或特殊字符，请在 open(..., encoding='utf-8') 中显式指定编码；若非逗号分隔，传入 csv.reader(f, delimiter=';')；
• 内存友好替代方案：对超大文件，可将第二部分改用生成器逐行处理（如写入数据库），而非全量载入 rows2 列表。

? 总结

该方法摒弃了“强行用 pandas 一锅炖”的思路，转而发挥 csv.reader 的底层可控性，通过三次逻辑阶段（读首表、跳空行、读次表）清晰分离关注点。它不依赖外部库（pandas 可选）、不生成中间文件、支持任意数量分段，并天然兼容不规则格式。对于工业日志、仪器导出报表等现实场景，是简洁、可靠且易于维护的标准解法。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。