当前位置：首页 > 文章列表 > 文章 > python教程 > Python如何高效处理大规模CSV文件数据_利用csv模块的DictReader流式读取

Python如何高效处理大规模CSV文件数据_利用csv模块的DictReader流式读取

2026-05-03 09:34:36 0浏览收藏

从现在开始，努力学习吧！本文《Python如何高效处理大规模CSV文件数据_利用csv模块的DictReader流式读取》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

pandas.read_csv()直接读大文件内存爆掉是常态，因默认全量加载+自动类型推断，2GB CSV内存占用可达6–8GB；含字符串列时更甚，且列名空格会导致字段引用错误。

为什么不能用 `pandas.read_csv()` 直接读大文件

内存爆掉是常态。一个 2GB 的 CSV 文件，pandas 默认加载后可能占 6–8GB 内存，尤其含字符串列时；更糟的是，如果列名有空格或特殊字符，pandas 自动重命名会破坏原始语义，后续字段引用容易出错。

真正可控的起点是 Python 原生 csv 模块——它不缓存整张表，只按行解析，内存占用基本恒定（约几十 KB），适合边读边过滤、转换、写入新文件。

典型错误：用 list(csv.reader(f)) 一次性转成列表 → 瞬间吃光内存
正确姿势：用 csv.DictReader 迭代器 + for row in reader: 逐行处理
注意编码：中文 CSV 常见 UnicodeDecodeError，务必显式指定 encoding='utf-8-sig'（自动跳 BOM）

`csv.DictReader` 必须传的参数和默认陷阱

DictReader 行为高度依赖初始化参数，漏设或错设会导致静默失败或字段错位。

f 必须是文本模式打开的文件对象（open(..., 'r', encoding=...)），不能是二进制模式
fieldnames 不填时，首行自动当列名 —— 但如果 CSV 没标题行，必须手动传 fieldnames=['id', 'name', 'amount']
delimiter 默认是 ','，但遇到制表符分隔要显式写 delimiter='\t'，否则全读成一列
skipinitialspace=True 很关键：能忽略 name, age, city 中逗号后的空格，否则 row[' age'] 键名带空格，后续 KeyError

边读边处理的典型模式：过滤 + 类型转换 + 写出

流式处理的核心不是“读得快”，而是“读完立刻决定要不要留、怎么改、往哪送”。下面是一个真实场景示例：从千万行订单 CSV 中提取金额 > 1000 的记录，并把时间字符串转为 datetime，写入新文件。

import csv
from datetime import datetime
with open('orders.csv', encoding='utf-8-sig') as f_in, \
open('high_value_orders.csv', 'w', newline='', encoding='utf-8') as f_out:
reader = csv.DictReader(f_in, skipinitialspace=True)
writer = csv.DictWriter(f_out, fieldnames=reader.fieldnames)
writer.writeheader()
for row in reader:
    try:
        amount = float(row['amount'])
        if amount <= 1000:
            continue
        # 安全转换时间，失败则跳过该行
        row['order_time'] = datetime.strptime(row['order_time'], '%Y-%m-%d %H:%M:%S').isoformat()
        writer.writerow(row)
    except (ValueError, KeyError):
        continue  # 跳过格式异常或缺字段的行

关键点：newline='' 必须传给输出文件，否则 Windows 下每行多一个空行；try/except 包住单行处理逻辑，避免一行坏数据中断整个流程。