Python读取CSV与Pandas分块方法

Python读取大型CSV文件时内存爆炸的根源并非read_csv本身缺陷，而是其默认全量加载、自动类型推断和编码容错不足等设计在大数据场景下的副作用；本文直击痛点，系统拆解usecols精准选列、dtype强制降级（如float32、category、Int64）、chunksize分块迭代与手动内存管理、encoding='utf-8-sig'规避BOM陷阱等实战技巧，并揭露skiprows/nrows误用、索引重置、日期解析优化等隐藏坑点——每一条建议都来自真实内存崩溃现场，帮你把G级CSV从“打不开”变成“流式稳处理”。

read_csv 为什么一加载就内存爆炸

不是 read_csv 本身有问题，是它默认把整张表全读进内存，还自动推断每列类型——对上 G 的 CSV，这等于直接申请几倍于文件体积的 RAM。尤其当存在长文本、混合类型或缺失值多的列时，pandas 默认用 object 类型存字符串，内存占用飙升得比文件尺寸还快。

实操建议：

• 先用系统命令粗略看文件大小和行数：head -n 5 data.csv 看结构，wc -l data.csv 看总行数
• 强制指定列类型：比如知道某列全是整数，就加 dtype={'user_id': 'int32'}，避免默认升到 int64 或退化为 object
• 跳过无用列：用 usecols 只读需要的字段，例如 usecols=['order_id', 'amount', 'ts']
• 禁用类型推断：加上 low_memory=False（仅在明确列类型一致时用），否则分块推断会反复报 DtypeWarning

chunksize 不是“开个开关”就能省内存

chunksize 参数本质是返回一个 TextFileReader 迭代器，每次 next() 或用 for 循环才载入一块数据——但它不会自动帮你释放前一块内存。如果在循环里不断 pd.concat() 或往列表里 .append()，内存照样涨满。

实操建议：

• 每块处理完立刻丢弃引用：不要累积 chunks = []，而是 for chunk in pd.read_csv('x.csv', chunksize=10000): process(chunk)
• 写入中间结果优先选磁盘：比如用 chunk.to_parquet(f'part_{i}.parq')，别攒成大 DataFrame 再统一存
• 注意 chunksize 不是越大越好：设成 50000 可能单块就占 1GB，反而触发频繁 GC；从 5000–20000 试起，观察 RSS 增长曲线
• 分块后索引不连续：chunk.index 每次都从 0 开始，如需全局序号，用 chunk.index + i * chunksize 手动算

内存不够时，dtype 要手动“砍”得狠一点

pandas 对数值列默认用 float64 和 int64，但真实业务数据往往用不到那么高精度。比如用户 ID 是 10 位以内整数，用 uint32 就够；金额保留两位小数，float32 足够且省一半内存；分类字段不超过 256 个取值，category 类型能压缩 5–10 倍。

实操建议：

• 数值列降级：用 dtype={'price': 'float32', 'qty': 'uint16'}，注意 uint16 上限是 65535，超了会 wrap around
• 字符串列转 category：仅适用于重复值 >10% 的列，dtype={'city': 'category'}，但后续不能直接 .str.upper()
• 空值处理要同步：若某列有缺失，int 类型无法表示，得改用 Int64（首字母大写）或 float32，否则读取时报 ValueError: Integer column has NA values
• 日期列别偷懒：用 parse_dates=['ts'] + date_parser 指定格式，比默认推断快且省内存

read_csv 的 skiprows 和 nrows 容易误用

skiprows 和 nrows 看似简单，但组合使用时行为反直觉：比如 skiprows=100, nrows=50，实际跳过前 100 行后读 50 行，而不是“从第 100 行开始读 50 行”。更麻烦的是，如果文件带 BOM 或编码异常，skiprows 可能错位，导致列对不齐。

实操建议：

• 调试时先用 skiprows + nrows=10 快速验逻辑，别一上来就跑全量
• 跳过注释行要用 comment='#'，别靠 skiprows 数行数，否则新增注释就崩
• 真要按行号切片（比如只读第 10000–15000 行），得先用 Python 原生 open() 配合 itertools.islice 提前截出片段，再喂给 pd.read_csv(StringIO(chunk))
• nrows 对性能影响小，但 skiprows 越大越慢——因为 pandas 还是得逐行扫描过去，只是不解析

最常被忽略的一点：编码问题会彻底破坏分块逻辑。比如 UTF-8 with BOM 文件，第一块可能多读一个 \ufeff 字符，导致列名错位，后续所有 dtype 和 usecols 全失效。遇到乱码或列数对不上，第一反应不是调参数，是加 encoding='utf-8-sig'。

今天关于《Python读取CSV与Pandas分块方法》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！