Python pandas 怎样分块读取超大 CSV

读取一个几 GB 的 CSV 时，真正有效的做法不是只给 read_csv 加上 low_memory=True，而是传入 chunksize，让 pandas 返回可迭代的 TextFileReader。程序每次只拿到一个有限行数的 DataFrame，在循环中完成筛选、统计或写出，处理完就释放这块数据。

官方地址：https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html

本文把任务限定在超大 CSV 的顺序读取：先创建分块读取器，再在块内做业务操作，最后把小结果累计或追加到目标文件。这样能降低单次内存峰值，但不会自动让所有后续计算都变成低内存计算。

先把完整读取改成分块读取

pd.read_csv(path) 默认会返回一个完整的 DataFrame；当文件明显大于可用内存时，问题通常在解析阶段就发生了。chunksize=100_000 的含义是按大约十万行提供一块数据，返回对象可以被 for 循环逐块消费。iterator=True 也会返回读取器，但如果目标就是按固定行数处理，直接使用 chunksize 更直观。

import pandas as pd

# chunksize 决定每次交给业务层的行数，不会把整个 CSV 先拼成一个 DataFrame
reader = pd.read_csv(
    "orders.csv",
    chunksize=100_000,
    usecols=["order_id", "region", "amount"],
    dtype={"order_id": "string", "region": "string", "amount": "float64"},
)

try:
    for chunk in reader:
        # 每次只处理当前块，避免把全部原始行保留在内存中
        print(chunk.shape)
finally:
    # 出现异常或提前结束时主动关闭底层读取资源
    reader.close()

这里的 usecols 和 dtype 是两个很实用的控制点：不需要的列不进入每个分块，需要稳定比较或聚合的列提前指定类型。分块大小不是越大越好，应该让单块计算有足够吞吐，同时给 Python、pandas 和业务累计结果留下内存余量。

不要把 low_memory 当成分块接口

low_memory=True 主要影响 C 解析器内部如何分段推断类型；官方文档明确说明，最终仍然会读取成一个 DataFrame。也就是说，它和 chunksize 解决的是不同层次的问题：

如果一个标识列在不同块里被推断成整数和字符串，后面的筛选可能出现“同一个值只命中一部分”的现象。对于订单号、地区编码这类标识字段，通常宁可使用字符串类型；金额、数量则应根据数据契约决定数值类型，不要让推断替你做业务决策。

在循环中完成筛选与增量聚合

分块读取的价值在于“读一块、算一块、丢一块”。如果循环里不断把所有块放入列表，最后再 pd.concat，峰值内存仍可能回到完整文件规模。对于分组统计，可以让累计结果只保留分组键和统计值。

import pandas as pd

totals = {}
reader = pd.read_csv(
    "orders.csv",
    chunksize=100_000,
    usecols=["region", "amount"],
    dtype={"region": "string", "amount": "float64"},
)

try:
    for chunk in reader:
        # 先去掉缺失金额，避免无效值污染累计结果
        valid = chunk.dropna(subset=["region", "amount"])
        partial = valid.groupby("region", dropna=False)["amount"].sum()

        # 只把当前块的分组和加到小型累计表，不保存原始块
        for region, amount in partial.items():
            key = str(region)
            totals[key] = totals.get(key, 0.0) + float(amount)
finally:
    reader.close()

result = pd.DataFrame(
    [{"region": region, "total_amount": amount} for region, amount in totals.items()]
)
result.to_csv("region_totals.csv", index=False)

这个写法把内存压力从“所有原始行”变成“当前块加累计结果”。但如果分组键几乎每行都不同，累计字典本身也会变大；此时应考虑数据库、外部排序或专门的列式处理工具，不能把 chunksize 当成无限扩容方案。

把每块结果追加写出，避免重复表头

如果任务不是聚合，而是把符合条件的记录筛出来，可以让每个块直接写入目标 CSV。关键是只在第一块写列名，后续块使用追加模式并关闭表头。

import pandas as pd

output_path = "large_orders_filtered.csv"
first_write = True
reader = pd.read_csv(
    "orders.csv",
    chunksize=100_000,
    usecols=["order_id", "region", "amount"],
    dtype={"order_id": "string", "region": "string", "amount": "float64"},
)

try:
    for chunk in reader:
        # 当前块筛选完成后立刻写出，不把所有命中行累积起来
        selected = chunk.loc[chunk["amount"].ge(1000)]
        if selected.empty:
            continue

        selected.to_csv(
            output_path,
            mode="w" if first_write else "a",
            header=first_write,
            index=False,
        )
        first_write = False
finally:
    reader.close()

要注意一种边界：如果所有块都没有命中行，目标文件可能不会被创建；如果业务要求无论是否命中都生成带表头的空文件，需要在循环外单独写出列名。这个判断属于业务输出契约，不是 pandas 自动替你决定的行为。

坏行、压缩文件和资源边界怎么处理

超大 CSV 的问题经常不只在文件大小。遇到格式不一致的行，可以根据数据质量要求选择 on_bad_lines="error" 让任务尽快失败，或选择更宽松的策略并记录被跳过的数据。不要为了“跑完”而静默丢弃关键业务行。

import pandas as pd

# 压缩格式可由扩展名推断；坏行策略要根据数据质量要求明确设置
reader = pd.read_csv(
    "orders.csv.gz",
    compression="infer",
    chunksize=50_000,
    on_bad_lines="error",
)

try:
    for chunk in reader:
        # 这里放单块业务处理，异常会保留在调用方而不是被吞掉
        handle_chunk(chunk)
finally:
    reader.close()

每块处理结束后要让变量脱离引用；不要在日志列表、调试缓存或全局数组中偷偷保存每个块。若内存仍持续上涨，应优先检查累计结果的基数、字符串列是否过多、是否把块追加进列表，以及是否有异常重试队列，而不是盲目继续减小 chunksize。

用这张清单选择分块方案

• 只需要统计或筛选：使用 chunksize，在循环内完成计算，不保存原始块。
• 只需要少数列：同时使用 usecols，避免无关列进入每个 DataFrame。
• 列类型必须稳定：给标识列和关键数值列明确设置 dtype。
• 需要输出明细：首块写表头，后续块用追加模式；确认空结果是否也要创建文件。
• 需要完整排序、全局去重或高基数全局聚合：先评估累计状态是否仍会超过内存，再考虑数据库或外部处理方案。

一句话总结：chunksize 负责把读取边界交给你的循环，usecols 与 dtype 负责缩小和稳定每个分块，业务代码则必须负责不把所有块重新收集回来。

相关问题

chunksize 应该设置多大？

没有适用于所有机器的固定值。可以从几万行开始，根据单块计算耗时、内存峰值和累计结果大小调整；行宽很大或字符串列很多时，应优先减小单块。

设置 low_memory=True 后还需要 chunksize 吗？

如果目标是让调用方逐块处理，仍然需要 chunksize 或 iterator。low_memory 不会把最终返回值变成多个 DataFrame。

能不能把每个 chunk 放进列表最后 concat？

可以，但这会重新积累大量数据，失去分块处理降低峰值内存的主要意义。只有确实需要完整结果且内存可控时才这样做。