Python大文件分块读取技巧

Python处理大文件时极易因内存溢出（MemoryError）而崩溃，根本原因在于open()默认会将整个文件一次性加载到内存；真正高效安全的做法是采用分块读取策略：对文本文件优先使用for line in f:按行迭代，对二进制或特殊格式则用f.read(chunk_size)配合8KB–64KB的合理块大小，既对齐底层IO单元又避免频繁系统调用；同时需警惕生成器中yield对象的生命周期与副本问题，确保每次产出独立数据；而面对CSV等结构化数据，更推荐直接使用pandas.read_csv(..., chunksize=N)这一封装完善的分块接口——分块读的核心从来不是追求极致速度，而是让内存占用稳定可控，把精力留给业务逻辑而非手动处理换行、编码和边界截断等隐形陷阱。

用 open() 直接读大文件会崩内存？

会。哪怕只是 open('huge.log').read()，Python 也会把整个文件塞进内存——几 GB 的日志或 CSV 一读就 MemoryError。这不是 Python 慢，是它默认不帮你分块。

真正该做的是：用生成器控制每次只加载一小段，让内存占用稳定在几十 MB 内。

• 别用 read() 或 readlines() 一次性读完
• 优先用 for line in f: —— 这是内置的按行迭代，底层已缓冲，够快也够省
• 如果必须按字节块读（比如处理二进制、或行太长没换行符），才用 f.read(chunk_size)

chunk_size 设多大才合理？

不是越大越好，也不是越小越稳。设得太小（如 1 字节）会导致系统调用频繁，IO 效率暴跌；设得太大（如 100_000_000）又失去分块意义。

经验值是 8192（8KB）到 65536（64KB）之间。Linux 默认页大小是 4KB，多数磁盘/SSD 的块大小是 4–64KB，这个范围能对齐底层 IO 单元。

• 文本文件按行处理？直接用 for line in f:，不用管 chunk_size
• 需要精确控制字节量（比如解析自定义二进制协议）？chunk_size = 65536 是安全起点
• 网络流或管道输入？chunk_size 建议 ≤ 4096，避免阻塞太久

写生成器函数时，yield 放哪儿容易出错？

常见错误是把 yield 放在 with open() 外面，或者在循环里 yield 了同一个可变对象（比如 list），结果所有 chunk 都指向最后一块数据。

关键点：每次 yield 的必须是独立副本，且文件句柄生命周期要可控。

• 必须在 with open(...) 语句块内 yield，否则文件提前关闭
• 别写 data = []; data.extend(chunk); yield data —— 应该 yield list(chunk) 或 yield chunk.copy()
• 如果处理文本并想按行切分，别自己 split('\n')，用 io.TextIOWrapper 的迭代行为更可靠

示例（安全的字节块生成器）：

def read_in_chunks(file_path, chunk_size=65536):
    with open(file_path, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                break
            yield chunk  # 注意：这里 yield 的是新 bytes 对象，每次都不一样

用 pandas.read_csv() 读大 CSV，chunksize 和 iterator 怎么配？

chunksize 不是“一次读多少行”，而是“返回一个可迭代的 TextFileReader 对象”；不设 iterator=True，chunksize 就无效。

真正生效的组合只有一种：pd.read_csv(..., chunksize=N) → 返回一个迭代器，每次 next() 或 for 得到一个 DataFrame；设成 iterator=False（默认）就直接报错。

• chunksize=1000 表示每次 yield 一个含约 1000 行的 DataFrame，不是 1000 字节
• 列类型推断只在第一块做，后续 chunk 若有空值或类型不一致，可能报 TypeError —— 建议显式传 dtype
• 如果文件带 BOM 或编码异常，encoding='utf-8-sig' 比 'utf-8' 更稳妥

分块读的本质不是“怎么读快”，是“不让内存被撑爆”。很多人卡在 chunk_size 数值上，其实更该先确认：你真需要手动分块？还是用 for line in f: 或 pd.read_csv(chunksize=...) 就够了。手动管理 chunk，意味着你要对换行、编码、边界截断全负责——这点最容易被忽略。

本篇关于《Python大文件分块读取技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！