PHP Generator流式导出大数据集并控制内存的方法

导出几十万行数据时，最容易出问题的写法是先把查询结果全部转成数组，再一次性拼成 CSV。PHP 进程会同时保留结果集、数组和字符串，内存峰值很快超过限制。更稳妥的方案是让 PDO 每次取一行，由 Generator 用 yield 暂停并交给输出层，再用 fputcsv() 写出这一行。

官方地址：https://www.php.net/manual/en/language.generators.overview.php

一、先区分数组导出与生成器导出

普通函数遇到 return 就结束，而包含 yield 的函数调用后返回一个 Generator。foreach 每取一次值，函数才从上次暂停的位置继续执行。因此，导出任务可以把“处理一行”和“释放上一行”放在同一个循环里。

但它有一个容易被误解的边界：如果底层驱动已经把整个结果集缓存在客户端，外层的 yield 只是在 PHP 代码层逐行消费，不能把数据库内存也变成零。要控制峰值，读取端和写出端都必须接受“单行处理”的约束。

二、把数据读取封装为逐行生成器

先把查询逻辑收敛到一个生成器。下面的示例使用 PDO 的可滚动性较弱的前向读取方式，重点是每次 fetch() 后立即 yield，而不是执行 fetchAll()。

prepare($sql);
    $statement->execute(['batch_id' => $batchId]);

    while ($row = $statement->fetch(PDO::FETCH_ASSOC)) {
        // 只把当前行交给下游，下一次循环再向驱动索取数据。
        yield $row;
    }
    // 让语句尽早释放游标，避免长任务占用连接资源。
    $statement->closeCursor();
}

查询字段只保留导出需要的列，既减少网络传输，也缩小单行对象。不要在生成器里累加 $allRows[]，也不要为了“统一处理”把所有行先映射成新数组，否则内存问题会原样回来。

三、将生成器接到 CSV 输出流

输出层可以直接写入 php://output。这个流把每行交给 Web Server 或命令行 stdout，代码自身不再建立一份完整文件字符串。实际项目若要断点续传或异步下载，也可以把同一生成器接到文件句柄，读取端无需改写。

如果应用启用了输出缓冲，数据可能先积存在缓冲区，浏览器看起来仍然是“最后一次性下载”。这不一定破坏 PHP 进程的内存优势，但会影响客户端的首字节时间；是否调用 ob_flush() 和 flush()，要结合 Web Server、反向代理和下载场景决定。

四、内存、游标和异常边界怎么排查

流式导出并不等于“永远不会内存超限”。可以先按下面的清单定位：

验证时可在开始和结束处记录 memory_get_peak_usage(true)、处理行数和耗时。峰值大致稳定、行数持续增长，才说明这条链路符合预期；不能只因为代码出现了 yield 就宣布它已经流式化。

相关问题

Generator 能不能代替分页查询？

不能完全代替。它解决 PHP 侧的按需消费；大表仍要根据索引、游标和事务时间选择合适的读取策略。

为什么用了 yield，内存还是会上升？

常见原因是驱动结果缓冲、循环内累积字符串、输出缓冲或单行包含过大的关联数据，应分别测量而不是只看生成器代码。

导出 CSV 时必须调用 fputcsv 吗？

不是必须，但它能处理分隔符、包围符和行结束符，通常比手工拼接字符串更不容易漏掉字段转义。