CodeIgniter大数据分块查询方法

本文揭秘了在 CodeIgniter 中高效处理海量多表联查数据的实战方案——通过创建临时表结合主键分段查询实现流式分块导出，彻底规避“Allowed memory size exhausted”内存错误，无需调高 PHP 内存限制，既保留原有复杂 SQL 逻辑（支持 JOIN、GROUP BY、子查询等），又确保内存占用恒定、性能稳定、易于集成到 CSV 等流式导出场景，为大数据 Web 导出提供轻量、可靠且可扩展的落地解法。

本文介绍如何在 CodeIgniter 中通过分块查询（Chunked Query）安全导出多表联查的海量数据，避免 Allowed memory size exhausted 错误，无需提升 PHP 内存限制，兼顾性能与可扩展性。

本文介绍如何在 CodeIgniter 中通过分块查询（Chunked Query）安全导出多表联查的海量数据，避免 `Allowed memory size exhausted` 错误，无需提升 PHP 内存限制，兼顾性能与可扩展性。

在 Web 应用中，将多表关联结果（如 tblProgram、tblPlots、tblTrees）一次性加载到内存并导出为 CSV 是常见需求，但极易触发 PHP 内存耗尽错误——尤其当联查后记录数达数万甚至更多时。直接调用 $this->db->query() 加载全部结果，会将整张临时结果集缓存于 PHP 进程内存中，而本例中 734MB 的报错阈值已远超合理范围。根本解法不是扩容，而是改变数据获取范式：从「全量加载」转向「流式分块处理」。

核心思路：临时表 + 分页式 LIMIT 查询

CodeIgniter 原生不支持游标式流查询（如 MySQL 的 CURSOR 或 mysqli_use_result），但可通过「创建临时表 + 按主键分段读取」实现等效效果。该方案优势明显：

• ✅ 完全复用现有 SQL 逻辑，无需重写 JOIN；
• ✅ 内存占用恒定（仅单次 chunk 的数据）；
• ✅ 兼容任意复杂查询（含 GROUP BY、子查询等）；
• ✅ 易于集成到 CSV 导出流程（逐 chunk 写入文件流）。

以下为完整可运行的模型实现（适配 CodeIgniter 3）：

load->database();
    }

    /**
     * 执行分块导出：将联查结果按 2000 行/批写入 CSV 文件
     */
    public function exportToCsv($filePath = FCPATH . 'downloads/export.csv')
    {
        $sql = "SELECT 
                    p.*, 
                    pl.*, 
                    t.*
                FROM `tblProgram` p
                JOIN `tblPlots` pl ON pl.`programID` = p.`pkProgramID`
                JOIN `tblTrees` t ON t.`treePlotID` = pl.`id`
                ORDER BY p.`pkProgramID`, pl.`id`, t.`id`";

        // 确保目标目录可写
        $dir = dirname($filePath);
        if (!is_dir($dir)) mkdir($dir, 0755, true);

        $fp = fopen($filePath, 'w');
        if (!$fp) throw new Exception("无法打开 CSV 文件: $filePath");

        // 写入表头（首次 chunk 获取字段名）
        $firstChunk = true;

        $this->getChunk(function ($chunk) use ($fp, &$firstChunk) {
            if (empty($chunk)) return;

            foreach ($chunk as $row) {
                if ($firstChunk) {
                    // 自动提取所有字段名（去重并保持顺序）
                    $headers = array_keys($row);
                    fputcsv($fp, $headers);
                    $firstChunk = false;
                }
                fputcsv($fp, $row);
            }
        }, $this->db, $sql, 0, 2000, 'p.pkProgramID'); // 关键：指定稳定排序字段

        fclose($fp);
        return $filePath;
    }

    /**
     * 分块执行查询：将结果按指定大小分批传递给回调函数
     * @param callable $callback 接收 array[] 类型 chunk 数据
     * @param object $DBContext CodeIgniter DB 实例
     * @param string $rawSQL 原始 SELECT 查询（建议显式 ORDER BY）
     * @param int $initialRowOffset 起始偏移量
     * @param int $maxRows 每批行数
     * @param string $orderBy 排序字段（必须唯一且索引化，推荐主键）
     */
    public function getChunk(
        callable $callback,
        $DBContext,
        string $rawSQL = "SELECT 1",
        int $initialRowOffset = 0,
        int $maxRows = 2000,
        string $orderBy = "id"
    ) {
        // 创建带排序的临时表（InnoDB 引擎，自动索引 orderBy 字段）
        $DBContext->query('DROP TEMPORARY TABLE IF EXISTS chunkable');
        $DBContext->query("CREATE TEMPORARY TABLE chunkable ENGINE=InnoDB AS ($rawSQL)"); 

        do {
            $constrainedSQL = sprintf(
                "SELECT * FROM chunkable ORDER BY `%s` LIMIT %d, %d",
                $orderBy,
                $initialRowOffset,
                $maxRows
            );

            $query = $DBContext->query($constrainedSQL);
            $chunk = $query->result_array();

            if (!empty($chunk)) {
                $callback($chunk);
                $initialRowOffset += $maxRows;
            } else {
                break; // 无更多数据
            }
        } while (count($chunk) === $maxRows);
    }
}

关键注意事项与最佳实践

• ✅ 必须指定 ORDER BY 字段：临时表无固有顺序，LIMIT offset, size 依赖确定性排序。优先选择左表主键（如 p.pkProgramID），确保分块不重复、不遗漏。若存在多个主键，可用组合排序（如 'p.pkProgramID, pl.id'）。
• ✅ 临时表使用 ENGINE=InnoDB：默认 MyISAM 不支持事务和行锁，高并发下可能引发竞争；InnoDB 更健壮且自动为 ORDER BY 字段建立索引。
• *⚠️ 避免 `SELECT 在生产环境**：明确列出所需字段（如示例中的p., pl., t.*`），减少网络传输和内存开销；敏感字段应主动过滤。
• ⚡ 性能优化建议：
  • 在 tblPlots.programID 和 tblTrees.treePlotID 上建立索引；
  • 若导出频率高，可考虑物化视图或定期预计算宽表；
  • 对超大数据集（>100 万行），将 $maxRows 调至 5000–10000 以降低查询次数。
• ? CSV 导出增强：实际项目中建议添加 BOM 头（解决 Excel 中文乱码）、设置 HTTP 响应头触发下载、增加进度日志。

通过此方案，即使三表联查生成百万级结果，PHP 进程内存占用也稳定在几 MB 内，彻底规避 memory_limit 报错，同时为未来数据规模增长预留了平滑扩展路径。

到这里，我们也就讲完了《CodeIgniter大数据分块查询方法》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！