当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL CTE 怎样判断是否应该物化

MySQL CTE 怎样判断是否应该物化

来源:17golang原创 2026-10-20 21:30:26 0浏览 收藏

MySQL 的 CTE(公共表表达式)不是“写了 WITH 就一定生成临时表”。优化器通常会在合并和物化之间做选择:能合并时,把 CTE 的查询块并入外层;需要独立结果时,才物化为内部临时表。判断是否应该物化,关键不是凭感觉改 SQL,而是先看 CTE 的引用次数、是否允许过滤条件下推,再用 MERGE、NO_MERGE 和执行计划确认。

官方地址:https://dev.mysql.com/doc/refman/8.4/en/

要点速览
  • 单次引用、结构简单的 CTE 通常更适合让优化器尝试合并。
  • 需要多次复用、包含聚合或明确希望隔离查询块时,可以考虑物化。
  • EXPLAIN FORMAT=JSON 要关注 materialized_from_subquery、临时表创建/复用和自动索引等证据。

先分清 CTE 的合并与物化职责

“合并”是把 CTE 当成外层查询的一部分继续优化,外层条件有机会下推到 CTE 内部;“物化”则是把 CTE 当成一个独立结果,放入内部临时表,外层通过这个结果继续连接或过滤。两者都不是绝对的快慢开关,最终仍要结合数据量、过滤选择性和引用方式看计划。

一个容易忽略的点是:同一个 CTE 被查询多次时,如果 MySQL 选择物化,它会为本次查询物化一次,并允许不同引用使用合适的自动索引。这是物化最有价值的场景之一;如果 CTE 只引用一次,物化则可能增加中间结果的写入和读取成本。

MySQL CTE、外层查询块、MERGE、NO_MERGE、derived_merge 与内部临时表的静态关系说明图
图1:CTE 合并与物化的静态关系说明图,不是运行截图。

用查询形态判断默认倾向

先看 CTE 的内部结构,再谈提示。聚合函数或窗口函数、DISTINCT、GROUP BY、HAVING、LIMIT、UNION 或 UNION ALL、选择列表中的子查询,以及用户变量赋值,都可能阻止 CTE 被合并。递归 CTE 则始终物化。

下面的写法把“需要汇总的订单”单独命名。它只是判断结构的示例,不代表某个真实业务表的执行结果:

WITH order_total AS (
    SELECT customer_id, SUM(amount) AS total_amount
    FROM orders
    -- GROUP BY 会形成独立的聚合结果,通常不能按普通简单查询合并。
    GROUP BY customer_id
)
SELECT c.id, ot.total_amount
FROM customers AS c
JOIN order_total AS ot ON ot.customer_id = c.id
-- 外层条件表达最终筛选范围,是否下推要以执行计划为准。
WHERE c.status = 'active';

这里不应简单地把“有 GROUP BY”理解成“物化一定更快”。聚合结果很小、外层只取少量客户时,物化可能合理;如果聚合本身扫描了很大的订单表,真正需要先优化的可能是过滤条件、索引或统计信息。

用 MERGE 和 NO_MERGE 表达意图

当默认计划与工程意图不一致时,可以用优化器提示做单条语句级控制。MERGE(cte_name) 表示允许该 CTE 合并,NO_MERGE(cte_name) 表示禁用合并、倾向于物化。提示写在顶层 SELECT 上,并使用 CTE 名称:

WITH recent_orders AS (
    SELECT customer_id, order_id, created_at
    FROM orders
    -- 时间范围是示例边界,生产环境仍需结合索引和数据分布。
    WHERE created_at >= '2026-01-01'
), customer_tags AS (
    SELECT customer_id, tag
    FROM customer_tag
    -- 同一 CTE 被多个引用使用时,物化的复用价值需要单独评估。
    WHERE enabled = 1
)
SELECT /*+ MERGE(recent_orders) NO_MERGE(customer_tags) */
       ro.order_id, ct.tag
FROM recent_orders AS ro
JOIN customer_tags AS ct ON ct.customer_id = ro.customer_id;

提示不是无条件命令。MySQL 文档说明,技术约束不能被提示绕过;如果 CTE 的结构本身不允许合并,MERGE 不会把它变回可合并状态。相反,NO_MERGE 更适合表达“这个引用需要独立结果”的意图,而不是作为所有慢查询的固定补丁。

如果需要做更大范围的实验,可以关注 optimizer_switch 中的 derived_merge。但它会影响后续语句,生产排查时优先使用单条语句提示,避免把一个会话里的其它查询一起改变。

用 EXPLAIN 找到物化证据

不要只看传统表格格式中的一行估算。可以先用 JSON 计划观察查询块和子查询描述:

EXPLAIN FORMAT=JSON
WITH customer_tags AS (
    SELECT customer_id, tag
    FROM customer_tag
    -- 过滤条件帮助明确 CTE 的输入边界,结果是否物化仍由优化器决定。
    WHERE enabled = 1
)
SELECT /*+ NO_MERGE(customer_tags) */
       c.id, ct.tag
FROM customers AS c
JOIN customer_tags AS ct ON ct.customer_id = c.id
-- 只保留需要观察计划结构的业务过滤条件。
WHERE c.status = 'active';

在 JSON 计划中,可以重点找几类信号:

  • materialized_from_subquery:说明计划中存在来自子查询的物化描述;CTE 的完整子查询计划通常只在一个引用节点展开。
  • creating_tmp_table:优化器跟踪信息中可用于识别创建物化临时表的记录。
  • reusing_tmp_table:同一物化 CTE 被其它引用复用时,可看到复用关系。
  • 自动索引:MySQL 可能在物化结果上添加索引,以便顶层语句通过更合适的访问方式读取。
MySQL EXPLAIN FORMAT=JSON 中 query_block、materialized_from_subquery、临时表复用和自动索引的证据关系图
图2:从 JSON 计划节点判断 CTE 物化与复用的结构图,不是运行截图。

合并后的 CTE 不一定会作为独立节点出现在计划里,可能只剩它底层表和外层查询块。因此“没有看到 CTE 节点”不能直接等同于“查询没有执行”;应结合提示、查询结构和实际计划层级一起判断。

形成一份可复用的选择清单

排查问题更偏向合并更值得评估物化
引用次数只引用一次同一 CTE 被多次引用
过滤下推希望外层条件尽早过滤底层表需要一个稳定的中间结果供多个引用使用
内部结构简单投影和过滤聚合、DISTINCT、窗口函数或递归 CTE
计划证据底层表直接出现在外层计划中出现物化子查询、临时表复用或自动索引线索

实际调整时建议一次只改变一个变量:先记录没有提示时的计划,再分别测试 MERGE 和 NO_MERGE,最后比较扫描范围、连接方式、临时表和延迟指标。不要因为一张静态图或一个提示名称就预判收益,计划证据才是决定依据。

常见问题

CTE 一定比嵌套子查询更快吗?

不一定。CTE 主要改善表达和复用,优化器会把 CTE、派生表和视图引用放在相近的合并/物化规则下处理,性能仍取决于计划。

NO_MERGE 会强制永久保存 CTE 结果吗?

它表达当前语句中不要合并该引用的意图,并让物化成为候选策略;具体临时表生命周期属于本次语句执行,不是永久表。

为什么我写了 MERGE 却没有合并?

先检查 CTE 是否含有聚合、DISTINCT、GROUP BY、LIMIT、UNION、窗口函数或其它禁止合并的结构,再看提示是否引用了正确的 CTE 名称,最后以 EXPLAIN 计划为准。

参考资料:https://dev.mysql.com/doc/refman/8.4/en/derived-table-optimization.html

https://dev.mysql.com/doc/refman/8.4/en/optimizer-hints.html

https://dev.mysql.com/doc/refman/8.4/en/explain.html

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go 测试临时目录在 Windows 清理失败怎样处理Go 测试临时目录在 Windows 清理失败怎样处理
上一篇
Go 测试临时目录在 Windows 清理失败怎样处理
MySQL GROUP BY WITH ROLLUP 识别小计与总计行的判断方法
下一篇
MySQL GROUP BY WITH ROLLUP 识别小计与总计行的判断方法
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    570次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    614次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    641次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    601次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    418次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码