当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL CTE 物化与合并选择的判断清单

MySQL CTE 物化与合并选择的判断清单

来源:17golang原创 2026-11-13 11:46:05 0浏览 收藏

遇到一条慢查询时,CTE(WITH)最容易被误解成“先算出一张临时表,再交给外层查询”。在 MySQL 8.4 中,优化器会在合并和物化之间选择:能合并时,CTE 的查询块会并入外层;需要物化时,结果才会作为内部临时表使用。

官方文档:https://dev.mysql.com/doc/refman/8.4/en/derived-table-optimization.html

我实际排查这类问题时,会先看结构,再用 EXPLAIN 做局部对照,最后才考虑 hint 或会话级开关。下面这份清单的重点不是强行让所有 CTE 走同一种路径,而是让选择可解释、可回滚。

先看结构:什么情况下优先判断合并

如果 CTE 只是从基础表投影几列、加一个普通过滤条件,先把它当作“可能被合并的查询块”。合并后,外层条件更容易继续下推,通常也少一个中间结果。

反过来,以下结构应先标记为“可能阻止合并”:DISTINCT、GROUP BY、HAVING、LIMIT、UNION/UNION ALL、选择列表中的子查询、用户变量赋值,以及只引用字面量的查询块。它们不是让查询必然变慢的证据,而是提醒我们不要按“CTE 一定会展开”的假设分析。

CTE 查询块与外层查询块的合并边界说明图
图1:CTE 合并条件的静态说明图,不是截图或运行证据。
-- 先保留一个可合并的 CTE,观察外层过滤能否继续参与计划
EXPLAIN
WITH recent_orders AS (
    SELECT customer_id, order_id
    FROM orders
    WHERE created_at >= '2026-01-01' -- 限定输入范围,避免把历史数据带入判断
)
SELECT customer_id, COUNT(*) AS order_count
FROM recent_orders
GROUP BY customer_id;

再看计划:如何确认物化是否值得

不要只看 SQL 文本推断结果,先保存原始 EXPLAIN。如果 CTE 被合并,计划往往直接呈现基础表和外层查询块;如果选择物化,则会出现内部临时结果相关的访问路径。具体节点名称仍要以当前版本和实际统计信息为准。

物化也不等于“必然先把全部数据算完”:MySQL 会尽量延迟物化,若连接的另一侧已经判定没有行,CTE 可能根本不需要物化。物化时,优化器还可能为内部结果增加索引,以改善后续访问。

-- 只做对照实验:禁用这个查询块的合并,不改变全局策略
EXPLAIN
WITH recent_orders AS (
    SELECT /*+ NO_MERGE() */ customer_id, order_id
    FROM orders
    WHERE created_at >= '2026-01-01' -- 与基线保持相同过滤条件
)
SELECT c.customer_id, r.order_id
FROM customers AS c
JOIN recent_orders AS r ON r.customer_id = c.customer_id;

对照时至少记录三项:访问行数与连接顺序、是否出现临时结果相关节点、总耗时和逻辑读。不要只因为物化计划看起来更“分层”就判定它更差;CTE 被同一条查询引用多次时,单次物化结果可能避免重复计算。

CTE 物化实验、EXPLAIN 观察和回滚记录关系图
图2:CTE 物化判断的静态关系图,不是截图或运行证据。

最后做选择:局部 hint 优先于全局开关

判断清单可以压缩成四个问题:第一,CTE 是否包含上面列出的阻止合并结构;第二,外层过滤是否希望下推;第三,CTE 是否在同一查询中被重复引用;第四,物化结果是否可能缩小后续连接成本。

需要实验时,优先对单个查询块使用 MERGE 或 NO_MERGE。它们只表达“允许尝试合并”或“不要合并”,如果其他规则阻止合并,MERGE 也不能强行突破。只有当多条查询都出现同类问题,并且已经完成基线对照,才考虑在会话范围调整 optimizer_switch 的 derived_merge;不要直接把生产全局配置当作第一步。

-- 会话级实验,结束后恢复,避免把试验策略带到连接池中的后续请求
SET SESSION optimizer_switch = 'derived_merge=off'; -- 临时观察物化路径

EXPLAIN
WITH grouped_orders AS (
    SELECT customer_id, COUNT(*) AS total_orders
    FROM orders
    GROUP BY customer_id -- 聚合本身也会影响合并判断
)
SELECT *
FROM grouped_orders
WHERE total_orders > 10;

SET SESSION optimizer_switch = 'derived_merge=on'; -- 完成对照后恢复会话状态

回滚与复盘:把一次选择变成可重复流程

线上变更记录至少保留:原始 SQL、基线计划、对照计划、数据量范围、执行时间、逻辑读、使用的 hint 或会话开关,以及恢复动作。若优化器升级、统计信息变化或数据分布改变,应重新做一次对照。

最终可以按这个简单规则落地:简单投影过滤先让优化器尝试合并;包含聚合、去重、集合运算或需要独立结果边界时,重点评估物化;同一查询重复引用且中间结果可复用时,再把物化的成本与收益放在一起比较。这里的“判断”要由计划和数据证明,而不是由 WITH 关键字单独决定。

常见问题

CTE 被物化后一定会生成磁盘临时表吗?

不一定。文档描述的是内部临时表策略,是否落盘、何时物化以及是否建立内部索引,都取决于执行条件与成本判断,不能仅凭 SQL 外观下结论。

为什么加了 MERGE 还是没有合并?

MERGE 只是允许优化器尝试合并;如果查询结构本身不满足合并规则,或者合并会导致外层查询块超过限制,优化器仍可能选择物化。回到 EXPLAIN 和结构清单逐项排查。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
MySQL EXPLAIN FORMAT=JSON 定位回表原因的方法MySQL EXPLAIN FORMAT=JSON 定位回表原因的方法
上一篇
MySQL EXPLAIN FORMAT=JSON 定位回表原因的方法
MySQL 递归 CTE 控制最大层级的参数方案
下一篇
MySQL 递归 CTE 控制最大层级的参数方案
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1010次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1014次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1139次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1111次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    955次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码