当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL PARTITION BY HASH 的数据分布为什么不均

MySQL PARTITION BY HASH 的数据分布为什么不均

来源:17golang原创 2026-11-14 03:18:45 0浏览 收藏

MySQL 的 PARTITION BY HASH 并不会承诺每个分区的行数永远相等。普通 HASH 分区会把分区表达式的整数结果按分区数取模,数据分布是否均匀,首先取决于表达式结果和真实业务键值,而不是分区语法本身。低基数、热点值、把日期压成年份、NULL 集中到零号分区,都会让某个分区明显偏大。

官方地址:https://dev.mysql.com/doc/refman/8.4/en/

排查时先回答两个问题:每一行最终参与 HASH 的值是什么?这些值除以分区数后的余数是否真的分散?只看“已经建了 8 个分区”无法证明数据会均匀。

先用 MOD 规则解释数据落点

MySQL 8.4 文档给出的普通 HASH 规则可以简化成 N = MOD(expr, num)。例如下面的表有 8 个分区,customer_id 是表达式,8 是分区数:

CREATE TABLE orders (
    id BIGINT NOT NULL,
    customer_id INT NOT NULL,
    amount DECIMAL(12, 2) NOT NULL,
    PRIMARY KEY (id, customer_id)
)
-- 用客户编号的整数结果选择 8 个 HASH 分区
PARTITION BY HASH(customer_id)
PARTITIONS 8;

因此 customer_id=1、9、17 的余数都是 1,它们都会落在同一个分区编号上。分区数增加后,余数空间变大,但不会自动改变原始值的频率;一个本来就很热的客户仍然可能把大量数据送到同一个分区。

MySQL HASH 分区表达式、取模规则和 p0 到 p7 分区的静态关系说明图
图1:HASH 落点结构说明图,展示表达式结果、MOD(expr, 8) 与分区编号的静态关系,不是截图或运行证据。

还要留意 NULL。对于 HASH 或 KEY 分区,分区表达式得到 NULL 时,MySQL 会按 0 处理,所以大量 NULL 会集中到 p0。如果业务允许空分区键,必须把它当作一个真实的数据分布类别,而不是认为它会被随机摊开。

四类原因会把数据推向少数分区

标题中的“不均”通常不是一个单独故障,而是键分布与映射规则叠加后的结果。可以按下面的顺序判断:

原因典型表现判断重点
低基数表达式只有少数几个结果例如按状态、租户等级或年份分区,分区数量远大于实际取值数量
业务热点少数键值产生了大量行同一个客户、门店或设备持续写入,取模均匀也救不了频率偏斜
表达式压缩信息多个不同原值先被变成同一个整数检查 YEAR、取整、截断或自定义组合表达式是否丢失了区分度
NULL 集中p0 明显偏大确认表达式是否可空,以及空值是否代表未补齐的业务数据

另外,不要把 LINEAR HASH 当成“更均匀的 HASH”。官方文档明确说明,线性 HASH 方便按 2 的幂次扩展,但数据相较普通 HASH 更不容易均匀。若当前使用的是线性分区,先确认扩容便利是否值得接受分布代价。

MySQL HASH 分区中低基数、热点值、表达式压缩和 NULL 影响 p0 分布的静态关系说明图
图2:偏斜原因与观测指标结构说明图,连接数据特征、表达式特征和分区观测,不是截图或运行证据。

用分区元数据和分桶查询定位热点

先观察分区层面的行数和空间,确认是不是单个分区承担了明显更多的数据。对 InnoDB 来说,TABLE_ROWS 更适合作为趋势指标,不能替代精确的业务统计:

SELECT
    PARTITION_NAME,
    TABLE_ROWS,
    DATA_LENGTH,
    INDEX_LENGTH
FROM INFORMATION_SCHEMA.PARTITIONS
WHERE TABLE_SCHEMA = DATABASE()
  AND TABLE_NAME = 'orders'
  AND PARTITION_NAME IS NOT NULL
ORDER BY PARTITION_ORDINAL_POSITION;
-- 先看各分区的行数和空间趋势,不把估算值当成精确账目

再用与建表完全一致的表达式做分桶。下面的写法把 customer_id 的余数作为逻辑桶,先验证“偏斜发生在键值层还是分区层”:如果某个余数桶已经很热,原因在业务数据;如果逻辑桶较均匀但分区空间差异很大,还要继续检查索引、历史数据和分区维护。

SELECT
    MOD(customer_id, 8) AS hash_bucket,
    COUNT(*) AS row_count,
    COUNT(DISTINCT customer_id) AS distinct_customers
FROM orders
GROUP BY MOD(customer_id, 8)
ORDER BY hash_bucket;
-- 用同一分区表达式统计余数桶,避免拿另一套规则误判

如果分区表达式是 YEAR(created_at),就把查询中的表达式也写成 MOD(YEAR(created_at), 8);如果允许 NULL,还要单独统计 created_at IS NULL。排查的关键是让诊断 SQL 与建表表达式一字不差。

按访问模式修复,不要只把 8 改成 16

修复顺序建议是:

  1. 优先换成稳定且高基数的键。键值要能长期分散写入,并且满足分区表对主键、唯一键中包含分区列的限制;不要只为了“看起来随机”选择一个业务上不可过滤的字段。
  2. 减少表达式的信息损失。把按年份、状态等低基数表达式与真实查询模式对照。如果查询主要按时间范围读取和清理,RANGE 往往比 HASH 更容易表达生命周期;如果主要按单个整数键等值访问,HASH 才更贴合。
  3. 调整分区数前先看余数分布。改分区数会改变取模结果,不能当作无成本扩容;要把数据重分布、索引体积、DDL 锁影响和回滚路径一起纳入变更计划。
  4. 把热点当作业务问题处理。如果一个客户、租户或设备本身占了大多数写入,增加分区仍可能只是把热点换一个编号。需要拆分热点租户、改变写入模型,或让业务访问绕开这个单一分区。

最后可以用一张决策表快速收敛:

观察结果优先动作
单个余数桶和单个业务键都很热先治理热点键或写入模型
余数桶因 YEAR/状态等表达式只有少数值换高基数表达式,或改用 RANGE/LIST 表达业务边界
NULL 几乎都在 p0补齐分区键、设置合理约束,或明确空值单独处理
普通 HASH 均匀但查询仍慢回到索引、分区裁剪和实际访问条件,不要把 HASH 当成万能索引

常见问题

分区数越多,数据一定越均匀吗?

不一定。分区数只改变取模的模数,无法消除热点值、低基数表达式或大量 NULL。先统计表达式结果的频率,再决定是否调整。

为什么看起来建了 HASH,查询还是扫很多分区?

HASH 分区的裁剪更适合分区表达式上的整数等值条件;如果查询没有约束分区键,或条件无法化简为分区表达式的等值/短范围,优化器就没有足够信息排除其它分区。分区也不能替代普通索引。

KEY 分区能彻底解决 HASH 偏斜吗?

不能保证。KEY 由 MySQL 提供哈希函数,但原始业务频率仍然存在;一个键值占据大多数行时,换函数不会改变它的出现次数。它更适合不想维护自定义整数表达式、且希望使用服务器哈希逻辑的场景。

总结:MySQL HASH 分区的落点由表达式结果和分区数共同决定,数据均匀的前提是输入值本身有足够基数且频率分散。用 INFORMATION_SCHEMA.PARTITIONS 看趋势,再用同一表达式做余数统计,确认根因后再选择换键、换表达式、治理热点或改分区类型。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
MySQL generated column 怎样把 JSON 字段提取成可索引列MySQL generated column 怎样把 JSON 字段提取成可索引列
上一篇
MySQL generated column 怎样把 JSON 字段提取成可索引列
MySQL redo log 与 binlog 刷盘选项怎么配合
下一篇
MySQL redo log 与 binlog 刷盘选项怎么配合
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1018次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1020次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1155次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1121次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    962次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码