当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL utf8mb4 排序规则变化后为什么结果顺序不同

MySQL utf8mb4 排序规则变化后为什么结果顺序不同

来源:17golang原创 2026-11-14 03:12:12 0浏览 收藏

utf8mb4 决定字符如何编码,排序规则 collation 决定字符串如何比较。即使字节内容与字符集完全没变,更换 collation 也可能改变字符权重、大小写和重音的相等判断,以及尾部空格的处理,因此 ORDER BY、分组去重和唯一索引的行为都可能变化。

遇到“迁移后名单顺序不一样”,我会先区分比较规则变了,还是相同排序值之间本就没有指定先后。这是排查顺序的建议,不是对某次实际迁移的运行记录。下面按 MySQL 8.4 手册准备一个独立小实验。官方入口:https://dev.mysql.com/doc/refman/8.4/en/charset-collation-names.html。

前置条件:查列定义,不只看服务器默认值

排序规则可以来自列定义,也可以由表达式中的 COLLATE 明确指定。仅发现服务器默认规则发生变化,并不能证明已有列也被修改。先看实际列及查询文本,再讨论迁移原因。

-- 用真实业务表替换 catalog_items;只读取结构,不修改原表。
SHOW FULL COLUMNS FROM catalog_items;
SHOW CREATE TABLE catalog_items;

-- 规则属性从服务器支持列表中读取,确认目标规则确实可用。
SELECT COLLATION_NAME, CHARACTER_SET_NAME, PAD_ATTRIBUTE
FROM information_schema.COLLATIONS
WHERE COLLATION_NAME IN (
    'utf8mb4_unicode_ci', 'utf8mb4_0900_ai_ci',
    'utf8mb4_0900_as_cs'
);

名称中的 ai 表示不区分重音,as 表示区分重音,ci 表示不区分大小写,cs 表示区分大小写。0900 指所依据的 Unicode 排序算法版本,不是字符编码位数。不同语言定制规则也可能影响相对次序,不能只看后缀是否都是 ci。

字符编码、比较规则与查询排序各自职责
原创静态结构图:字符集与排序规则的职责关系,不是数据库截图。

初始化:在同一连接准备样本

实验使用临时表,样本是虚构标签,包含大写、小写、重音字母和尾部空格。所有语句应在同一连接执行,因为临时表属于该会话。插入值使用十六进制 UTF-8 字面量,避免复制时丢掉尾部空格。

-- 新建演示临时表,不占用业务表;重复实验前先清理本会话旧表。
DROP TEMPORARY TABLE IF EXISTS demo_collation_labels;
CREATE TEMPORARY TABLE demo_collation_labels (
    id INT PRIMARY KEY,
    label VARCHAR(30) CHARACTER SET utf8mb4
        COLLATE utf8mb4_0900_as_cs NOT NULL
);

-- 内容依次为 A、a、带重音的 á、a 后带一个空格、b。
INSERT INTO demo_collation_labels (id, label) VALUES
    (1, _utf8mb4 0x41),
    (2, _utf8mb4 0x61),
    (3, _utf8mb4 0xC3A1),
    (4, _utf8mb4 0x6120),
    (5, _utf8mb4 0x62);

编写比较查询:先看相等,再看排序

如果两条字符串在规则下被认为相等,它们单靠这一列就没有唯一先后。下面先比较 A 与 a,再对同一批数据显式指定两种规则。SQL 和结果解释是按官方语义推导的示例,未展示现场运行数据。

-- 同一组 UTF-8 字符只更换比较规则:预期分别为 1 与 0。
SELECT
    (_utf8mb4 0x41 COLLATE utf8mb4_0900_ai_ci =
     _utf8mb4 0x61 COLLATE utf8mb4_0900_ai_ci) AS eq_ai_ci,
    (_utf8mb4 0x41 COLLATE utf8mb4_0900_as_cs =
     _utf8mb4 0x61 COLLATE utf8mb4_0900_as_cs) AS eq_as_cs;

-- id 给规则认为相等的标签提供唯一先后;HEX 显示尾部空格。
SELECT id, label, HEX(label) AS utf8_bytes
FROM demo_collation_labels
ORDER BY label COLLATE utf8mb4_0900_ai_ci, id;

-- 这里只更换规则,样本与字节不变。
SELECT id, label, HEX(label) AS utf8_bytes
FROM demo_collation_labels
ORDER BY label COLLATE utf8mb4_0900_as_cs, id;

ai_ci 下 A、a 与 á 属于相同的比较权重,id 用来裁决它们的展示次序;as_cs 则区分大小写和重音。不要把某个样本的排序顺序推广成所有语言的字典顺序,也不要假设换规则后每一对字符串的位置都会改变。

变化类型可能看到的现象判断重点
大小写或重音敏感性变化排序、相等判断或去重数量不同业务是否把这些名称当成同一值
算法版本或语言定制变化部分字符相对顺序变化对实际使用语言准备代表样本
PAD SPACE 改成 NO PAD尾空格参与比较的方式变化空格是否属于业务标识
相同排序权重且未指定唯一键同组内部次序不稳定显式增加稳定的第二排序键

例如 utf8mb4_unicode_ci 的 PAD_ATTRIBUTE 为 PAD SPACE,而 utf8mb4_0900_ai_ci 为 NO PAD。对非二进制字符串比较,后者把尾空格当作普通字符。不要用“都是 utf8mb4”判断它们的比较结果相同。

迁移影响:索引与分页也要采用相同口径

唯一索引依赖列的比较语义。如果原来能区分的值在新规则下相等,变更或重建唯一索引就可能遇到重复值冲突。反过来,新规则区分更多值也意味着后续写入可能接受旧规则认为重复的名称。应先明确同名定义,再决定如何处理冲突,而不是临时删掉唯一约束。

普通字符索引也按照列的规则组织比较。查询临时加另一个 COLLATE 不会把原索引自动变成目标规则的排序索引,不能承诺原来的索引排序路径仍然适用。生产列变更的重建成本和锁行为需要结合具体表结构与 DDL 方式另行评估,本文不提供直接修改业务表的通用命令。

排序规则与唯一索引、排序查询和分页游标的依赖
原创静态结构图:迁移涉及的比较契约,不表示执行计划或迁移流程。

列表应写成明确的 ORDER BY label COLLATE 目标规则, id。但唯一 id 只能稳定目标规则中的同权重记录,不能恢复旧规则的整个排序。游标分页若用 label 与 id 作为续查条件,比较条件也必须与排序口径一致;迁移前生成的游标不应直接假定仍代表同一个位置。

清理实验与实际取舍

-- 只删除本会话的演示临时表,业务表保持原状。
DROP TEMPORARY TABLE IF EXISTS demo_collation_labels;

我的取舍是先定义名称相等和展示次序,再选规则。大小写敏感的标识符与面向用户的姓名列表未必适合同一套规则;不能仅凭名称更新就把所有列统一替换。

改了数据库默认规则,旧列会自动跟着变化吗?

不能这样推断。默认值与实际列定义是不同层级,应以列定义和查询表达式为准。

加 id 排序能解决所有变化吗?

只能解决相同比较权重之间的确定先后,无法抵消规则本身对字符顺序与相等关系的调整。

换成二进制排序就一定符合业务吗?

不一定。按字符代码值或字节进行比较与自然语言排序并不相同;即使是不同的 _bin 规则,尾空格属性也可能不同。

参考:排序规则命名;Unicode 规则及空格属性;列级字符集与排序规则。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
MySQL JSON_TABLE NESTED PATH 没匹配时怎样保留父行MySQL JSON_TABLE NESTED PATH 没匹配时怎样保留父行
上一篇
MySQL JSON_TABLE NESTED PATH 没匹配时怎样保留父行
MySQL ALTER INDEX INVISIBLE 与删除索引的运维区别
下一篇
MySQL ALTER INDEX INVISIBLE 与删除索引的运维区别
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1018次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1020次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1155次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1121次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    962次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码