当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL COMPRESS 为什么会让短字符串占用更多字节

MySQL COMPRESS 为什么会让短字符串占用更多字节

来源:17golang原创 2026-11-19 09:22:39 0浏览 收藏

如果你对一列短文本直接执行 COMPRESS(),发现结果的字节数比原文还大,这通常不是 MySQL 算错了。短输入没有足够的重复内容抵消压缩格式本身的开销,非空结果还要保存原始长度信息。因此,是否值得压缩不能只看函数名,要把原文长度、压缩后长度和存储类型一起比较。

官方文档:https://dev.mysql.com/doc/refman/8.4/en/encryption-functions.html#function_compress

结论:短字符串可能因为固定长度头和压缩格式开销变大;压缩结果是二进制字符串,落库优先使用 VARBINARY 或 BLOB,不要把它当普通文本保存。

先用字节长度确认“变大”

检查这类问题时,第一步是使用 LENGTH(),因为它返回字节数;CHAR_LENGTH() 返回字符数,中文、表情和其他多字节字符会让两者不同。下面的查询同时观察原文、压缩结果和可还原的原始长度。

-- 用字节数比较压缩前后,避免把字符数当成存储大小
SELECT
  s AS original_text,
  LENGTH(s) AS original_bytes,
  LENGTH(COMPRESS(s)) AS compressed_bytes,
  UNCOMPRESSED_LENGTH(COMPRESS(s)) AS recorded_original_bytes
FROM (
  SELECT 'a' AS s
  UNION ALL SELECT REPEAT('a', 16)
  UNION ALL SELECT REPEAT('a', 1000)
) AS samples;

官方手册给出的典型结果是:空字符串压缩后长度为 0,'a' 为 13,16 个连续的 a 为 15,而 1000 个连续的 a 为 21。这个对比已经说明,压缩收益来自足够长且有重复的数据,不能从一个短样本外推到所有文本。

为什么非空短字符串会多出字节

COMPRESS() 返回的是二进制字符串。MySQL 8.4 手册说明,非空结果由“未压缩字符串长度的 4 字节小端表示”加上压缩字符串组成;如果原始字符串以空格结尾,还会增加一个句点字符来避免尾部空格处理带来的问题。也就是说,输入只有几个字节时,固定信息和压缩格式开销就可能超过压缩收益。

MySQL COMPRESS 将短字符串拆成四字节原始长度头和压缩载荷的结构说明图
图1:结构说明图,非空 COMPRESS 结果由原始长度头和压缩载荷组成,短输入可能无法覆盖固定开销。

这也是为什么不能用“压缩后一定更小”作为数据模型规则。对短标识、短状态值、短枚举文本,压缩结果可能更大;对重复度高、长度较长的正文或日志片段,才更有机会获得收益。最终规则应以业务样本的 LENGTH() 分布和 CPU 成本为依据,而不是只测试一个长字符串。

压缩结果应该放进什么列

压缩内容可能包含任意字节。官方文档建议使用 VARBINARY 或 BLOB,这样可以避免普通字符列的尾空格裁剪和字符集转换改变数据。表结构可以把原文长度作为辅助字段保存,便于排查和估算收益。

-- 二进制列保存 COMPRESS 结果,长度字段用于快速判断收益
CREATE TABLE message_archive (
  id BIGINT PRIMARY KEY,
  payload_zip BLOB NOT NULL,
  payload_bytes INT UNSIGNED NOT NULL
);

-- 只在样本规则允许时写入压缩值,并记录原始字节数
INSERT INTO message_archive (id, payload_zip, payload_bytes)
VALUES (1, COMPRESS(:payload), LENGTH(:payload));

-- 读取时先解压,再按需要取得原文长度
SELECT
  UNCOMPRESS(payload_zip) AS payload,
  UNCOMPRESSED_LENGTH(payload_zip) AS original_bytes
FROM message_archive
WHERE id = 1;

如果应用还要在数据库外部传输这个字段,也要把它当二进制处理,避免经过不必要的文本编码转换。UNCOMPRESS() 只能还原由 COMPRESS() 生成的值;输入不是压缩值或压缩库不可用时,结果可能是 NULL。

MySQL COMPRESS 结果写入 BLOB 并通过 UNCOMPRESS 读取的字段关系说明图
图2:关系说明图,压缩结果作为二进制载荷进入 BLOB,原始字节数与解压函数承担不同职责。

什么时候压缩,什么时候保留原文

数据特征建议原因
短 ID、状态值、少量标签通常保留原文固定开销可能超过节省空间,解压还会增加 CPU。
较长且重复度高的正文或日志片段用样本评估后压缩重复模式更容易抵消长度头和压缩格式开销。
以空格结尾或需要字符集语义的数据用 BLOB/VARBINARY 保存避免文本列裁剪尾空格或发生字符集转换。

落地时可以先按业务真实数据抽样,记录原始字节数、压缩后字节数和访问频率,再设置阈值:压缩后没有明显收益的样本直接保存原文,有稳定收益且读取不敏感的长文本才采用压缩。这个阈值属于业务决策,不是 COMPRESS() 自动替你完成的优化。

常见问题

COMPRESS('') 为什么不是带四字节头的结果?

空字符串是特殊情况,官方示例显示其压缩结果长度为 0;不要用空字符串去推断非空输入的布局。

为什么不能把压缩结果存到 VARCHAR?

压缩结果是二进制字符串,VARCHAR/TEXT 可能发生字符集转换或尾空格处理。除非你明确完成了二进制编码,否则应使用 VARBINARY 或 BLOB。

UNCOMPRESSED_LENGTH() 能替代 LENGTH() 吗?

不能。前者读取压缩结果记录的原始长度,后者测量当前传入值的字节数;比较压缩收益时通常两者都需要。

小结

MySQL COMPRESS 让短字符串变大的核心原因,是非空结果要携带 4 字节原始长度信息并承担压缩格式开销。用 LENGTH 按字节比较,使用 VARBINARY 或 BLOB 保存二进制结果,再结合 UNCOMPRESS 和 UNCOMPRESSED_LENGTH 设计读写路径,才能把压缩从“函数调用”变成有数据依据的存储决策。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go image/draw.Draw 怎样处理不同颜色模型的绘制Go image/draw.Draw 怎样处理不同颜色模型的绘制
上一篇
Go image/draw.Draw 怎样处理不同颜色模型的绘制
MySQL SOUNDEX 为什么不适合中文姓名近音匹配
下一篇
MySQL SOUNDEX 为什么不适合中文姓名近音匹配
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1109次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1101次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1272次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1215次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1061次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码