MySQL如何优雅的删除大表实例详解
亲爱的编程学习爱好者,如果你点开了这篇文章,说明你对《MySQL如何优雅的删除大表实例详解》很感兴趣。本篇文章就来给大家详细解析一下,主要介绍一下mysql删除、大表,希望所有认真读完的童鞋们,都有实质性的提高。
前言
删除表,大家下意识想到的命令可能是直接使用DROP TABLE "表名",这是初生牛犊的做法,因为当要删除的表达空间到几十G,甚至是几百G的表时候。这样一条命令下去,MySQL可能就直接夯住了,外在表现就是QPS急速下降,客户请求变慢。
解决办法
1.业务低峰时间手动执行删除
这个可能就需要DBA不辞辛劳,大晚上爬起来删表了。
2.先清除数据,最后再删除的方式
譬如1000万条数据,写脚本每次删除20万,睡眠一段时间,继续执行。这样也能做到对用户无感知。
3.对表文件(idb文件)做一个硬链接来加速删除
这个方法利用了linux下硬链接的知识,来进行快速删除,不记得话可以回去翻一下《鸟哥的linux私房菜》
ln data_center_update_log.ibd data_center_update_log.ibd.hdlk [root@mysql01 sports_center]# ll 总用量 19903792 -rw-r----- 1 mysql mysql 9076 10月 17 13:15 data_center_update_log.frm -rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd -rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk
执行上面命令后,我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间,只是增加了一次对磁盘上文件的引用。
当我们删除其中任何一个文件时,都不会影响磁盘上真实的文件,只是将其引用数目减去1。当被引用的数目变为1的时候,再去删除文件,才会真正做IO来删除它。
正是利用这个特点,将由原来mysql来删除大文件的操作,转换为一个简单的操作系统级的文件删除,从而减少了对mysql的影响。
4.登陆mysql,执行drop表操作
很快,200万条数据只用了1秒完成,此操作是在创建硬链接后执行的
mysql> drop tables data_center_update_log; Query OK, 0 rows affected (1.02 sec) mysql> exit Bye 退出来,再次查看数据目录,发现就只剩data_center_update_log.ibd.hdlk硬链接文件了 [root@mysql01 sports_center]# ll 总用量 19903792 -rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk
5.如何正确删除ibd.hdlk硬链接文件呢
- 虽然drop table之后,剩下的硬链接文件已经和mysql没有关系了。但如果文件过大,直接用rm命令来删除,也是会造成IO开销飙升,CPU负载过高,进而影响到MySQL。
- 这里我们用到的方法,可以循环分块删除,慢慢地清理文件,通过一个脚本即可搞定
- Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。
5.1 安装truncate命令
[root@mysql01 ~]# cruncate -bash: cruncate: 未找到命令 通常操作系统会安装truncate命令,该命令在coreutils安装包里面,如果没有安装可以使用下面命令安装 [root@mysql01 ~]# yum provides truncate coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts 源 :base 匹配来源: 文件名 :/usr/bin/truncate 可以看到truncate由coreutils安装包提供,下面安装coreutils安装包: [root@mysql01 ~]# yum install -y coreutils
5.2 truncate常用选项
-c, --no-create --> 不创建任何文件
-o, --io-blocks --> 将大小视为存储块的数量,而不是字节
-r, --reference=RFILE --> 参考指定的文件大小
-s, --size=SIZE --> 按照指定的字节设置文件大小
5.3 truncate_bigfile.sh脚本
原理:使用truncate -s选项可以指定文件大小,通过脚本指定每次文件减少的大小,并sleep睡眠一定时间,从而达到可控的删除文件
附:truncate_bigfile.sh脚本
#! /bin/bash
#
TRUNCATE=/usr/bin/truncate
FILE=$1
if [ x"$1" = x ];then
echo "Please input filename in"
exit 1;
else
SIZE_M=$(du -sm "$1" | awk '{print $1}')
for i in $(seq "${SIZE_M}" -100 0)
do
sleep 1
echo "${TRUNCATE} -s ${i}M ${FILE}"
${TRUNCATE} -s "${i}"M "${FILE}"
done
fi
if [ $? -eq 0 ];then
\rm -f "${FILE}"
else
echo "Please check file"
fi
总结
好了,本文到此结束,带大家了解了《MySQL如何优雅的删除大表实例详解》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多数据库知识!
最全50个Mysql数据库查询练习题
- 上一篇
- 最全50个Mysql数据库查询练习题
- 下一篇
- Mysql实现定时清空一张表的旧数据并保留几条数据(推荐)
-
- 数据库 · MySQL | 8分钟前 |
- MySQL ndbinfo.logbuffers怎样查看日志缓冲区占用
- 127浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 数据同步 · mysql SQL查询 NDB Cluster 事件订阅 NDB API NdbEventOperation ndbinfo
- MySQL NDB事件订阅和普通SQL查询有什么区别
- 457浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 配置文件 · NDB Cluster mysqld 滚动重启 config.ini MySQL NDB my.cnf ndb_mgmd ndbd
- MySQL NDB配置文件修改后哪些节点需要重启
- 362浏览 收藏
-
- 数据库 · MySQL | 5小时前 |
- MySQL NDB增加数据节点后为什么还要重分布数据
- 433浏览 收藏
-
- 数据库 · MySQL | 5小时前 |
- MySQL NDB节点组和数据副本如何对应
- 464浏览 收藏
-
- 数据库 · MySQL | 5小时前 | 存储 · MySQL · 数据库设计 · mysql NDB Cluster NDB Disk Data STORAGE DISK
- MySQL NDB内存列和磁盘列怎么划分
- 422浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 故障排查 · MySQL NDB RedoBuffer logbuffer-size EventLogBufferSize NDB日志缓冲区
- MySQL NDB日志缓冲区类型为什么不能混用指标
- 175浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 高可用 · mysql NDB Cluster NDB ArbitrationRank
- MySQL NDB仲裁节点怎样参与网络分区判断
- 109浏览 收藏
-
- 数据库 · MySQL | 5小时前 |
- MySQL NDB仲裁优先级怎么配置
- 333浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 备份 · 故障排查 · MySQL NDB NDB备份 BackupDataBufferSize BackupLogBufferSize BackupMemory
- MySQL NDB备份缓冲区不足时先查看哪些信息
- 269浏览 收藏
-
- 数据库 · MySQL | 5小时前 |
- MySQL NDB备份的数据文件和日志文件分别保存什么
- 435浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 463次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 526次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 545次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 493次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 312次使用
-
- MySQL删除了记录不生效的原因排查
- 2023-01-07 149浏览
-
- mysql定时删除过期数据记录的简单方法
- 2023-01-07 340浏览

