MySQL 大表清理历史数据怎么分批删:主键游标、锁等待与回滚窗口
线上订单表、日志表一旦积累到几千万行,直接执行一条大范围 DELETE 往往不是“删得快”,反而会把锁等待、undo 日志和主从复制延迟一并拉满。更稳妥的做法是按主键游标切成小批次操作,先确认查询能命中索引,每批提交后实时观察耗时和锁等待情况,碰到业务高峰直接停在批次边界就好,不会出现半半拉拉的状态。
清理历史数据优先采用“主键范围 + 小批事务 + 批次日志”的方式,不要用 OFFSET 翻页,也不要把整个保留周期的数据都塞进同一个事务里;需要回滚撤回的时候也要提前留好归档或备份窗口。
实践要点
- 删除条件要能命中索引,推荐直接用自增主键作为游标推进的依据。
- 每批删 5000~20000 行只是起始参考值,最终要根据锁等待时长、事务耗时和复制延迟情况动态调整。
- 每批独立提交,随手记录 last_id、删除行数和耗时,任务中断失败后可以直接从上一个安全游标位置继续跑。
- 删除操作不等于备份,需要后续恢复的数据要先归档到独立表,或是提前准备好可验证的完整备份。
先确认保留边界和可用索引
以订单操作日志 order_events 为例,业务规则是保留最近 180 天的数据。先把时间边界算成固定的时间值,再核对表结构和索引配置,不要在删除语句的筛选字段外层套函数,导致索引完全失效。
SHOW CREATE TABLE order_events;
SHOW INDEX FROM order_events;
EXPLAIN SELECT id
FROM order_events
WHERE id > 8000000
AND created_at
理想的执行效果是走主键,或者走能完全覆盖筛选条件的联合索引,扫描行数和本批预期删除的行数接近。如果只有 created_at 索引,也可以先按时间筛选,但最好还是通过主键来推进游标,避免每批执行的时候重新扫描已经处理过的历史数据区域。先拿只读查询跑一遍执行计划确认没问题,别急着直接上手删。

为什么主键游标比 OFFSET 更适合清理
LIMIT 10000 OFFSET 500000 要先跳过前面已经扫过的行,翻页越深,扫描和排序的成本波动就越大,完全不可控。主键游标则是把上一批最后一条记录的ID存成 last_id,下一批直接从这个ID往后开始扫就行,完全不用重复走前面的行。
DELETE FROM order_events
WHERE id > :last_id
AND id
这里的 upper_id 可以在任务启动时就取好一个上限值,避免清理过程中不断把新写入的有效数据误卷进删除范围里。每次删除完成后读取受影响的行数,再把本批最后检查到的ID写入 cleanup_checkpoint。如果业务主键不是单调递增的,先建好适配的联合索引再设计游标逻辑。
用小批事务控制锁和日志体积
大事务的问题不只是长期占着锁不放,InnoDB 还要保留全量旧版本,回滚段和复制日志体积会同步暴涨,中途如果出问题,回滚花费的时间甚至可能比删除本身的时间还要长。
START TRANSACTION;
DELETE FROM order_events
WHERE id > 8000000
AND id
实际写清理脚本的时候,要把每批的开始时间、last_id、upper_id、affected_rows 和耗时都写入任务日志。批次事务成功提交之后再推进游标记录进度,不能先写检查点再提交事务,不然进程意外中断会出现“日志显示已经删完,表里数据还在”的不一致问题。

把暂停和回滚设计成任务原生能力
清理脚本至少要预留三个可观测状态:running、paused、failed。检测到锁等待超过预设阈值、复制延迟持续走高或是业务进入高峰区间时,等当前批次执行完后自动进入 paused 状态,不要在一条大删除语句里强行中断。
删除操作本身没办法像普通更新那样直接回滚几小时前的全量数据,要恢复数据通常走两类方案:先把待删行写入归档表校验完行数之后,再删除原表里的对应数据;或者提前做好可恢复的全量备份,提前跑通恢复演练确认流程没问题。归档表也要控制索引数量,不然“先归档再删”的方案会把写放大问题转嫁到另一张大表上。
三种清理方案如何取舍
| 方案 | 优点 | 主要代价 | 适用情况 |
|---|---|---|---|
| 主键游标分批删除 | 实现简单、支持随时暂停 | 需要额外维护任务日志 | 绝大多数没有提前分区的历史数据清理场景 |
| 归档表后删除 | 数据恢复路径清晰可查 | 多一次写入和校验流程 | 待删数据后续仍有合规恢复需求 |
| 分区表按分区清理 | 删除分区速度极快几乎无IO开销 | 前期改表和数据迁移成本高 | 时间分区规则稳定的日志表、流水表 |
如果表天然就是按天或按月写入,后续数据生命周期规则也很明确,可以把分区方案作为长期优化方向。已经建好的非分区大表,不要为了赶一次临时清理任务就大动干戈改全表结构,先用游标分批清理先把性能问题止住,后续再评估迁移分区的必要性。
执行前后的核对清单
- 提前固定cutoff删除边界和upper_id上限,记录任务版本,避免任务每次重启边界自动偏移。
- 用EXPLAIN核对执行计划里的索引命中情况、扫描行数和排序情况。
- 从最小的批量起步跑,全程观察
SHOW PROCESSLIST、锁等待时长、主从复制延迟和磁盘剩余空间的变化。 - 只有在事务提交成功之后才能更新检查点进度,失败的批次完整保留错误信息和当时的输入范围。
- 清理完成后抽查cutoff边界前后的记录,核对归档数据或是备份文件的可恢复性。
相关问题
清理任务能不能用 OFFSET 分页?
不建议这么做。删除操作会动态改变结果集的行数,OFFSET 在批次跳转的时候很容易漏掉记录;用固定上限加主键游标的方案,更容易确认整个扫描过程不会漏扫数据。
每批删除多少行不会锁表?
没有通用的固定数值。可以从 5000 或 10000 行起步测试,以锁等待时长、事务耗时和复制延迟作为判断依据逐步往上调整。
删除旧数据前必须归档吗?
如果这批数据后续还有审计、对账或是找回的需求,就一定要先归档或是提前确认备份文件可恢复;只是随便复制一份文件但没跑过恢复验证,不算完成数据保护。
小结
MySQL 大表清理的核心思路,就是把一次不可控的大删除,拆成有明确边界、有操作日志、支持随时暂停的连续小操作。主键游标用来保证推进过程稳定无重复无遗漏,小批事务用来控制影响面不会波及全库,检查点和备份机制用来保证出问题之后也能有迹可循。先在业务低峰做一轮压测,再把阈值和自动暂停条件写到任务配置里,跑起来就会很稳。
Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
- 上一篇
- Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
- 下一篇
- Go BasicAuth 中间件怎么写:解析失败、空密码和 WWW-Authenticate 的生产边界
-
- 数据库 · MySQL | 17小时前 |
- MySQL 在线 ALTER TABLE 前怎么判断是否会重建表
- 339浏览 收藏
-
- 数据库 · MySQL | 19小时前 | MySQL · 锁 · 事务 · InnoDB · Savepoint ROLLBACK TO SAVEPOINT InnoDB锁
- MySQL SAVEPOINT 回滚后哪些锁仍然保留
- 226浏览 收藏
-
- 数据库 · MySQL | 21小时前 |
- MySQL InnoDB 死锁后为什么只回滚一个事务
- 201浏览 收藏
-
- 数据库 · MySQL | 22小时前 | MySQL · 数据库 · 外键约束 · 数据一致性 · 表结构设计 · mysql 外键 foreign key ON DELETE SET NULL 可空列
- MySQL 外键 ON DELETE SET NULL 为什么要求列可空
- 325浏览 收藏
-
- 数据库 · MySQL | 1天前 |
- MySQL JSON_TABLE 展开数组时如何保留缺失字段
- 501浏览 收藏
-
- 数据库 · MySQL | 1天前 |
- MySQL CTE 多次引用时为什么可能重复物化
- 237浏览 收藏
-
- 数据库 · MySQL | 1天前 | MySQL · 执行计划 · 索引优化 · mysql explain OR条件 Index Merge
- MySQL OR 条件什么时候会选择 Index Merge
- 373浏览 收藏
-
- 数据库 · MySQL | 1天前 |
- MySQL 事务隔离级别下普通 SELECT 为什么看不到新提交
- 385浏览 收藏
-
- 数据库 · MySQL | 1天前 | MySQL · 索引 · 性能优化 · 执行计划 · mysql explain optimizer hint FORCE INDEX USE INDEX
- MySQL optimizer hint 和 FORCE INDEX 怎么选择
- 478浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 97次使用
-
- OpenCompass
- OpenCompass是上海AI实验室推出的开源大模型评测平台,提供CompassKit、CompassHub和CompassRank三大核心组件,支持LLM及多模态模型的一站式标准化评估与排行榜查询。
- 26次使用
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 251次使用
-
- C-Eval
- 深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
- 177次使用
-
- AI Prompt Library
- 探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
- 111次使用
-
- MySQL 明明加了索引,为什么查询还是很慢?先查这 6 个点
- 2026-06-27 374浏览
-
- 接口返回的数据和数据库不一致怎么办?按数据生命周期排查
- 2026-06-27 398浏览
-
- golang MySQL实现对数据库表存储获取操作示例
- 2022-12-22 499浏览
-
- golang 基于 mysql 简单实现分布式读写锁
- 2023-01-07 384浏览
-
- 详解如何利用GORM实现MySQL事务
- 2023-01-07 184浏览
