MySQL 大表清理历史数据怎么分批删:主键游标、锁等待与回滚窗口
线上订单表、日志表一旦积累到几千万行,直接执行一条大范围 DELETE 往往不是“删得快”,反而会把锁等待、undo 日志和主从复制延迟一并拉满。更稳妥的做法是按主键游标切成小批次操作,先确认查询能命中索引,每批提交后实时观察耗时和锁等待情况,碰到业务高峰直接停在批次边界就好,不会出现半半拉拉的状态。
清理历史数据优先采用“主键范围 + 小批事务 + 批次日志”的方式,不要用 OFFSET 翻页,也不要把整个保留周期的数据都塞进同一个事务里;需要回滚撤回的时候也要提前留好归档或备份窗口。
实践要点
- 删除条件要能命中索引,推荐直接用自增主键作为游标推进的依据。
- 每批删 5000~20000 行只是起始参考值,最终要根据锁等待时长、事务耗时和复制延迟情况动态调整。
- 每批独立提交,随手记录 last_id、删除行数和耗时,任务中断失败后可以直接从上一个安全游标位置继续跑。
- 删除操作不等于备份,需要后续恢复的数据要先归档到独立表,或是提前准备好可验证的完整备份。
先确认保留边界和可用索引
以订单操作日志 order_events 为例,业务规则是保留最近 180 天的数据。先把时间边界算成固定的时间值,再核对表结构和索引配置,不要在删除语句的筛选字段外层套函数,导致索引完全失效。
SHOW CREATE TABLE order_events;
SHOW INDEX FROM order_events;
EXPLAIN SELECT id
FROM order_events
WHERE id > 8000000
AND created_at
理想的执行效果是走主键,或者走能完全覆盖筛选条件的联合索引,扫描行数和本批预期删除的行数接近。如果只有 created_at 索引,也可以先按时间筛选,但最好还是通过主键来推进游标,避免每批执行的时候重新扫描已经处理过的历史数据区域。先拿只读查询跑一遍执行计划确认没问题,别急着直接上手删。

为什么主键游标比 OFFSET 更适合清理
LIMIT 10000 OFFSET 500000 要先跳过前面已经扫过的行,翻页越深,扫描和排序的成本波动就越大,完全不可控。主键游标则是把上一批最后一条记录的ID存成 last_id,下一批直接从这个ID往后开始扫就行,完全不用重复走前面的行。
DELETE FROM order_events
WHERE id > :last_id
AND id
这里的 upper_id 可以在任务启动时就取好一个上限值,避免清理过程中不断把新写入的有效数据误卷进删除范围里。每次删除完成后读取受影响的行数,再把本批最后检查到的ID写入 cleanup_checkpoint。如果业务主键不是单调递增的,先建好适配的联合索引再设计游标逻辑。
用小批事务控制锁和日志体积
大事务的问题不只是长期占着锁不放,InnoDB 还要保留全量旧版本,回滚段和复制日志体积会同步暴涨,中途如果出问题,回滚花费的时间甚至可能比删除本身的时间还要长。
START TRANSACTION;
DELETE FROM order_events
WHERE id > 8000000
AND id
实际写清理脚本的时候,要把每批的开始时间、last_id、upper_id、affected_rows 和耗时都写入任务日志。批次事务成功提交之后再推进游标记录进度,不能先写检查点再提交事务,不然进程意外中断会出现“日志显示已经删完,表里数据还在”的不一致问题。

把暂停和回滚设计成任务原生能力
清理脚本至少要预留三个可观测状态:running、paused、failed。检测到锁等待超过预设阈值、复制延迟持续走高或是业务进入高峰区间时,等当前批次执行完后自动进入 paused 状态,不要在一条大删除语句里强行中断。
删除操作本身没办法像普通更新那样直接回滚几小时前的全量数据,要恢复数据通常走两类方案:先把待删行写入归档表校验完行数之后,再删除原表里的对应数据;或者提前做好可恢复的全量备份,提前跑通恢复演练确认流程没问题。归档表也要控制索引数量,不然“先归档再删”的方案会把写放大问题转嫁到另一张大表上。
三种清理方案如何取舍
| 方案 | 优点 | 主要代价 | 适用情况 |
|---|---|---|---|
| 主键游标分批删除 | 实现简单、支持随时暂停 | 需要额外维护任务日志 | 绝大多数没有提前分区的历史数据清理场景 |
| 归档表后删除 | 数据恢复路径清晰可查 | 多一次写入和校验流程 | 待删数据后续仍有合规恢复需求 |
| 分区表按分区清理 | 删除分区速度极快几乎无IO开销 | 前期改表和数据迁移成本高 | 时间分区规则稳定的日志表、流水表 |
如果表天然就是按天或按月写入,后续数据生命周期规则也很明确,可以把分区方案作为长期优化方向。已经建好的非分区大表,不要为了赶一次临时清理任务就大动干戈改全表结构,先用游标分批清理先把性能问题止住,后续再评估迁移分区的必要性。
执行前后的核对清单
- 提前固定cutoff删除边界和upper_id上限,记录任务版本,避免任务每次重启边界自动偏移。
- 用EXPLAIN核对执行计划里的索引命中情况、扫描行数和排序情况。
- 从最小的批量起步跑,全程观察
SHOW PROCESSLIST、锁等待时长、主从复制延迟和磁盘剩余空间的变化。 - 只有在事务提交成功之后才能更新检查点进度,失败的批次完整保留错误信息和当时的输入范围。
- 清理完成后抽查cutoff边界前后的记录,核对归档数据或是备份文件的可恢复性。
相关问题
清理任务能不能用 OFFSET 分页?
不建议这么做。删除操作会动态改变结果集的行数,OFFSET 在批次跳转的时候很容易漏掉记录;用固定上限加主键游标的方案,更容易确认整个扫描过程不会漏扫数据。
每批删除多少行不会锁表?
没有通用的固定数值。可以从 5000 或 10000 行起步测试,以锁等待时长、事务耗时和复制延迟作为判断依据逐步往上调整。
删除旧数据前必须归档吗?
如果这批数据后续还有审计、对账或是找回的需求,就一定要先归档或是提前确认备份文件可恢复;只是随便复制一份文件但没跑过恢复验证,不算完成数据保护。
小结
MySQL 大表清理的核心思路,就是把一次不可控的大删除,拆成有明确边界、有操作日志、支持随时暂停的连续小操作。主键游标用来保证推进过程稳定无重复无遗漏,小批事务用来控制影响面不会波及全库,检查点和备份机制用来保证出问题之后也能有迹可循。先在业务低峰做一轮压测,再把阈值和自动暂停条件写到任务配置里,跑起来就会很稳。
Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
- 上一篇
- Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
- 下一篇
- Go BasicAuth 中间件怎么写:解析失败、空密码和 WWW-Authenticate 的生产边界
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_AsGeoJSON 怎样控制几何输出的小数位
- 430浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_IsClosed 怎样判断折线是否闭合
- 289浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_GeometryN 怎样读取集合中的指定几何对象
- 264浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_NumInteriorRing 怎样统计多边形内部孔洞
- 279浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_ExteriorRing 怎样提取多边形外环
- 330浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_Longitude 怎样读取地理点的经度
- 198浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_SwapXY 怎样交换几何对象的坐标分量
- 381浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_HausdorffDistance 怎样衡量两个几何集合的最大偏离
- 296浏览 收藏
-
- 数据库 · MySQL | 12小时前 | MySQL · mysql ST_FrechetDistance 空间函数 轨迹比较 LineString
- MySQL ST_FrechetDistance 怎样比较两条轨迹的形状差异
- 488浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_LineInterpolatePoint 怎样定位折线上的比例位置
- 399浏览 收藏
-
- 数据库 · MySQL | 12小时前 | MySQL · 数据校验 · 空间数据 MySQL ST_Validate 几何有效性 WKT ST_IsValid
- MySQL ST_Validate 怎样检查并返回有效几何对象
- 387浏览 收藏
-
- 数据库 · MySQL | 12小时前 |
- MySQL ST_Simplify 怎样减少折线中的冗余点
- 384浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 740次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 737次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 822次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 784次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 617次使用
-
- MySQL 明明加了索引,为什么查询还是很慢?先查这 6 个点
- 2026-06-27 374浏览
-
- 接口返回的数据和数据库不一致怎么办?按数据生命周期排查
- 2026-06-27 398浏览
-
- 新能源汽车充电设施巡检记录的设置方法
- 2026-10-04 422浏览
-
- golang MySQL实现对数据库表存储获取操作示例
- 2022-12-22 499浏览
-
- golang 基于 mysql 简单实现分布式读写锁
- 2023-01-07 384浏览

