当前位置:首页 > 文章列表 > 数据库 > MySQL > MySQL 大表清理历史数据怎么分批删:主键游标、锁等待与回滚窗口

MySQL 大表清理历史数据怎么分批删:主键游标、锁等待与回滚窗口

来源:17golang原创 2026-07-27 14:41:37 0浏览 收藏

线上订单表、日志表一旦积累到几千万行,直接执行一条大范围 DELETE 往往不是“删得快”,反而会把锁等待、undo 日志和主从复制延迟一并拉满。更稳妥的做法是按主键游标切成小批次操作,先确认查询能命中索引,每批提交后实时观察耗时和锁等待情况,碰到业务高峰直接停在批次边界就好,不会出现半半拉拉的状态。

清理历史数据优先采用“主键范围 + 小批事务 + 批次日志”的方式,不要用 OFFSET 翻页,也不要把整个保留周期的数据都塞进同一个事务里;需要回滚撤回的时候也要提前留好归档或备份窗口。

实践要点

  • 删除条件要能命中索引,推荐直接用自增主键作为游标推进的依据。
  • 每批删 5000~20000 行只是起始参考值,最终要根据锁等待时长、事务耗时和复制延迟情况动态调整。
  • 每批独立提交,随手记录 last_id、删除行数和耗时,任务中断失败后可以直接从上一个安全游标位置继续跑。
  • 删除操作不等于备份,需要后续恢复的数据要先归档到独立表,或是提前准备好可验证的完整备份。

先确认保留边界和可用索引

以订单操作日志 order_events 为例,业务规则是保留最近 180 天的数据。先把时间边界算成固定的时间值,再核对表结构和索引配置,不要在删除语句的筛选字段外层套函数,导致索引完全失效。

SHOW CREATE TABLE order_events;
SHOW INDEX FROM order_events;

EXPLAIN SELECT id
FROM order_events
WHERE id > 8000000
  AND created_at 

理想的执行效果是走主键,或者走能完全覆盖筛选条件的联合索引,扫描行数和本批预期删除的行数接近。如果只有 created_at 索引,也可以先按时间筛选,但最好还是通过主键来推进游标,避免每批执行的时候重新扫描已经处理过的历史数据区域。先拿只读查询跑一遍执行计划确认没问题,别急着直接上手删。

MySQL 大表清理用主键游标推进:保留边界筛选旧记录,扫描范围从全表缩小到下一批 id

为什么主键游标比 OFFSET 更适合清理

LIMIT 10000 OFFSET 500000 要先跳过前面已经扫过的行,翻页越深,扫描和排序的成本波动就越大,完全不可控。主键游标则是把上一批最后一条记录的ID存成 last_id,下一批直接从这个ID往后开始扫就行,完全不用重复走前面的行。

DELETE FROM order_events
WHERE id > :last_id
  AND id 

这里的 upper_id 可以在任务启动时就取好一个上限值,避免清理过程中不断把新写入的有效数据误卷进删除范围里。每次删除完成后读取受影响的行数,再把本批最后检查到的ID写入 cleanup_checkpoint。如果业务主键不是单调递增的,先建好适配的联合索引再设计游标逻辑。

用小批事务控制锁和日志体积

大事务的问题不只是长期占着锁不放,InnoDB 还要保留全量旧版本,回滚段和复制日志体积会同步暴涨,中途如果出问题,回滚花费的时间甚至可能比删除本身的时间还要长。

START TRANSACTION;

DELETE FROM order_events
WHERE id > 8000000
  AND id 

实际写清理脚本的时候,要把每批的开始时间、last_id、upper_id、affected_rows 和耗时都写入任务日志。批次事务成功提交之后再推进游标记录进度,不能先写检查点再提交事务,不然进程意外中断会出现“日志显示已经删完,表里数据还在”的不一致问题。

MySQL 清理任务的批次窗口:每批删除后提交并记录游标,锁等待升高时在安全边界暂停

把暂停和回滚设计成任务原生能力

清理脚本至少要预留三个可观测状态:runningpausedfailed。检测到锁等待超过预设阈值、复制延迟持续走高或是业务进入高峰区间时,等当前批次执行完后自动进入 paused 状态,不要在一条大删除语句里强行中断。

删除操作本身没办法像普通更新那样直接回滚几小时前的全量数据,要恢复数据通常走两类方案:先把待删行写入归档表校验完行数之后,再删除原表里的对应数据;或者提前做好可恢复的全量备份,提前跑通恢复演练确认流程没问题。归档表也要控制索引数量,不然“先归档再删”的方案会把写放大问题转嫁到另一张大表上。

三种清理方案如何取舍

方案优点主要代价适用情况
主键游标分批删除实现简单、支持随时暂停需要额外维护任务日志绝大多数没有提前分区的历史数据清理场景
归档表后删除数据恢复路径清晰可查多一次写入和校验流程待删数据后续仍有合规恢复需求
分区表按分区清理删除分区速度极快几乎无IO开销前期改表和数据迁移成本高时间分区规则稳定的日志表、流水表

如果表天然就是按天或按月写入,后续数据生命周期规则也很明确,可以把分区方案作为长期优化方向。已经建好的非分区大表,不要为了赶一次临时清理任务就大动干戈改全表结构,先用游标分批清理先把性能问题止住,后续再评估迁移分区的必要性。

执行前后的核对清单

  1. 提前固定cutoff删除边界和upper_id上限,记录任务版本,避免任务每次重启边界自动偏移。
  2. 用EXPLAIN核对执行计划里的索引命中情况、扫描行数和排序情况。
  3. 从最小的批量起步跑,全程观察 SHOW PROCESSLIST、锁等待时长、主从复制延迟和磁盘剩余空间的变化。
  4. 只有在事务提交成功之后才能更新检查点进度,失败的批次完整保留错误信息和当时的输入范围。
  5. 清理完成后抽查cutoff边界前后的记录,核对归档数据或是备份文件的可恢复性。

相关问题

清理任务能不能用 OFFSET 分页?

不建议这么做。删除操作会动态改变结果集的行数,OFFSET 在批次跳转的时候很容易漏掉记录;用固定上限加主键游标的方案,更容易确认整个扫描过程不会漏扫数据。

每批删除多少行不会锁表?

没有通用的固定数值。可以从 5000 或 10000 行起步测试,以锁等待时长、事务耗时和复制延迟作为判断依据逐步往上调整。

删除旧数据前必须归档吗?

如果这批数据后续还有审计、对账或是找回的需求,就一定要先归档或是提前确认备份文件可恢复;只是随便复制一份文件但没跑过恢复验证,不算完成数据保护。

小结

MySQL 大表清理的核心思路,就是把一次不可控的大删除,拆成有明确边界、有操作日志、支持随时暂停的连续小操作。主键游标用来保证推进过程稳定无重复无遗漏,小批事务用来控制影响面不会波及全库,检查点和备份机制用来保证出问题之后也能有迹可循。先在业务低峰做一轮压测,再把阈值和自动暂停条件写到任务配置里,跑起来就会很稳。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
上一篇
Go 1.26 的 go fix 怎么安全现代化旧代码:new(expr)、模块版本与回滚核对
Go BasicAuth 中间件怎么写:解析失败、空密码和 WWW-Authenticate 的生产边界
下一篇
Go BasicAuth 中间件怎么写:解析失败、空密码和 WWW-Authenticate 的生产边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    97次使用
  • OpenCompass大模型评测体系详解:功能、使用指南与应用场景
    OpenCompass
    OpenCompass是上海AI实验室推出的开源大模型评测平台,提供CompassKit、CompassHub和CompassRank三大核心组件,支持LLM及多模态模型的一站式标准化评估与排行榜查询。
    26次使用
  • SuperCLUE中文大模型评测基准:功能、能力维度与应用指南
    SuperCLUE
    SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
    251次使用
  • C-Eval中文评测基准:大语言模型多学科能力评估指南
    C-Eval
    深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
    177次使用
  • AI Prompt Library:免费AI提示词库,助力ChatGPT高效创作与营销
    AI Prompt Library
    探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
    111次使用