浅谈Mysqlinsertonduplicatekey死锁问题定位与解决
本篇文章给大家分享《浅谈Mysqlinsertonduplicatekey死锁问题定位与解决》,覆盖了数据库的常见基础知识,其实一个语言的全部知识点一篇文章是不可能说完的,但希望通过这些问题,让读者对自己的掌握程度有一定的认识(B 数),从而弥补自己的不足,更好的掌握它。
这篇文章就从分析死锁展开,到最终如何解决这样的问题 分享相应的思路。
死锁定位
我们目前生产环境使用Mysql版本为5.7,默认事务隔离级别为RR,以下为我们的大致table结构(字段已经完全脱敏,使用非业务字段)。
CREATE TABLE IF NOT EXISTS `user_info` (
id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
name VARCHAR(20) NOT NULL,
phone BIGINT(20) UNSIGNED NOT NULL,
update_time timestamp NOT NULL,
UNIQUE KEY phone (phone)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
造成死锁的sql如下:
insert into user_info (name, phone, update_time) values (X,Y,Z) on duplicate key update update_time=Z;
当我们看到死锁后,在对应数据库中进行分析,”show engine innodb status“,就发现这样的报错信息"lock_mode X locks gap before rec insert intention waiting"。意思就是在等待gap lock(间隙锁)。
于是我们开始分析on duplicate key这个关键字的sql所可能引入的锁,以及对应我们业务场景中可能触发死锁的问题。
insert on duplicate key的锁
首先insert on duplicate key 这条sql的语义是:如果insert中的对应键值在数据库中没有找到对应的唯一索引记录,即进行插入;如果对表中唯一索引记录冲突,便进行更新,能够很轻松的达到一种效果: 有则直接更新,无则插入。而我们业务中的sql是自增主键id,这样一来冲突的只有可能是 phone这个唯一索引了。
首先,在RR的事务隔离级别下,insert on duplicate key这个sql与普通insert只插入意向锁和记录锁不同,insert on duplicate key sql如果没有找到对应的会在唯一键上插入gap lock和插入意向锁(如果有对应记录则会获取next key lock,next key lock 比gap lock多了一个边缘的记录锁)。Mysql sql lock。
gap lock即间隙锁,假设目前表中唯一键的数据有以下几个,1,5,10。那么insert的key如果是4,在1-5之间,则获取的gap lock的区间就是(1,5);如果插入的数据是15,则在10-正无穷之间,因此gap lock的区间就是(10,正无穷),这个gap lock。
插入意向锁也是类似于gap lock的一种,生效的范围也一致,只是对应锁上相同范围或者有交集的。横轴为已持有,纵轴为后续申请,是否互斥或兼容。
| 兼容性 | 插入意向锁 | 行锁 | gap lock |
|---|---|---|---|
| 插入意向锁 | 兼容 | 互斥 | 互斥 |
| 行锁 | 兼容 | 互斥 | 兼容 |
| gap lock | 兼容 | 兼容 | 兼容 |
因此可以看到,在持有gap lock时,在插入的时候如果申请插入意向锁,便会需要等待,而insert on duplicate key的sql在执行时一般就是gap lock和插入意向锁。那么造成死锁的问题就定位到了,肯定是同一时间多个insert事务到来,并且所插入的记录对应的唯一键范围基本一致,所拥有的gap lock和插入意向锁的范围有交集,便可以出现共同持有锁反而造成死锁的问题。
那我们大致还原一下对应场景,以下是目前数据库中的数据
| id | name | phone | timestamp |
|---|---|---|---|
| 1 | jack | 15500000000 | 1970.1.1 |
| 2 | tom | 15600000000 | 1970.1.1 |
| 3 | hurry | 15700000000 | 1970.1.1 |
| 阶段 | tx1 | tx2 | tx3 |
|---|---|---|---|
| 1 | insert into user_info (name, phone, update_time) values (test1,15700000001,1970.1.1) on duplicate key update update_time=now(); | ||
| 1 | 持有(15700000001,正无穷)的插入意向锁以及gap lock | ||
| 2 | insert into user_info (name, phone, update_time) values (test2,15700000002,1970.1.1) on duplicate key update update_time=now(); | ||
| 2 | 申请(15700000002,正无穷)的插入意向锁失败,申请gap lock成功,等待中 | ||
| 3 | insert into user_info (name, phone, update_time) values (test3,15700000004,1970.1.1) on duplicate key update update_time=now(); | ||
| 3 | 申请(15700000003,正无穷)的插入意向锁失败,申请gap lock成功,等待中 | ||
| 4 | commit 提交事务,释放锁 | ||
| 5 | 申请插入意向锁成功 | 申请插入意向锁成功 | |
| 6 | 死锁 | 死锁 |
因此形成死锁,其中一个事务回滚。
问题解决
可以看到,在我们的业务场景中,并没有特别复杂的sql,但是仍然会导致死锁,主要是插入数据的有序性以及高并发性,因此我们的解决思路也相对简单。
针对我们业务的几个思路:
- 取消使用insert on duplicate key sql,换用普通insert sql,然后捕获对应dupicate 异常,进行异常重试和插入;
- 业务上进行接口限流,并且入参数据的insert on duplicate key 数据list大小在事务中进行控制,分批执行,可以减少死锁的情况。
insert on duplicate key 虽然很方便一条sql完成几条sql的事情,保证原子性,但是还是不适用于较高并发的场景,使用时需要多权衡。
今天关于《浅谈Mysqlinsertonduplicatekey死锁问题定位与解决》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!
Mysql报Table 'mysql.user' doesn't exist问题的解决方法
- 上一篇
- Mysql报Table 'mysql.user' doesn't exist问题的解决方法
- 下一篇
- MySQL数据库之字符集 character
-
- 无奈的钥匙
- 感谢大佬分享,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢作者分享文章内容!
- 2023-04-08 18:42:15
-
- 单纯的过客
- 这篇文章真是及时雨啊,太全面了,很好,码住,关注up主了!希望up主能多写数据库相关的文章。
- 2023-03-03 02:28:20
-
- 阳光的小海豚
- 细节满满,mark,感谢师傅的这篇文章内容,我会继续支持!
- 2023-02-17 03:24:34
-
- 虚拟的飞机
- 这篇技术文章真及时,好细啊,太给力了,码起来,关注楼主了!希望楼主能多写数据库相关的文章。
- 2023-02-10 21:34:04
-
- 数据库 · MySQL | 1小时前 | MySQL · binlog · 备份恢复 · mysql binary log 备份恢复 mysqlbinlog 二进制日志
- MySQL 备份恢复时如何验证二进制日志位置
- 216浏览 收藏
-
- 数据库 · MySQL | 2小时前 |
- MySQL LOAD DATA 导入带引号换行的 CSV 怎么设置
- 335浏览 收藏
-
- 数据库 · MySQL | 3小时前 |
- MySQL utf8mb4 排序规则不一致时怎么处理连接报错
- 101浏览 收藏
-
- 数据库 · MySQL | 5小时前 | MySQL · 分区 · 数据保留 · mysql 分区表 历史数据清理 RANGE COLUMNS
- MySQL 分区表怎么按日期清理历史数据
- 327浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- MySQL 事务里 SKIP LOCKED 为什么会跳过未提交任务
- 209浏览 收藏
-
- 数据库 · MySQL | 8小时前 |
- MySQL invisible index 怎么验证索引删除前的影响
- 263浏览 收藏
-
- 数据库 · MySQL | 9小时前 | MySQL · 数据库 · 查询排错 · 递归CTE · mysql WITH RECURSIVE cte_max_recursion_depth CTE 递归查询
- MySQL CTE 递归查询怎么限制层数避免无限展开
- 165浏览 收藏
-
- 数据库 · MySQL | 15小时前 | MySQL · 性能优化 · 执行计划 · mysql 执行计划 慢查询 EXPLAIN ANALYZE
- MySQL EXPLAIN ANALYZE 怎么判断实际行数偏差
- 389浏览 收藏
-
- 数据库 · MySQL | 17小时前 |
- MySQL 窗口函数排序并列时怎么只保留一条结果
- 109浏览 收藏
-
- 数据库 · MySQL | 1天前 | MySQL · SQL · GROUP_CONCAT · mysql group_concat group_concat_max_len
- MySQL GROUP_CONCAT 结果被截断怎么处理
- 470浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 173次使用
-
- C-Eval
- 深入了解C-Eval中文评估套件,涵盖52个学科与4级难度。本文详解其功能特点、Zero-shot/Few-shot使用方法及代码示例,助您全面评测LLM中文理解与泛化能力。
- 102次使用
-
- AI Prompt Library
- 探索AI Prompt Library免费资源库,涵盖营销、写作及多场景AI提示词。兼容ChatGPT、Claude等工具,一键复制优化输出,提升工作效率。
- 31次使用
-
- LangGPT
- LangGPT是一种受编程语言启发的结构化提示词设计工具,提供双层框架、模块化模板及变量功能,帮助用户高效编写高质量Prompt。该项目已在GitHub免费开源,适用于内容创作、编程辅助等多场景。
- 40次使用
-
- ClickPrompt
- ClickPrompt是一款专为AI提示词编写者设计的开源在线工具,支持Stable Diffusion绘图、ChatGPT对话及GitHub Copilot代码辅助。提供Prompt自动生成、一键运行、社区分享及可视化优化功能,帮助用户高效获取精准AI输出。
- 76次使用
-
- 浅谈GO中的Channel以及死锁的造成
- 2022-12-30 462浏览
-
- 详解Golang Map中的key为什么是无序的
- 2023-01-01 197浏览
-
- 详解Golang并发操作中常见的死锁情形
- 2023-02-16 167浏览
-
- Go 语言中的死锁问题解决
- 2023-01-07 224浏览
-
- golang coroutine 的等待与死锁用法
- 2023-01-07 296浏览
