当前位置:首页 > 文章列表 > 数据库 > MySQL > 浅谈Mysqlinsertonduplicatekey死锁问题定位与解决

浅谈Mysqlinsertonduplicatekey死锁问题定位与解决

来源:脚本之家 2023-01-07 12:12:37 0浏览 收藏

本篇文章给大家分享《浅谈Mysqlinsertonduplicatekey死锁问题定位与解决》,覆盖了数据库的常见基础知识,其实一个语言的全部知识点一篇文章是不可能说完的,但希望通过这些问题,让读者对自己的掌握程度有一定的认识(B 数),从而弥补自己的不足,更好的掌握它。

这篇文章就从分析死锁展开,到最终如何解决这样的问题 分享相应的思路。

死锁定位

我们目前生产环境使用Mysql版本为5.7,默认事务隔离级别为RR,以下为我们的大致table结构(字段已经完全脱敏,使用非业务字段)。

CREATE TABLE IF NOT EXISTS `user_info` (
        id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT,
        name VARCHAR(20) NOT NULL,
        phone BIGINT(20) UNSIGNED NOT NULL,
        update_time timestamp  NOT NULL,
        UNIQUE KEY phone (phone)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

造成死锁的sql如下:

insert into user_info (name, phone, update_time) values (X,Y,Z) on duplicate key update update_time=Z;

当我们看到死锁后,在对应数据库中进行分析,”show engine innodb status“,就发现这样的报错信息"lock_mode X locks gap before rec insert intention waiting"。意思就是在等待gap lock(间隙锁)。

于是我们开始分析on duplicate key这个关键字的sql所可能引入的锁,以及对应我们业务场景中可能触发死锁的问题。

insert on duplicate key的锁

首先insert on duplicate key 这条sql的语义是:如果insert中的对应键值在数据库中没有找到对应的唯一索引记录,即进行插入;如果对表中唯一索引记录冲突,便进行更新,能够很轻松的达到一种效果: 有则直接更新,无则插入。而我们业务中的sql是自增主键id,这样一来冲突的只有可能是 phone这个唯一索引了。

首先,在RR的事务隔离级别下,insert on duplicate key这个sql与普通insert只插入意向锁和记录锁不同,insert on duplicate key sql如果没有找到对应的会在唯一键上插入gap lock和插入意向锁(如果有对应记录则会获取next key lock,next key lock 比gap lock多了一个边缘的记录锁)。Mysql sql lock

gap lock即间隙锁,假设目前表中唯一键的数据有以下几个,1,5,10。那么insert的key如果是4,在1-5之间,则获取的gap lock的区间就是(1,5);如果插入的数据是15,则在10-正无穷之间,因此gap lock的区间就是(10,正无穷),这个gap lock。

插入意向锁也是类似于gap lock的一种,生效的范围也一致,只是对应锁上相同范围或者有交集的。横轴为已持有,纵轴为后续申请,是否互斥或兼容。

兼容性插入意向锁行锁gap lock
插入意向锁兼容互斥互斥
行锁兼容互斥兼容
gap lock兼容兼容兼容

因此可以看到,在持有gap lock时,在插入的时候如果申请插入意向锁,便会需要等待,而insert on duplicate key的sql在执行时一般就是gap lock和插入意向锁。那么造成死锁的问题就定位到了,肯定是同一时间多个insert事务到来,并且所插入的记录对应的唯一键范围基本一致,所拥有的gap lock和插入意向锁的范围有交集,便可以出现共同持有锁反而造成死锁的问题。

那我们大致还原一下对应场景,以下是目前数据库中的数据

idnamephonetimestamp
1jack155000000001970.1.1
2tom156000000001970.1.1
3hurry157000000001970.1.1
阶段tx1tx2tx3
1insert into user_info (name, phone, update_time) values (test1,15700000001,1970.1.1) on duplicate key update update_time=now();  
1持有(15700000001,正无穷)的插入意向锁以及gap lock  
2 insert into user_info (name, phone, update_time) values (test2,15700000002,1970.1.1) on duplicate key update update_time=now(); 
2 申请(15700000002,正无穷)的插入意向锁失败,申请gap lock成功,等待中 
3  insert into user_info (name, phone, update_time) values (test3,15700000004,1970.1.1) on duplicate key update update_time=now();
3  申请(15700000003,正无穷)的插入意向锁失败,申请gap lock成功,等待中
4commit 提交事务,释放锁  
5 申请插入意向锁成功申请插入意向锁成功
6 死锁死锁

因此形成死锁,其中一个事务回滚。

问题解决

可以看到,在我们的业务场景中,并没有特别复杂的sql,但是仍然会导致死锁,主要是插入数据的有序性以及高并发性,因此我们的解决思路也相对简单。

针对我们业务的几个思路:

  • 取消使用insert on duplicate key sql,换用普通insert sql,然后捕获对应dupicate 异常,进行异常重试和插入;
  • 业务上进行接口限流,并且入参数据的insert on duplicate key 数据list大小在事务中进行控制,分批执行,可以减少死锁的情况。

insert on duplicate key 虽然很方便一条sql完成几条sql的事情,保证原子性,但是还是不适用于较高并发的场景,使用时需要多权衡。

今天关于《浅谈Mysqlinsertonduplicatekey死锁问题定位与解决》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!

版本声明
本文转载于:脚本之家 如有侵犯,请联系study_golang@163.com删除
Mysql报Table 'mysql.user' doesn't exist问题的解决方法Mysql报Table 'mysql.user' doesn't exist问题的解决方法
上一篇
Mysql报Table 'mysql.user' doesn't exist问题的解决方法
MySQL数据库之字符集 character
下一篇
MySQL数据库之字符集 character
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • SEO标题魔匠AI:高质量学术写作平台,毕业论文生成与优化专家
    魔匠AI
    SEO摘要魔匠AI专注于高质量AI学术写作,已稳定运行6年。提供无限改稿、选题优化、大纲生成、多语言支持、真实参考文献、数据图表生成、查重降重等全流程服务,确保论文质量与隐私安全。适用于专科、本科、硕士学生及研究者,满足多语言学术需求。
    20次使用
  • PPTFake答辩PPT生成器:一键生成高效专业的答辩PPT
    PPTFake答辩PPT生成器
    PPTFake答辩PPT生成器,专为答辩准备设计,极致高效生成PPT与自述稿。智能解析内容,提供多样模板,数据可视化,贴心配套服务,灵活自主编辑,降低制作门槛,适用于各类答辩场景。
    36次使用
  • SEO标题Lovart AI:全球首个设计领域AI智能体,实现全链路设计自动化
    Lovart
    SEO摘要探索Lovart AI,这款专注于设计领域的AI智能体,通过多模态模型集成和智能任务拆解,实现全链路设计自动化。无论是品牌全案设计、广告与视频制作,还是文创内容创作,Lovart AI都能满足您的需求,提升设计效率,降低成本。
    39次使用
  • 美图AI抠图:行业领先的智能图像处理技术,3秒出图,精准无误
    美图AI抠图
    美图AI抠图,依托CVPR 2024竞赛亚军技术,提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景,支持批量处理,3秒出图,零PS基础也能轻松操作,满足个人与商业需求。
    45次使用
  • SEO标题PetGPT:智能桌面宠物程序,结合AI对话的个性化陪伴工具
    PetGPT
    SEO摘要PetGPT 是一款基于 Python 和 PyQt 开发的智能桌面宠物程序,集成了 OpenAI 的 GPT 模型,提供上下文感知对话和主动聊天功能。用户可高度自定义宠物的外观和行为,支持插件热更新和二次开发。适用于需要陪伴和效率辅助的办公族、学生及 AI 技术爱好者。
    44次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码