深入理解MySQL重做日志redolog
怎么入门数据库编程?需要学习哪些知识点?这是新手们刚接触编程时常见的问题;下面golang学习网就来给大家整理分享一些知识点,希望能够给初学者一些帮助。本篇文章就来介绍《深入理解MySQL重做日志redolog》,涉及到log、MySQLRedo,有需要的可以收藏一下
在事务的ACID特性中,原子性(A)、一致性(C)、持久性(D)由undo log和redo log实现,隔离性(I)由锁+MVCC实现
undo log:事务还没有commit,中途执行异常,可以使用undo log把数据恢复到事务执行前的状态,确保事务的原子性
redo log:事务commit成功,由于更新磁盘数据需要一段时间,此时若发生异常,可以使用redo log重新执行这一事务的SQL,确保事务的持久性(只要事务commit成功,不管发生什么异常事件,只要下一次MySQL服务正常进行,那上一次commit的数据一定要恢复回来)
一、redo log概念
redo log:被称为物理日志,记录的就是最终修改后的按页面存储的数据页,直接存数据最终的状态,用于确保事务的持久性
undo log:被称为逻辑日志,存储的是具体的相应的SQL语句。如果现在执行的是insert,回滚的时候就执行delete;如果现在执行的update,就把原来的旧值再update回来
redo log默认放在/var/lib/mysql下

redo log是在事务begin时就开始记录(并不是事务commit时才记录,因为整个事务做的操作可能很多,如果在commit的时候才写redo log,此时一旦发生异常,redo log还没写,这就太晚了,无法确保事务的持久性),不管事务是否提交都会记录下来,在异常发生时(如数据持久化过程中掉电),InnoDB会使用redo log恢复到掉电前的时刻,保证数据的完整性
innodb_log_buffer_size默认是16M,就是redo log缓冲区的大小,它随着事务开始,就开始写redo log,如果事务比较大,为了避免事务执行过程中花费过多磁盘IO,可以设置比较大的redo log缓存,节省磁盘IO。往磁盘上刷是有刷新的时机,达到时机就花费磁盘IO,如果buffer比较大,会更慢的达到刷新的时机,效率更高。

InnoDB修改操作数据,不是直接修改磁盘上的数据,实际只是修改Buffer Pool中的数据。InnoDB总是先把Buffer Pool中的数据改变记录到redo log中,用来进行崩溃后的数据恢复。 优先记录redo log,然后再找时机慢慢的将Buffer Pool中的脏数据刷新到磁盘上。
innodb_log_group_home_dir指定的目录下的两个文件:ib_logfile0,ib_logfile1,该文件被称作重做日志
buffer pool缓存池: 可存放索引缓存、数据缓存等,可加速读写,直接操作数据页,写redo log修改就算完成,有专门的线程去做把buffer pool中的dirty page写入磁盘
buffer pool默认大小为134M(MySQL 5.7)

大致结构如图所示:

事务读取,修改都是优先操作缓存池中的数据。在实际项目中,mysqld会单独的跑在一个机器上,可以分配大量的内存专门做InnoDB的buffer pool,加快CRUD
二、缓存、磁盘结构

当事务commit的时候,在关系图上的操作就是把InnoDB Log Buffer的内容写入磁盘,写成功的话,在磁盘上的redo log会记录状态——commit,如果没有写成功或者写完,则记录状态——prepare
log在写入磁盘的过程中也有可能发生异常,断电等问题,导致在写redo log的时候没有写完(这相当于事务没有commit成功),此时MySQL下次在恢复的时候就没有必要考虑这个事务的完整性,因为状态并不是commit,都写入磁盘上才表示redo log写成功,状态才变成commit。状态变成commit后需要维护事务的ACID特性。
是不是commit的时候,buffer poll里面的脏数据(数据有被修改)才被写入磁盘?
并不需要等commit的时候才开始。事务可能修改的数据量比较大,而缓存容量有限,对于buffer poll缓存的数据,会有专门的线程在合适的时间,往磁盘上去刷新,如果出现掉电,下一次MySQL启动后,会根据redo log里面记录的数据,对数据进行恢复。
undo log本身也是记录在redo log中
undo log支持事务回滚,也不是一瞬间就能完整,最终要修改的也是磁盘上的数据,为防止回滚过程中出现异常,所以undo log要记录在redo log里面。事务commit成功或者rollback成功,对于底层,都是成功的把操作写到redo log里面。
什么是真正的事务commit成功?
不是把数据全部刷到磁盘,而是把记录事务完整操作的redo log从log buffer写入磁盘,再把被修改数据的状态置为commit才算是实现了事务commit成功。此时虽然数据还在buffer poll,但只要我们的redo log保存完整,数据就可以恢复,会有专门的线程去负责把buffer poll里的数据写入磁盘
事务进行操作的时候,永远是先写redo log,然后才是写buffer pool;事务成功commit,就是要保证redo log完整记录到磁盘上
至于表数据的更改,buffer pool的脏数据页是不是刷新到磁盘上,我们根本不用担心,只要redo log完整的写到磁盘上,我们可以随时通过redo log重做日志来恢复事务成功commit的数据状态(数据库最重要的是日志,而不是数据)
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于数据库的相关知识,也可关注golang学习网公众号。
为什么MySQL不建议使用SELECT *
- 上一篇
- 为什么MySQL不建议使用SELECT *
- 下一篇
- MySQL表锁、行锁、排它锁及共享锁的使用详解
-
- 聪慧的飞机
- 受益颇多,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,帮助很大,总算是懂了,感谢老哥分享文章内容!
- 2023-01-27 14:50:12
-
- 玩命的滑板
- 这篇技术贴真是及时雨啊,好细啊,很有用,收藏了,关注师傅了!希望师傅能多写数据库相关的文章。
- 2023-01-15 16:53:14
-
- 踏实的香氛
- 受益颇多,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢作者大大分享文章!
- 2023-01-07 21:56:40
-
- 危机的铅笔
- 这篇文章内容真及时,细节满满,很有用,已加入收藏夹了,关注大佬了!希望大佬能多写数据库相关的文章。
- 2023-01-07 16:16:25
-
- 酷炫的西牛
- 这篇博文真及时,好细啊,太给力了,已加入收藏夹了,关注楼主了!希望楼主能多写数据库相关的文章。
- 2023-01-06 19:14:45
-
- 干净的蚂蚁
- 细节满满,mark,感谢up主的这篇文章内容,我会继续支持!
- 2023-01-01 10:46:42
-
- 数据库 · MySQL | 6小时前 |
- 用验证报告代替布尔结果定位 JSON Schema 中缺失或类型错误的字段
- 230浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 区分 BEFORE 触发器修改 NEW 与 AFTER 触发器只能读取行值的行为
- 155浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 使用 FOLLOWS 或 PRECEDES 明确同一事件多个触发器的先后关系
- 333浏览 收藏
-
- 数据库 · MySQL | 6小时前 | MySQL · 视图 · MySQL视图 CHECK TABLE SHOW CREATE VIEW 视图失效 表结构迁移
- 定位底层表变更导致的视图失效,并用 CHECK TABLE 检查定义问题
- 161浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 用嵌套可更新视图对比 LOCAL 与 CASCADED 对写入条件的检查范围
- 363浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 说明 CREATE TABLE SELECT 默认忽略隐藏列时如何显式选择并检查新表属性
- 266浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 区分通配查询与显式列名查询在 INVISIBLE 列上的返回差异
- 213浏览 收藏
-
- 数据库 · MySQL | 6小时前 |
- 用 LOAD DATA IGNORE 导入时识别违反 CHECK 的行并保留警告信息
- 170浏览 收藏
-
- 数据库 · MySQL | 6小时前 | MySQL · 迁移 · mysql 数据迁移 CHECK NOT ENFORCED ENFORCED
- 比较 NOT ENFORCED 与 ENFORCED 的迁移步骤并处理存量脏数据
- 395浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 456次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 521次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 536次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 484次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 304次使用
-
- Go语言中log日志库的介绍
- 2023-01-13 352浏览
-
- golang 输出重定向:fmt Log,子进程Log,第三方库logrus的详解
- 2023-01-07 258浏览
-
- 深入探究Golang中log标准库的使用
- 2023-05-12 434浏览
-
- mysql日志系统redolog和binlog介绍
- 2022-12-28 431浏览
-
- MySQLRedo与Undo日志详细解析
- 2022-12-31 134浏览

