一体化数据同步平台 DM 1.0 GA 发布
你在学习数据库相关的知识吗?本文《一体化数据同步平台 DM 1.0 GA 发布》,主要介绍的内容就涉及到MySQL、数据库、数据同步,如果你想提升自己的开发能力,就不要错过这篇文章,大家要知道编程理论基础和实战操作都是不可或缺的哦!
DM(TiDB Data Migration)是由 PingCAP 开发的一体化数据同步平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。无论是从 MySQL 向 TiDB 进行平滑数据迁移还是用 TiDB 作为多个 MySQL 实例的数据汇总库,都可以通过 DM 来实现。DM 在 TiDB DevCon 2019 上正式开源,经过半年多时间在大量用户、开发者的支持和反馈下,其功能和稳定性越来越完善。在今天,我们宣布 DM 1.0 GA 正式发布。

核心特性
一体化数据同步
在进行上下游数据同步的时候,一般需要先进行全量数据复制,再进行增量数据同步。DM 同步任务支持配置多个上游 MySQL/MariaDB 实例,并且同时执行全量迁移和增量同步,可以简单稳定地满足用户迁移数据的场景。
同步规则可配置
DM 提供了包括库表路由(Table routing)、黑白名单(Black & white table lists)、binlog 过滤(Binlog event filter)在内丰富的数据同步规则,支持在数据同步中进行自定义配置。
分库分表自动合并
在使用 MySQL 支撑大量数据时,经常会选择使用分库分表的方案。但当将数据同步到 TiDB 后,通常希望逻辑上进行合库合表。DM 针对合库合表的同步场景,提供了强大的分库分表自动合并机制,能够协调上游各分片之间的 DDL 同步,保证数据同步的正确性。
异常任务自动恢复
在数据同步的过程中,上游、下游、DM 自身的问题都有可能导致同步任务的中断。DM 针对常见的异常同步场景进行了优化,支持自动检测相关服务状态并自动尝试恢复大部分的异常同步任务,使得同步任务的运行更加稳定可靠。
更多资料
大家可以参考 DM 使用文档 来部署并体验,参考 DM 升级指南 更新至 GA 版本。想深入了解 DM 相关实现原理的同学,也可以查看 DM 源代码 以及配套的 DM 源码阅读系列 文章。如果有相关的问题,欢迎在 Github 上提 issue 或者是在 AskTUG 问答社区 中讨论。
下一步计划
最后再次感谢各位用户、开发者对 DM 提供的支持和帮助。在 DM 1.0 GA 发布之后,我们会持续打磨优化 DM,在接下来的版本中,提供 DM 组件高可用、优化分库分表合并机制、支持同步过程在线校验等新特性,向更加完善的数据同步平台方向持续演进。
到这里,我们也就讲完了《一体化数据同步平台 DM 1.0 GA 发布》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于mysql的知识点!
技术分享 | 快速定位令人头疼的全局锁
- 上一篇
- 技术分享 | 快速定位令人头疼的全局锁
- 下一篇
- spring-boot-plusV1.2.3发布,CentOS快速安装环境/构建/部署/启动项目
-
- 无聊的大碗
- 这篇文章真是及时雨啊,好细啊,真优秀,已加入收藏夹了,关注博主了!希望博主能多写数据库相关的文章。
- 2023-06-01 04:21:20
-
- 爱撒娇的草莓
- 这篇文章内容太及时了,很详细,感谢大佬分享,已收藏,关注博主了!希望博主能多写数据库相关的文章。
- 2023-02-09 00:35:41
-
- 数据库 · MySQL | 9小时前 |
- MySQL GTID 自动定位与复制拓扑切换清单
- 313浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL 在线 DDL 的锁等待控制方法
- 266浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL 生成列配合索引的 JSON 字段检索
- 407浏览 收藏
-
- 数据库 · MySQL | 10小时前 | MySQL · 复制 · 数据库运维 · 复制延迟 主从切换 MySQL GTID WAIT_FOR_EXECUTED_GTID_SET gtid_executed
- MySQL WAIT_FOR_EXECUTED_GTID_SET 怎样等待复制位点追平
- 227浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL invisible index 试运行与优化器开关
- 425浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL READ COMMITTED 下的锁定读范围
- 453浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL CTE 递归查询组织层级的终止条件
- 274浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL FORMAT_BYTES 怎样显示容量并保留数值排序
- 243浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL REGEXP_INSTR 怎样定位第几个正则匹配位置
- 403浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL GTID_SUBTRACT 怎样找出两个事务集合的差集
- 287浏览 收藏
-
- 数据库 · MySQL | 10小时前 |
- MySQL LATERAL 派生表按外层行筛选最近记录的查询方案
- 202浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 758次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 756次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 838次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 805次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 635次使用
-
- MySQL 明明加了索引,为什么查询还是很慢?先查这 6 个点
- 2026-06-27 374浏览
-
- 接口返回的数据和数据库不一致怎么办?按数据生命周期排查
- 2026-06-27 398浏览
-
- golang MySQL实现对数据库表存储获取操作示例
- 2022-12-22 499浏览
-
- golang 基于 mysql 简单实现分布式读写锁
- 2023-01-07 384浏览
-
- 详解如何利用GORM实现MySQL事务
- 2023-01-07 184浏览

