同步 MySQL 数据至 Elasticsearch/Redis/MQ 等的五种方式

IT行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习，精进自己的技术，尤其是初学者。今天golang学习网给大家整理了《同步 MySQL 数据至 Elasticsearch/Redis/MQ 等的五种方式》，聊聊MySQL、Java、go、Node.js、后端，我们一起来看看吧！

同步 MySQL 数据至 Elasticsearch/Redis/MQ 等的五种方式

在实际应用中，我们经常需要把 MySQL 的数据同步至其它数据源，也就是在对 MySQL 的数据进行了新增、修改、删除等操作后，把该数据相关的业务逻辑变更也应用到其它数据源，例如：

• MySQL -> Elasticsearch ，同步 ES 的索引
• MySQL -> Redis ，刷新缓存
• MySQL -> MQ (如 Kafka 等) ，投递消息

本文总结了五种数据同步的方式。

1. 业务层同步

由于对 MySQL 数据的操作也是在业务层完成的，所以在业务层同步操作另外的数据源也是很自然的，比较常见的做法就是在 ORM 的 hooks 钩子里编写相关同步代码。

这种方式的缺点是，当服务越来越多时，同步的部分可能会过于分散从而导致难以更新迭代，例如对 ES 索引进行不兼容迁移时就可能会牵一发而动全身。

2. 中间件同步

当应用架构演变为微服务时，各个服务里可能不再直接调用 MySQL ，而是通过一层 middleware 中间件，这时候就可以在中间件操作 MySQL 的同时同步其它数据源。

这种方式需要中间件去适配，具有一定复杂度。

3. 定时任务根据 updated_at 字段同步

在 MySQL 的表结构里设置特殊的字段，如 updated_at（数据的更新时间），根据此字段，由定时任务去查询实际变更的数据，从而实现数据的增量更新。

这种方式你可以使用开源的 Logstash 去完成。

当然缺点也很明显，就是无法同步数据的删除操作。

4. 解析 binlog 同步

比如著名的 canal 。

通过伪装成 slave 去解析 MySQL 的 binary log 从而得知数据的变更。

这是一种业界比较成熟的方案。

这种方式要求你将 MySQL 的

binlog-format

ROW

5. 解析 binlog -- mixed / statement 格式

MySQL 的

binlog

• ROW

  模式，binlog 按行的方式去记录数据的变更；

• statement

  模式，binlog 记录的是 SQL 语句；

• mixed

  模式时，混合以上两种，记录的可能是 SQL 语句或者

  ROW

  模式的每行变更；

某些情况下，可能你的 MySQL

binlog

ROW

ROW

这种方式的限制也很明显，一是需要自己适配业务解析 SQL ，二是批量更新这种场景可能很难处理，当然如果你的数据都是简单的根据主键进行修改或者删除则能比较好的适用。

结语

最后列举几个 binlog 解析的开源库：

• canal
• go-mysql
• zongji

本篇关于《同步 MySQL 数据至 Elasticsearch/Redis/MQ 等的五种方式》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于数据库的相关知识，请关注golang学习网公众号！