如何实现 Logstash/Elasticsearch 与MySQL自动同步 更新操作 和 删除操作 ?

积累知识，胜过积蓄金银！毕竟在##column_title##开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《如何实现 Logstash/Elasticsearch 与MySQL自动同步 更新操作 和 删除操作 ?》，就带大家讲解一下MySQL、Elasticsearch、logstash知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

技术背景

我们现在的同步, 是依靠

Logstash

的

input-jdbc-plugin

插件来实现的自动增量更新,这个的方案貌似只能

增量

添加数据而不能修改或者删除数据. 其实不然, 我们根据

input-jdbc-plugin

这个插件的一些配置, 是可以实现我们要的效果的.

方案原理:

用一个

更新时间

的字段来作为每次

Logstash

增量更新的

tracking column

, 这样

Logstash

每次增量更新就会根据上一次的最后的

更新时间

来作为

标记

.
索引的

document id

必须是

主键

, 这样在每次

增量更新

的时候, 才不会只是增加数据, 之前

ID

相同的数据就会被覆盖, 从而达到

update

的效果.

删除

是建立在上面

更新

的原理之上, 就是再加一个

删除标记

的字段, 也就是数据只能

软删除

, 不能

直接删除

.

实施细节:

第一步: 数据表设计

你的表, 必须要有一个

update_time

或同样意思的字段, 表明这条数据修改的时间
如果有删除操作的话, 是不可以直接删除数据的, 必须是软删除,就是还得有一个

delete_time

或者

is_delete

或相同意思的字段

第二步: 配置

logstash

input 和output

input {
  jdbc {
    ...
    statement => "SELECT * FROM article WHERE update_time > :sql_last_value ORDER BY id ASC"
    tracking_column => 'update_time'
    ...
  }
}
output {
  elasticsearch {
    ...
    document_id => "%{id}"
    ...
  }
}

好了，本文到此结束，带大家了解了《如何实现 Logstash/Elasticsearch 与MySQL自动同步 更新操作 和 删除操作 ?》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多数据库知识！