etl engine 通过CDC模式实时同步MySQL增量数据到Elastic数据库原创

今天我们向大家介绍通过ETL engine。实现的CDC模式。将MYSQL增量数据。实时同步到ES服务器上。操作前我们需要的前置条件，先安装好ES数据库服务器。我们模拟在MYSQL数据表T。做增加、删除、修改操作。并监控ETLN。将变化的数据。同步到ES数据库。ESB索引当中。我们还是准备了以下模拟数据。

先登录到ES控制台后端。看一下当前已存在的索引。我们将要创建的索引。目前还没有存在。我们运行已经配置好的ETLN阻塞服务。该服务实现了监控MYSQL数据表。并将变化数据实时同步到ES服务器上。我们做新增操作。向t wow数据表。增加15条记录。

我们通过ES的查询语法查询一下。已经增加了15条记录。这种查询方式输出的结果不是很明显。不直观。我们通过。ETL engine。提供的。SQL编辑器。

看一下查询结果。这个效果非常直观。可以看到。有15条数据。已经同步到ES里面。跟我们通过从ES控制台查询的结果是一样的。我们继续做修改。将第一条和第四条。做一下修改。将F5字段字母都变成大写。F3字段是11和44。

切换到SQL编辑器看一下。F1是一。F14这两条记录。F5字段变成了大写。的确发生了变化。我们继续操作。删除三条记录。我们再看查询结果。变成了12条，已经删除了三条。我们再看查询结果。变成了12条，删除了三条。我们在做。删除全部操作。

到ES控台查询，已经是零条记录。已经是零条记录。证明我们的MYSQL。实时数据已经同步到ES服务器上。