【实时开发IDE】MySQL整库同步到Doris实战操作！原创

实时开发IDE Miss call整库同步到Doris，支持抓取新增数据，并实时同步更新数据。您还在为整库同步时的主见冲突、数据不一致而头痛吗？现在All data数据中台告诉您，整库同步三步就可以轻松搞定。第一步，同步前检查原端和目标端。在原端检查需要同步的数据表，在目标端确认同步前的数据表是否存在或有无数据，这里看到目标端现在是没有数据表的。第二步，打开实时开发IDE，创建同步任务。先在注册中心检查数据源是否正常启用，这里源端检查Miss Co, 目标端检查Doris数据源。检查完成后在数据开发功能中进行创。

建同步任务，点击这里添加项目目录，在项目目录中创建同步作业，这里填写同步作业的基本信息。成功添加同步作业后，在操作区中编写flixk语句作为同步规则的设置。这部分是Miss code的设置。这里设置了同步哪个数据表，使用ID列作为分片键和变更追踪键。同步模式是initial，先全量同步已有数据，再继续监听增量变更，每5秒保存一次状态。这部分是目标端doras的设置，信息将数据同步到目标端哪个库里，每收到。

当一条数据就立即写入Doris，如果写入失败时，最多重试一次。填写完成后点击运行，这里显示运行的详细信息，在执行历史中可以查看执行记录和运行状态。本次演示使用的是local的作业提交模式，这个模式不会影响别的作业启动快用完就关，适合开发和调试代码的场景。在生产场景中推荐使用stand alone, 这个模式是将作业提交给预先配置好的集群运行。Stand alone中的集群在注册中心的flink实例中预先配置。这样的好处是统一由集群的一个job manager来协调一个任务跑在一个地方，逻辑统一，资源统一，在运维中心可以。

查看同步的全部情况，这里显示了同步作业的基本信息以及作业的数据流图。进入Flink中可以看到同步作业的运行状态，显示是正常运行。第三步到目标端校验同步数据，可以看到目标端已经成功创建数据表，并同步了原表的数据，现在往原表里添加2条新数据，执行结果显示已成功添加2条新数据，然后返回目标端进行刷新后验证是否实时同步了原表的新数据，目标端显示已经自动同步原表的新数据，自此整库同步操作成功。