【实时开发IDE】Hive增量同步到Doris实战操作！原创

Have增量同步到Doris，您是否正为增量同步中的分区管理混乱、同步流程复杂而疲于应对？All data数据中台带您体验流畅、稳定、自动化的haveve增量同步数据同步本该如此简单。第一步，同步前查数据情况，这里看到原表有12条数据，本次操作只要同步原表最新时间的数据，在控制台通过SQL语句查询，看到这个表最新的是5月1日的12条数据。现在打开目标端查看是否有数据表，目标端现在已有跟原表一样字段结构的数据表。由于Have和Doris数据表结构不同，这里同步需要先手动创建一个字段结构一致的数据表。

第二步，在实时开发IDE中创建同步任务。同步前检查数据源和flink集群是否正常运行。在数据开发中创建同步作业，可以在同业务的目录下创建新的作业，后续方便维护管理。填写同步作业名称，选择一个集群运行同步作业。这里建议同业务的选择同一个集群。在操作区填写flix call语句，设置同步规则，这部分是告诉系统找哪个have数据源，这部分设置目标端需要将数据写入哪个目标库中，并定义目标表的字段结构。每攒够5000条发一批，任务结束时自动把剩余所有数据。

强制刷出确保不丢数据，失败重试3次，数据格式为h sin, 这部分是执行同步的操作，是同步原表5月的数据，点击启动，这里显示同步的执行细节，在执行历史中查看本次执行是否成功。打开运维中心查看同步的详细情况，在运维详情页面可以看到本次同步耗时多久以同步数据流程和作业日志等信息。点击进入flink页面查看同步情况，这里显示本次同步已完成第三步校验数据同步结果。打开目标端刷新后查看数据同步结果刷新后显示目标表以同步了5。

月的12条数据。至此，增量同步成功。