【实时开发IDE】Hive全量同步到Doris实战操作！原创

Hive全量同步到Doris您还在为hive海量历史数据无法被业务系统实时调用而烦恼吗？今天All data数据中台告诉您，让hiph到doras的全量同步几分钟就搞定，轻松唤醒沉睡数据的实时价值。第一步，检查同步前的原端和目标端数据情况。先查看hipe需要同步的数据表情况，这里看到r dependents这个数据表有10条数据，现在到目标端查看是否有数据表，这里看到当前目标端是没有数据表。由于Hiph和Doris数据结构不同，这里不支持自动生成，需要手动创建数据表进行同步，在目标端以成功创建跟原表字段一致的数据表。第二步，在实时开发IDE中创建同步任务确认数。

聚源和flink集群处于正常运行后，在数据开发创建同步任务。先创建一个项目目录，在项目目录下创建同步作业，并在操作区填写flixk语句，设置同步规则，这选择一个集群运行同步任务。这部分是告诉系统在have哪里读数据，这部分设置了将数据同步到Doris的哪个数据库中，并且定义了目标表的结构。这一步就是执行真正的同步操作，把hiph表里的所有数据全搬到Doris表里，全量同步完成后就停止填写，完成后点击启动开始同步，在执行历史中可以查看是否同步成功，打开运维中心。

查看同步详情在运行详情页里可以查看同步作业的运行耗时以及日志信息等。详细进入flink页面查看当前运行状态，这里显示同步任务已运行完成。第三步到目标端校验同步结果，刷新后显示目标端以同步原表的10条数据，并且字段结构一致。至此，全量同步成功。