温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
Oracle整库实时CDC同步到Doris,您还在因为海量数据实时同步时容易延迟的问题和复杂的CDC配置而熬夜加班吗?All data数据中台将带您实操演示如何用一个统一的链路实现毫秒级CDC实时同步。第一步,同步前检查原端和目标端数据情况。这里看到原端三个表都有数据,现在查看同步前目标端数据情况,目标端现在没有这三个数据表。第二步,在实时开发IDE中创建同步任务,创建前先检查数据源是否正常连接,源端选择Oracle,目标端选择doras。
01:00
在集群中的flink的实例中创建一个实时计算集群,后续可以让多个任务在同一个集群中运行,保持数据的一致性。在业务生产环境下,推荐配置简单,稳定可控,适合固定负载stand alone模式,并确定集群的运行是正常的。现在打开数据开发,进行创建同步任务,先创建一个项目目录,然后添加项目同步作业,填写完作业信息后,在操作区编辑flixk语句,设置同步规则,这部分是设置原端Oracle。
02:00
这里是设置同步Oracle的哪些表同步模式设置了先做全量同步,再实时捕获增量,然后每5秒保存一次数据状态。这部分是设置目标端Doris,设置了将数据同步到哪个数据库中,每一条数据就写入一次,如果失败了就重试一次。写入Dores时使用gten格式,在正式生产环境下选择stand alone这个模式优点是稳定、独占、启动快、无外部依赖,最省心。填写完配置后点击启动正式开始同步。开始同步后可以看到同步的运行详情,刷新执行历史,可以查看是否执行成功。
03:00
现在打开运维中心查看执行详细,详情中可以看到这次执行耗时多久以及查看数据流程,这里可以进入flink页面查看同步运行的状态,这里显示同步任务正常运行中。第三步校验同步结果和实时同步状态。打开目标端Doris,查看数据表是否同步成功。现在看到目标端已成功创建数据表,并且数据表数量和字段结构跟原表一致。返回原端给department info这个数据表添加5条新数据,现在原端有5条新数据,无需任何操作,直。
04:00
且打开目标端查看是否实时同步,目标端显示已实时同步了原表的5条新数据,至此,整库实时同步成功。
我来说两句