温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
那接下来呢,我们把刚才做完的整个任务呢,做一个测试,呃,首先第一步删除一个架包啊,这个跟我们HDFS有冲突,所以把它先干掉,第二步呢,启动我们的这个任务。任务啊呃,那是这样子的,我们呢是负责往HD去写的,那前面呢,它是消费的卡夫卡,所以呢,我们同时接下来要开启。Flink CDC将数据写到卡夫卡对吧?啊,所以不能光开这个是不行的,呃,那之前呢,Flink CDC。我们写到了一个脚本里边,对吧,我们就直接start,而且呢,它第一次呢是全量同步的,我们脚本里面写了杠杠first day是一对吧,传了这个参数啊好,那我们直接去运行,而且这个地方是104我们的消费者topic DB的消费者对吧?好,那我们启动。之前我们HDFS只有这些个全量表A叫下划线,等会儿呢,我们看有没有下划线INC啊出现就好了,对吧。
01:12
等这边启动完成。我们也通过延安这边来观察一下啊,放心诶这边呢,已经有任务提交上来了,对吧。好,正在运行当中,那就不用管了啊,这边提交上来了,那我们就在这边等着看有没有数据出现啊呃,第一次提交呢,它会稍微有一点慢啊,因为它整个的。是全量,诶这边呢,已经有数据了,看这是base啊,这张表的数据,然后还有其他的啊,开为一的对吧?呃。还有。Activity SKU的啊,活动这个表了,对吧,然后还有这个activity DSC啊这样的数据,那这些表呢都有了。
02:00
这边我们也可以看到他呢,也负责往HDF去写了,像贝斯这一这样的一个NC也已经有了,看到没。对吧,这是我们的路径,包括这边呢,我们也可以来刷新一下啊,那这里边多了一些。C是不是。在这。啊,那这是我们也是3月12号,那这样的话呢,我们整个数据的同步工作就搞定了,对吧。
我来说两句