00:00
刚才我们是了解了一下flink当中关于join的一些知识点,对吧,那在了解完这个之后,接下来我们的coding就比较简单了啊,那我们来看一下。呃,首先呢,还是消费我们ods那个topic DB的数据,接下来呢,我们过滤出我们构的这个数据,封装为表之后呢,呃,建立卢卡字典表。啊,之后呢,就把这个做一个关联,关联好之后呢,我们就直接写到我们卡夫卡加构事实主题当中就OK了,所以这个代码呢就比较简单了,我们就直接来coding啊呃,那这个弗S依赖大家自己添加一下啊。大家如果编码的话,最后呢,你你可以直接把我这个po文件拿过去啊,那相关的依赖呢,你就不用逐个的去添加了,因为我这边呢,放了一个最全的版本在这儿,好吧,呃,那你到时候直接拿这个就好了。Get卡。这个呢,我们之前也提到过了,对吧?啊,都已经添加过了my circle的一个工具类啊,这边呢是关联为表,那这个呢,我们得加一下啊呃,买U这个之前我们是没有的,因为我们之前做了一个测试是不是。
01:13
到这来。My circle。要求啊。呃,那把这个代码呢,我们给他拿过来。啊,因为刚才测试的时候呢,我们也写了一些对吧,这个就比较简单了,我们就不做过多的介绍了啊,就是关联我们的表,到时候我们测试的时候呢,这块稍微的要做一个修改,大家改成自己的呃,主机名或者说用公网的IP地址好吧,啊这个就。OK了啊呃,那接下来呢,到我们的DW立场来创建我们的主类。在这儿。这属于我们的交易域啊,叫cut加构啊,啊把这个代码拿过来,然后呢,同样的我们来去看一下这里边我们所写的内容就好了。
02:01
因为刚才基本的测试我们都已经做过了,对吧?呃,工具类我们重新导一个这个包,因为跟文档当中呢,可能我们建立的这个包名有所不同,对吧,我们就把这个导一下就好了啊。好,那第一个这个地方呢,还是改为一,第二个呢,就是我们关于这个。内容。我做一个处理好,那我们看一下这里边还有哪个地方my so YouTube啊,这个依赖你导一下。啊,刚创建的嘛,是吧,把它导进来,呃,然后我们来解决下面的这个错误,这个叫get卡卡think d dl,那这次呢,咱们叫get音色的卡卡的一个DDL,对吧,名字呢,我们稍微的做一个调整,然后之后写进来,我们看一下这个代码啊。首先第一步获取知行环境,这个就不多聊了,每一个程序呢我们都有,第二个呢,是读取我们最原始的topic DB这张表啊,去创建好我们的表,接下来呢,过滤出我们的构数据啊,那数据呢,主要在于这首先呢有个啊,然后接下来呢是音色的数据,那因为那有同学说只要加购呢都是音色的,那为什么还有update呢,这个点呢,我们给大家去稍微的介绍一下。
03:15
在我们的架构当中。我们还是去点击到这张表里边啊,给大家做一个介绍,因为我们加购的时候,有可能呢,我们是新添加一个商品,呃,也有可能呢,我们是追加一个商品,也就是说刚开始我可能已经添加了两件商品,那么接下来呢,我又添加了三件。对不对啊,有可能呢,我们的SQ由一变为五啊,我又追加了四件,有这种可能性,那直接有的公司呢,直接在这上面修改的,对吧,那有的公司呢,可能把它分为两条数据,先加购一条再加购。四条。OK,那这个对于我们代码是没有影响的,那如果说有的公司呢,它是允许在这个上面进行修改的话,那这条数据就是更新数据对吧,那如果是更新数据我们是不是都要呢?那也不一定,因为有可能我们加购完之后。
04:09
诶,下订单了啊,那你默认加购的时候是零,你下订单之后呢,变为一对吧,这也是一条修改,那这条修改数据呢,并不能算作加购数据,因为它是属于这个订单数据,所以呢,我们要修改数据必须修改了SQ,而且是一个增加的过程,所以我们来看一下这边的一个过滤条件啊呃,当它为音色的,那当然是需要的,或者它是更新数据,更新数据呢,首先老的不能为now,并且新的number要大于某个number OK吧,这就是我们的一个数据啊呃,那之后呢,构建这个字典表啊,那再接下来呢,是加构明细表,两表进行一个join关联啊,关联写了之后呢,构建我们DWD层的一个加构表写出去,诶直接映色的写出去就好了,这个代码呢,也相对来说比较简单,只不过说大家要关注一下这里边的一个字段,那这个字段呢,在生产环境当中,我们。
05:04
其实可以对这个字段进行删减,当然我建议大家,如果大家对于这个业务不是特别熟悉的时候呢,我建议你保留全部的字段啊,因为当你多一些字段的时候,总比少一些字段要好,对不对啊,因为多一些字段下游我不用,那无所谓,如果你少了,那你前面的代码就要做修改,所以当大家对于业务不是很熟悉的时候,在做这种扣定的时候呢,那建议大家保留全部的字段,OK吧,那我们第二个。DWD层的一个实施表就已经搞定了,比较简单的一个需求,主要前置知识点,希望大家引起重视。
我来说两句