00:00
好,那接下来呢,进入到我们实数仓DWD层的一个学习,DWD层的一个目标呢,就是针对于维度建模当中,我们完成这个事实表的构建啊,那我们是在各个域当中呢,各挑了一些需求,比如说用户交易工具,还有这个互动域,对吧?我们并没有把所有的这个指标都保留下来,这个之前课程介绍的时候也给大家提到了啊,每个域当中呢,我们挑这么一个需求去做一下啊,最后呢,运行起来就OK了,呃,那这一层呢,我们的表明整个的是这样去创建的,其实这个是我们卡夫卡的一个主题的名称,好吧。那当前这个任务呢,我们第一个需求啊,做用户注册实时表啊,是属于我们用户域当中的,那这张表呢,比较简单,你想想看,用户注册事实上呢,它就像在用户表当中给我们去插入一条数据,对吧,那我们打开这个UC这张表可以看到,诶这里是我们模拟生成的一些用户的信息的数据。
01:04
对吧?呃,那用户注册之后呢,我们就可以把这个数据拿过来,那所谓的用户注册呢,它其实是新增,所以这个需求比较简单啊,我们直接消费topic DB的数据,呃,然后呢。过滤出音色的数据即可啊,那呃,我有一点需要说明一下,就是整个DWD层呢,我们采用的是弗林格S区域实现的,因为现在的生产环件当中呢,弗Li格S克应用面呢是十分广的,很多公司呢,更愿意用弗Li格S克去实现我们的需求,所以在这里边呢,我们也放了这样的一个点啊呃,那为了完成这个数据呢,那我们是从这个。卡夫卡去消费数据,同时呢又将数据写到卡夫卡,所以在之前我们卡卡工具类里边呢,我们又加了几个。这个。方法啊,那首先第一个。这个。获取卡巴的一个DDL,这是我们的消费数据,诶从一个主题当中搞一个消费者组,对吧?去消费数据,然后呢,就要get音色的卡巴DDL,那这是我们往卡里去写入数据,同时还有的卡DL,那这个是什么意思呢?因为未来呢,我们会涉及到这个,那在下后面呢,我们会给大家介绍这个,你先放在这OK吧,啊就是卡王卡法写呢,有多种方式,一种音色的,一种是up色的这种方式,因为它会涉及到这个撤回流,后面呢,我会详细的给大家介绍,其实它俩差不多,就是这个类型不太一样,对吧?呃,最后呢,还有一个get topic DB,这是我们关联这个。
02:38
读取topic DB,我把它做了一个封装,其实调用的就是我们这个呃D,因为未来我们的实时表呢,都是从topic DB里去个据,所以呢,我直接把它放到工具类里边,这样有利于我们后面的一个使用啊,要不然的话,每一次都得写这个代码,那没必要,所以放在工具类里边,OK吧,这是我们关于这个工具类的一个说明,那大家有福,基础的话,这些东西呢都不难啊,所以呢就没必要带着大家去Co定了,接下来呢,是写我们DWD层的一个代码啊,那这个代码呢也很简单,刚才我们说了这个需求就直接消费topic DB数据,然后呢过滤出音色的数据,写到卡夫卡对应的DWD层的主题即可,所以这个呢,我们就不带着大家去coding了,DM层呢,整个的是coding的对吧?啊,因为那个需求相对来说确实难度比较大一些啊,这种简单的我们就呃不浪费时间去扣定了,那我们拿过来带着大家去看一看就好了啊。
03:39
好,那这边的工具类呢,应该是之前创建的,可能有一点点这个。不一样,那我们重新把这个去写一下啊。稍微的做一个修改,因为我们文档构建的时候呢,有一点差别。呃,同样道理,我们把这个。状态后端啊,还有这个拆换的这个东西的注释掉啊,那没必要在测试的时候引入它对吧?呃,并行度呢,我们之前是系统自动创建的卡发主题,它默认平行动呢是一个,所以呢,这边呢,我们还是写一好吧,呃,那这边呢是构建环境啊。
04:13
跟之前代码有点不一样的点在于,我们是用的弗circle,所以除了基础的流环境之外,我们还要有一个。表的。执行环境啊,所以把它拿过来,那接下来呢,我们去执行一个这个语句,读取我们的数据啊,Topic DB里边的数据,把这个内容呢全部给它拿过来好吧,呃,那接下来第二个呢,是过滤出用户表的数据,其实在刚才基础上呢,我们就过滤一个,然后同时数据类型为insert就好了,OK吧啊,那这个就比较简单,那接下来呢,我们创建DW用户注册的表,最后呢,执行语句将我们刚才创建好的这个数据呢,写到这张表里面,就in to,那这个代码大家看一下是不是非常简单呀,对吧?所以这个呢,就没必要带着去Co啊,那如果说你对于弗Li s克这块内容不太熟悉的话,那还是要看一下我们弗Li的基础课程好吧,这块呢,我们就。
05:09
大家去多做阐述了啊。
我来说两句