温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那接下来呢,我们正式进入第二个文档,也就是咱们真正的离线数据仓库的搭建啊,第一个文档呢,我们已经搞定了,最终呢,把数据采集到了我们的HDFS,从两条线对吧,一个呢从我们的每日全量,一个从每日增量啊,那我们把这些框架呢,联合的去使用了一下啊,同样的在数据仓库的搭建过程当中呢,咱们还是在腾讯云em上去运用我们的。框架啊呃,那接下来呢,我们来看一下这里边儿内容,第一个数据仓库的概述,我们以前都已经讲过了,对吧?呃,第二个呢,数据仓库建模的概念,就是我们为什么要去做这个建模,那么接下来三四。五。这三章内容呢,其实整个的包括第二章建模的一个概述,对吧,讲的都是数据仓库的建模理论啊,到时候我们呢一起来看一下,呃,从第六章开始呢,我们就要准备这个环境了啊,第六章准备环境哎,那我们离线数据仓库呢,基于have去构建的,所以呢,我们准备的主要是have的环境,然后同时准备数据,但是数据呢,我们之前在离线的时候已经准备好了啊,现在呢,我们并不需要准备那么多的数据,有我们现在数据就够了啊。
01:23
呃,那第七章是ods层,第八章DM层,第九章是DWD,第十章DWS层,呃,第11章ADS,最终呢,我们要形成我们的可视化,对吧,在另外的一个文档,那这是我们整个的一个分层。情况,每一层里边呢,这边我们粘贴出来的呢,是把所有的表都放在这个地方了,呃,但是呢,在我们本次的课程当中呢,我并不需要去讲这么多的一个内容。啊。嗯,因为我们这个课程主要的作用是在于帮助大家利用这个腾讯云的em Mr去搭建离线收仓,所以我们在里面挑这么一两张,或者说三四张表去给它运行起来,能把环境构建起来,至于表增多,那无非就是你资源要增多,因为当时大家还记得我所选的资源呢,并不是很多,对吧?啊,所以呢,这里边并不是把所有的表都去运营起来啊,只要挑一些少量表能运行成功就OK了,那也就是说我想要学习这个完整的。
02:33
离线收仓的课程怎么办呢?对吧?啊,包括在这个文档当中呢,我们也做了一些相应的删减啊,那如果你想要学习这个完整的在第一个视频当中,我就跟大家说了,你在B站或者说呢,我们上硅谷的官网啊,都可以免费的去学习到啊,像老学员可以在这个鼓励学院,像普通的啊,非老学员的,那在B站上面我们都会把这个视频上人上面,你自己去搜索上硅谷大数据之离线数仓啊,就可以看到完整的整个项目,这个项目呢,我们的侧重点是在于基于腾讯云em Mr的平台去构建离线数据仓库,OK吧,这个点呢,我需要跟大家讲清楚啊,呃,这个刚才我们聊的呢,也就是我们第二个文档的主要内容,构建出整个的数据仓库,就分层,每一层当中呢,我们构建这么一两张表就OK了,好吧。
我来说两句