温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
接下来第二章项目需求及架构设计,我们先看一下这个项目的需求分析啊,呃,看一下我们项目整个的需求到底要做什么事。第一个项目需求,呃,那么第一部分呢,业务数据采集通道的搭建,这个刚才我们就提到了,我们当然要把业务数据拉取到我们的大数据集群。第二个。数据仓库维度建模。在我们数据仓库当中呢,我们很重要的一个建模,因为这样的话,我们可以避免掉很多的重复计算,当然建模呢,我们要到第二个文档当中再去聊,因为第一个文档呢,我们重要的搞定采集通道。呃。那在建模当中呢,我们就会涉及到很多的业务线来,我们看一下,比如说像这个架构。加入购物车对吧,下订单退单支付退款啊,然后同时呢,还有优惠券的使用,领券用券,还有同时一些维度信息,像用户商品地区省份品牌还有SKU。
01:03
PU还有参与的活动等等,这些呢属于我们的维度表啊,那这些呢,属于我们的实时表,那也就是说什么是实时表,什么是维度表啊,别着急,后续呢,我们会详细的给大家进行介绍啊呃,那第三块呢,任务的调,第四块呢是我们数据的可视化。啊,这是我们的需求,要做这些事情啊,那我们为了完成这件事情,我们要怎么去考虑这个问题呢?对吧?所以我们思考几个题啊,第一个项目技术如何选型,我们应该选用什么样的框架,把数据呢采集过来。以及我们在做这个维度建模的时候,我们又该用什么框架来达到这个事情,对吧?好,第二个。框架版本如何选型,那比如说我们选择了哈杜op或者have,那我们知道有。Em Mr,有阿帕奇的,有CDH的,还有这个hardwork公司提出HDP的,包括现在他俩公司合并了,叫CDP了,对吧?那我们应该选择哪一些呢?
02:10
啊,那那第三点服务器使用物理机还是云主机呢。对吧?我们应该从哪些方面来考虑,我到底应该选择物理机还是应该选择云主机,对吧?第四个如何确认集群规模呢?当我们把前面的问题都解决之后,接下来到底要。几台服务器呢?对吧。啊,那等等这些呢,都是我们接下来要去一个一个解决的问题,好吧,这是第一个我们项目的需求,大家了解一下我们当前项目当中,你重点的做哪些事儿。就可以了啊,但是这个里边任何一个点,我们会带着大家一步一步的去完成。
我来说两句