1.腾讯云EMR-实时数仓-课程介绍原创

好，那上硅谷以及腾讯云的小伙伴们大家好，我是上硅谷的讲师，那么本次呢，是由我给大家带来基于腾讯云em Mr去搭建实时数据仓库的这么一个项目啊呃，那在项目开始之前呢，简单的给大家去聊一聊，本次我们采用腾讯云em，它到底有哪些好处啊，那我们为什么要采用腾讯云的em Mr，第二个呢，就是说本次课程呢，因为它是一个项目，所以难免会涉及到有一些框架，给简单给大家去唠一唠，呃，在学习本次课程之前，大家需要掌握到哪些技术才能够很好的把本次课程能跟下来，好吧，呃，那首先呢，这次的平台咱们选用的是腾讯云em，也就是说给我们提供服务器啊，那我们正常的编写代码之后呢。可以打包到这个腾讯云em上去运行，在我们课程当中也是有打包到集群当中去测试的啊好，呃，那我们选用腾讯云em Mr给我们带来什么优势呢？给我们传统的自己去部署这样的方式，呃，它的好处在于什么呢？我们来看一下啊优点。

第一个高效，呃，那我们采用一站式部署啊，那我们有很多服务呢，我们直接进行在平台上进行一个勾选就OK了，不像我们传统的之前学习过上硅谷课程的小伙伴们，大家应该知道，我们基于自己阿帕奇的版本去搭建的话，每个框架要单独的去安装，对吧？所以这样一站式部署比较方便。第二个当然就是便捷，呃，因为我们要自己去部署的话，所有的配置信息，配置文件需要我们自己去部署完成，那如果我们采用了腾讯云em Mr的话，那么这些都是由腾讯云给我们去完成的，非常的方便啊。那第三个呢就是灵活。

在腾讯em上呢，他会给我们提供很多很多的服务啊，各种各样的服务，当然有些同学可能想要说，那我在生产环境当中，我不用腾讯云EM8所提供的服务可不可以呢？或者说呃，假如说我们公司比较特殊，用了一个框架，腾讯云EM8上没有提供，我想自己去安装部署，能不能行呢？我可以负责任的客户大家这些都是可以的，而且在我们本次项目当中，呃，我也特地设计了有这样的框架啊，那第一种呢，就是腾讯云所没有提供的这种框架，第二种呢，就是腾讯云提供了这个框架，但是呢，我想自己修改一个版本，诶，那这个也是可以的，非常的灵活啊。呃，那这是我们所聊的基于腾讯云em给我们带来的便利，对吧？啊，那这些东西呢，足以，我们减少了运维工作，相当的方便啊。那接下来给大家去聊一聊学习本。

次课程，我们的前置知识需要哪些？那么第一个。当然是哈杜啊，第二个我们基于flink做的实时计算，所以第二个呢是我们的flink啊，第三个卡夫卡，因为我们分层主要在卡夫卡去完成的，呃，那么第四个呢，就是贝斯以及我们的菲利斯，当然菲利斯是贝斯的一个皮肤，可以让我们在埃贝上写circle去完成，用于存储我们的维表啊。呃，那接下来是red，因为我们的维表呢，会涉及到维表的关联，如果我们只用这个h base，毕竟它是基于HDF存储的，存储的磁盘，呃，我们在我们实时的任务当中呢，它稍显慢了一些，我们red呢，众所周知，它是一个内存数据库啊，所以呢，有red可以加速我们关联为表的一个查询啊，那么接下来呢，是我们的啊，我们最终呢，是将DWS层的数据呢放在克以供我们查询去使用的，OK吧，那这是我们前置知识点，其实本次课程当中所涉及的框架呢并不少。所以大。

大家要想能够学习好这个还是要把前置的内容呢，要自己能够搞定，OK，这是我们整体的一个课程介绍啊。