21.腾讯云EMR-需求及架构-Kafka安装原创

好，那既然我们业务数据已经准备到位了，那接下来呢，我们就要去做这个采集的处理，那这边呢，我是给大家切到了这个之前我们讲过的流程图，呃，那我们并没有前半段的这个服务，所以呢，我们直接将数据通过一个架包自己造数据写到我们的买服务里边，接下来我们使用的是弗林格CDC做增量同步，将数据同步到。卡夫卡集群对吧？好，那既然这样的话，ZK我们已经装过了，是预装的，所以接下来我们去第一先完成卡夫卡的一个安装，然后去编写我们的CDC的代码，将买所有的数据呢导到我们的卡夫卡并做测试啊那接下来的步骤就是安装卡夫卡集群。啊，那我们往下拖啊，这块还是切到我们的文档这来，首先我们的卡夫卡呢，已经上传到我们的master节点了，那卡夫卡的话，我们起码得用这个三台，因为它本身就有副本对吧，所以我们单台服务器就不太合适了啊呃，那在这个时候呢，我们就安装三台，那我们选择呢用靠节点。

用靠节点好吧，呃，但是呢，我们数据现在是不是在我们的这个master节点啊，那我们要上传到这个靠节点，我们得分发过去吧，那如果说你逐一分发就会比较麻烦，对不对，那我们有一个简单的方式啊，那我们先完成下面这个配置文件呢，我们到不用着急，等会儿呢，我们再切回来修改这个内容啊，那我们先去为了。分发方面，先去编写一个分发的脚本来拿过来。呃，那到我们这来。R一下，诶，这边没有闭目录对吧，我们就自己创建一个B目录啊进来进来之后呢，我们可以。Touch。叫XSYNC啊呃，那接下来呢，我们去编辑一下。I插入啊，然后呢，把这个内容我先给你拿过来，拿过来之后呢，我给你稍作解释啊，因为这个在我们正课当中呢，都是呃详细去讲的，那咱们这块呢，主要是使用腾讯云的一个服务，对吧？所以这里边有一些东西呢，就不做详细介绍，我们就知道一下这边是呃。

判断参数的个数有多少个，如果参数为空，那我们就直接返回，因为毕竟我们分发文件对吧，如果参数不为空，那么。我们这边是这样的看啊呃，边利for循环对吧，边利2345678啊，就是我们之前配的，然后呢，把这个。执行。去遍历这个文件，然后最终使用的是RSNC，将我们的这个文件呢，发送到其他的机器对吧？好，那这块呢，我们就直接聊这个啊呃，那为了未来比较方便，我呢再写几个啊，因为大家可还记得我们当初怎么定义这个内容的。啊来，我们给大家说一下，我们说什么意思啊，切回到我们弹性六。

啊，到控制台。控制好以后呢，我们这边是不是有对应的一个服务。好，那我们有这个集群的。资源对吧，啊，节点的一个状态往下翻啊。当初我们这两个是不是101102。呃，然后呢，这个是345，这个呢是678啊，那正好对应的尾号我们还记得吧，对吧？好，那接下来呢，我们未来这三台机器经常在一起工作，这三台机器经常在一起工作，所以呢，刚才XNC这个脚本呢，是分发给所有的服务的，但有时候我们只需要分发给他们三个，或者说分发给他们三个，因为他们经常在一块工作，所以我在。建两个脚本专门做common和code，能懂这意思吧？好，那这个就比较简单了，我直接怎么样呢？呃，复制一份。

我叫common。啊，等会儿呢，我们去修改啊，然后呢，还有一个叫靠好吧，那我们VMXNC。Common。呃，那只需要把里边的678保留，其他的都不要了啊，那只分发给678，同理，我们再去修改一下X。SYC杠。对吧，啊，那这个呢，同理只保留。345其他的都不要啊，那这样的话，为了我们未来使用更方便对吧？啊，要不然你每一次都发给所有人，其实它就不太方便了，能理解这个事儿吧，好，那我们创建了三个脚本，然后这个脚本呢，并不能执行对吧？那我们要给他执行权限，那就change mode。啊，U加X，呃，那这个。Comment。

港扣，好来看这三个呢就可以执行了，那我们的脚本就已经准备好了，准备好了之后呢，我们需要将我们的卡夫卡，呃，这个机器分发到所有的跨节点，我们再进行一个安装，对吧？好，那我们就是XXYC杠。啊，执行，然后呢，我们要分发的是OPT Mo在software底下有一个卡夫卡的一个包，啊，那我们直接进行一个分发。好，那我们确认一下3453台机器上是否已经安装好了，那我们这边SH到哈杜103。诶，无密登录可以进来对吧，呃，那CD到OPT。看看model自动生成的，诶，有一个software对吧，里边只有一个卡夫杠，好，那这个呢，是103，我们记录一下啊呃，然后呢，我们再创建一个。然后我再去创建一个分别呢，做四和五啊。

这边呢，是因为未来我们还要安装，还是要打开这个目录的，对吧，呃，SSHSH到B。104走。CD。OPT Mo。Software。有了对吧，那同理这边呢。SSH的哈杜普。诶，总是敲错，这个键盘比较小啊呃，105上对吧，然后呢，同理CAD到OPT Mo software。哎，这边直接就出现了卡夫卡了，对吧。打扰一下，呃，那我们把卡夫卡呢，就已经看到了，已经分发过去了，对吧，那等会儿安装呢，其实也不必啊，那当然等会要修改配置文件，所以我们提前把这个都准备好，OK吧，好，那接下来呢，我们就可以回过头来去安装我们的卡夫卡，已经上传过来之后，我们就可以直接去。解压对吧，直接去解压就好了啊呃，那么这边呢，我们直接去T-CXVF把它解压到咱们的本地服务里边啊，那这边呢，我们就创建一个服务，那咱们在这啊。

这是我们的。软件对吧，啊，那在这边呢，我们去。创建一个卡发目录，或者说我们直接把这个服务装到这个里边就好了，对不对啊，那我们进到这个里边啊来嗯，T-ZXVF，然后呢，是咱们的卡瓦雷包，然后杠大C表示换目录，然后呢。OPT module，我们直接给它放在这儿啊，走你。那这边呢，咱们就安装了一个卡夫卡在外面对吧，在这儿诶，那就有了一个卡夫卡啊，当然这个改不改名字的话，其实都还好啊，你要不改名字的话，我们就知道这个版本了啊，你改名字就叫卡不卡简单一点啊，在文档当中呢，是说让大家改个名字，这个倒无所谓，懂吧？啊，这个是无所谓的。

好，那进来之后呢，我们进到这个卡夫卡里边啊查一下，嗯，我们创建make DR一个data目录，未来呢，放数据的一个目录，好吧，啊创建好，创建好之后呢，注意我们把这个卡夫卡呢，做一个分发XXNC。啊呃，我们也可以先修改一些配置文件啊，统一的配置文件呢，我们可以做一个修改啊，那这在哪呢？CD到这个。嗯，这个字体还是有点大对吧，调小一点啊。好，这样就看着好像舒服一点对吧？呃，那我们要修改的配置文件呢，是这个so点啊，那我们进来VM。因为统一性的我们都要去修改啊，那这里面需要修改什么东西呢？我们来看一下，第一。不是D，这个必须要全局是唯一的，好吧，全局唯一的啊，那也就是说等会我们安装完之后，把它分发到其他两个节点的时候呢，一定要注意这个单独的要去修改，第二我们要删除topic的功能给它打开啊，这个呢我们就直接拿过来。

呃，那正常呗，我们就放在这个broke ID底下啊，放在这吧。这个都可以啊，因为我们自己添加了一个配置器，那第三点呢，很重要，就是我们数据的地址logo点点对吧。好，那我们来看到这边啊logo.ds啊。那刚才呢，我们是创建了一个data呀，注意这个log并不是卡夫卡的一个日志，它表示是数据，因为卡里的数据对吧，那刚才呢，咱们创建的应该在哪个目录啊好，那这边呢，我们再呃打开一个我们去看一下啊。Op Mo，我去摘一下，这样的话就不容易出错对不对，然后咱们有一个data目录对吧？啊，这个目录PWD。然后呢，直接拿过来啊，拿过来好以后呢，把它放在这儿。啊，这是我们的目录，这个地方比较重要的是，如果你修改了名字，你就不要粘我的了，不要跟我一样了，你修改了名字，你就直接就叫卡夫卡就好了，对吧？好，那最后一个点。

我们要依赖于大家都知道卡卡的运行依赖于Su开，现在我们要把Su开的地址给他拿过来啊，那我们可以看一下如开它在哪几台机器上面来集群服务。点到这个。啊呃，大家看一下它是不是在我们的common节点上面，既然在我们的common节点，那我们对应的是不是哈106107108，我们当时改的映射对不对啊，所以呢，我们也不用配这个IP地址，直接配060708就好了，那这个就跟文档当中一致啊，我就直接摘一下，因为它比较比较多，所以呢，我就不想自己去敲了啊，那往下翻找到我们这个关联zoo keep的一个。配置信息啊，再往下一点。在这对吧，默认的是这个什么，呃，LOCALHO2181，那我们并不需要这个啊，我们改成678保存退出，那这块呢，我们整个的卡夫卡呢，已经安装完成了，我们需要把这个卡夫卡呢，给它分发一下XXYC对吧。

嗯，那我看一下啊，这是。Host name。好，这没没问题啊，嗯，然后接下来呢，XXYNC。个靠，然后呢，出发这个卡夫卡，哎，他说我们没有这个命令吗？我看一下。呃，这个是幺零。我是不是刚才在装错这个。地址了幺零我看一下啊。嗯，这边呢，Host因为主要是这个主机名，哎，这个是幺幺，那这个没有问题，没有装错哦，那我们分发的脚本是在这个这个上面啊搞忘了对吧？啊，我们刚才在这儿写的这个分发脚本是不是那很简单啊，呃，咱们这样XXYC把我们刚才的。

目录下啊，这样我给大家看一下在这。PD啊，Root底下并目录，我们刚才在这创建的，那我们呢，XSNC把这个并目录呢给大家都发一下，那所有的节点到时候都可以给其他人去发送内容了，这样就比较方便对吧？啊，要不然我们只能在101上操作，这样比较麻烦啊好，XC这个就有了，对吧？嗯，然后呢，杠靠。高考啊，那我们最好检查一下。啊，它是可执行的，没有问题啊呃杠靠，然后呢，我们是OPT module里边直接装的这个卡夫卡给它分发过去。啊，他说我们的这个用户名这个东西没改对吧？啊，这比较麻烦啊，那咱们简单一点来这块呢，是什么问题啊，因为最早的时候咱们都是在哈杜101上做的一个操作，像我们改映射，还有改这个，呃，写这个脚本啊，所以刚才我们分发了一个脚本那一样的，我们把映射内容找到也给他分发到。

其他的机器上面对吧，那这样的话，所有的机器之间用主机名的这种方式啊，102101到108的方式就方便了，那我们直接分发一下啊。分发好以后呢，那我们到这边来啊，那这个分发的时候呢，其实它是要我们输密码的，那没关系，等会我们就输一下啊。呃，好，那你看这边要输密码对吧？啊，那这边呢，我去粘一个啊，那这个视频呢，我暂停暂停。好，那我呢，已经。直接弄到粘贴板上了，是为了防止大家看到我们这边的密码，对吧，这个服务器的密码还是不告诉大家啊好，那这是103。104。对吧，好105。啊，那这边呢，就已经搞定了啊，那比如说我这是103对吧，啊104上面我们来看一眼啊。

这边已经有了卡夫卡了，对吧？啊，105上面来看一眼，已经有了卡夫卡，大家注意，刚才我们说了，里边有个broke ID，它必须是唯一的，所以呢，我们同理要。VM卡夫卡config点把它的broke ID改掉，对吧，那我们就用012来表示就好了，呃，104是1105呢，我们改成2M卡不卡。然后呢，是这个。咖啡狗。点对吧，然后把这个改成二。好保存退出，那到这块为止呢，咱们的卡夫卡就已经安装完成了，好吧。