尚硅谷基于腾讯云EMR搭建离线数据仓库（2023版）/视频/022-腾讯云EMR-离线数仓-Kafka服务安装.mp4原创

那在我们业务数据生成之后呢，我们就要搭建这个整个的采集通道了啊，那我们来看一下啊，回过头来再来看一眼数据流程当中，呃，那现在呢，也就是说我们数据已经到这个。买色克了，那我们接下来要部署的呢是。Flink CDC，当然这是一个一段代码，一段架包，我们要部署的是flink这个。程序啊呃，那接下来还有这个卡夫卡啊，它依赖于ZKZK呢，在我们购买腾讯云MR的时候就已经。部署完成了啊呃，那同时呢，还有这个from啊，SCO也已经完成了，好，那我们这里边已经完成的呢，像SCO部署啊呃。已经有了，然后。ZK有了，那我们要安装的其实就是卡夫卡和link对吧？呃，IGDFS最终采集到IDFS，那这个呢，也已经有了啊，所以接下来呢，我们先部署这个卡夫卡啊好，那回到这边卡夫卡的架包呢，我们已经准备好了，对吧？上传到master节点，我们已经上传过了啊，那我们要。

把这个卡夫卡呢，我们要安装三台机器，因为卡夫卡呢也是有副本的啊，所以我们要安装多台机器，那我们选择用扩节点。也就是说我们之前的103 104跟105这三台机器上面，那我们将这个拷贝到103，然后呢，从103。配好之后发送到104跟105，这样就会更方便一点，好吧，呃，那第一步先在103上去创建对应的这个目录。嗯，这个买斯克呢，我们就可以退出了。创建目录，然后这个我刚好把它。到103啊，那这样的话，我们正好这前面呢，虽然上面的名字区分不开，但是我们看前面就知道在哪一台机器上面的103啊，已经创建好了，创建好之后呢，我们把这个卡夫卡发过去啊，在搜里边把它发送到我们103的solid底下，这个我们直接用CP命令就好了啊，然后发送当前目录下的一个包，一定要切到这个目录，当然你如果用的是OT。

Software威，然后呢，加卡夫卡这样一个全路径也可以啊好，那这边呢，我已经切到software目录了，那我们就直接复制这个命令。发送到。哈，103用root用户登录对吧，而且是免密了，我们这边配了啊，走一下这边发送完成，发送完成之后呢，我们到这边来看一眼。稍微R一下，诶卡夫卡呢就已经有了，对吧？呃，那接下来我们安装呢，把它安装到这个module目录啊。诶，不是CD make第一个Mo，因为我们还没有创建。呃，那下来呢，我们要把software里卡夫卡安装到这个目录啊，之前我们说了software呢用来放这些架包，而我们安装的服务呢，放到Mo目录下。呃，那我们。

差不多。好解压，这呢是一个踏包，给大家看一下啊，是一个踏包，那踏杠ZXY。然后卡不卡杠大C指定目录啊，如果你直接回车，那么它就解压到当前目录了啊，杠大C到op p Mo目录。好，那我们切回到这个Mo目录来看一眼，现在呢，就已经有了这个卡不卡了，呃，接下来我们要做的就是修改里边的个配置文件，那在修改配置文件之前呢，我们先make个一个data，它是一个消息队列啊，但是它自己呢，肯定也要存储中间的数据对吧？那我们自己创建一个目录啊，用来存储中间的数据啊，等会呢，我们在配置文件当中要去改的CD的con配置信息目录底下啊，然后呢，我们要修改的是这个。叫点服务端的一个配置信息。好，那我们对着文档来做一个修改，这边呢，我们已经做完了make data对吧，然后进到目录啊，第一个ID，刚才我们看到的这个要全球为一啊，那103上面呢，我们就不改了，那就是零，那104105呢，分别对应一和二。

那把其他配置信息拿过来删除topic功能，它默认的是不删，它只是标记删除，那我们把这个加上。这个呢，你找一个位置，你放在这底下也行都行，因为这个都是注释掉的，对吧，第一个啊，把它加上，呃，那接下来呢，我们的log点点就是刚才我们的data，注意这个log呢指的，诶，那他说log不是日志嘛，它不是日志目录，那你应该写LOG4啊，注意这个log呢。他指的是我们的数据啊，那我们找到他把这个拿过来。我先复制一份，然后呢找到对应的这个配置信息，然后呢做一个修改。往下翻，诶在这对吧，叫logo.ds。

把这个默认的删掉，诶改到这个地方。好，那最后一个呢，就是我们当前这个。卡夫卡服务啊，它要强依赖于这个ZK，它必须要有ZK，所以呢，我们要把ZK改掉，这个只是logohot不行，对吧？呃，那我们ZK呢，大家还记得它是装在幺零。6107108上面的当然有些人忘了对吧，可能忘了忘了没关系，那我们来看一眼啊。嗯，直接从这吧，快一点弹性搜一下。呃。服务。点到服务，然后呢，有一个这个look。服务状态角色，角色管理。它是在common节点上看见没。节点类型是common，而我们之前规划的时候，大家我再大家回想MASTER2个节点是一二就哈101102，然后呢，核心节点呢，分别对应的是345，而最后的com节点呢，对应的就是。

678啊，所以呢，我们直接主机名已经改了，那我们就用106107108啊来做一个调整，当然你可以直接写这个IP地址也可以啊，也可以好吧，呃，一个IP地址的话，咱们可以这样有更方便直接查看这个端口号也行，对吧，两种方式都行啊。嗯。比如说我们切到。集群诶。嗯，好了。到服务。查看端口。那就这个。对吧，复制它也可以啊，当然我们用106107108也行，但是呢，如果说啊，这边你想要用主机名，那一定要注意一下，在103104105上面也要配置，之前我们这个上面还记得这个东西吗。

ETC。你得让我们当前的机器认识这几个机群，是不是认识这几台106107108啊认识你把这个配一下，然后呢，你就可以写106107108，如果你不配，那你就用这个。刚才我们看到这边彩钢端口。把这个复制上。用IP地址，内网的IP地址，因为它内网它自己可以通的嘛，对吧，好这个就。OK了。两种不同的一个方式都可以好吧，啊，当然了，这边。有一个地方要做一个调整，最好呢，咱们这个地方啊，改成这个逗号。好，那这块就搞定，搞定之后呢，我们要把整个的卡夫卡给他分发到。

104跟105上面，那这个时候呢，我们分发你你可以一样的，呃，跟刚才一样，SCP过去用这个命令啊，那如果说未来你要分发的东西比较多，每一次都用ICP，或者说呢，嗯，假如说你的服务器台数很多，那你单独用ICP是不是很麻烦呢？我们是不是可以写一个脚本，把这个CP命令呢，写在一个循环里边，我们自己在上面写一个服务器，10304 105，那这样的话，未来有任何分发的需求，我们都直接调用脚本，就不用再单独的了，就更为方便一点，对吧？好，那我们等会儿呢，去写这个脚本，先把这个环境变量我们配置一下啊。呃，在103上面，我们直接。把电脑过来。哎，插入。接下来呢，把这个。拿过来我就直接摘了，因为我的路径呢，跟呃，我现在用的路径完全一样，如果你的路径跟我不一样，你要检查一下好吧。保存退出，然后呢，SS一下让它生效，因为你不SS来给大家看一下，我现在没有SS，我敲这个卡夫卡。

它只有这个目录。他只有目录看见没。对吧，或者说我们进到这个目录里边来，再敲这个卡夫卡。按table键，它并没有任何提示，等会儿呢，我们S完大家看啊S。拿到刚才我们的。环境变量的地址。然后接下来我敲这个卡夫卡。诶，它有提示了，还有这些命令可以用了，因为我们已经有了这个环境面料了，就会更方便一点啊，配置上环境面料好，这个就搞定了，搞定之后呢，我们要注意要分发，那这个时候呢，我们去创建我们对应的这个。脚本啊来，呃，CD。Make dear。嘿。一个并目录啊，CD到这个并目录里边。床垫。呃，创建呢，然后接下来我们把这里边的内容拿过来，我们带着大家简单的去看一下啊，它其实这里边呢，就写了一个for循环，然后里边最核心的用的是RSNC啊，那之前呢，我们用的SCP和RSN呢，都可以实现这个数据的分发，它俩区别就在于SCP呢，它是完整的把数据呢全部发过去，而RSYC呢，它会校验两个文件的一个。

不同点，它会把不同的数据发过去，所以相对来说呢，它效率会更高一点啊，当然如果对于104105上本来就没有这个数据而言，其实它俩是一样的，因为交验大家都不懂，都要发过去，对吧，所以这里边我们换了一个。命令而已啊，其实最核心的个这儿只不过说这里边，那就说怎么写的这么复杂，因为有可能我们发送的是一个目录，目录呢，我们里边是不是还有可能是目录。对吧，它可能有多级目录，所以呢，有一个递归啊。也不是递归吧，就有一个便利。直接把这个拿过来。好，那这边呢，用的是103104105，那也就是说既然我们用到主机名了，所以我们等会儿呢，要把这个数据。

把刚才我们耗数据呢拿过来对吧，才能够使用啊呃，然后呢，Change mode。U加X，然后呢，XXNC，这是什么意思呢？执给他添加执行权限啊，因为你不添加的话，没办法执行，它不是一个脚本啊好，那这里边我们用到的是103104105，所以呢，简单一点，我们把这个文件也给他发过去啊，那发送文件的命令呢在这儿。我们可以直接一样的把它呢拿过来改一改，对不对。呃，那我们要分发的是这个。Host文件对吧，好，那把它分发到我们的。ETC目录底下就好了。好，这边已经发过去了，那我们这边来看一下啊呃。

ADC。House，诶，那对应的东西也已经有了，如果说你其他节点也想要，那你都可以去分发一下，比如说那简单一点，我们就都做一下这个事儿吧，从啊一已经有了，对吧二。四啊，因为未来的话，我们所有的机器直接访问都可以用主机名了啊，这样可能会更方便一点啊，反正这个呢也不复杂，我们就快速操作一下，像这种东西呢，我们做一次就好了，当然你也可以在这写一个分发脚本，把它分发到所有的节点，因为我们配了无命啊，好，那这个时候呢就搞定。那对于我们103而言呢，就认识这个104 105，还有106 107 108，他们是谁呢？对应的IP都能找得到啊，那接下来如果你直接分发的话，它还是要做这个输入密码，所以呢，对103而言，我们对103 104 105也做一个免密登录啊，大家还记得命令吗？SSH-KK。

杠t r sa加密方式最后一个啊。好，然后呢，SSH-copy。阿杜103。好，第一次呢，肯定要输密码的啊。然后104。好，105。那这边就搞定了，搞定之后呢，我们测一下啊104诶，他也可以不用密码的方式进来了，那这样等会我们在发送这个卡夫卡数据的时候，就不需要输密码了，更为方便一点，好吧，呃，那我们进到这个op mo6把这个卡夫卡呢发过去。好，104105呢，你看103这边呢，就没有这些东西，你看对比一下啊。

103就很快，因为它本身就九对吧，一样的，因为我们这就是我们用的RSSNC的一个好处啊，而104呢，没有它整个的。就有了啊，105呢一样的啊，那我们这样在创建这个节点。复制一个绘画啊，再复制一个绘画。我把它拖到后面，按顺序放。好，这个是103啊，第一个101对吧。D011103啊，那第三个呢，我们用SSH到哈杜104啊。配在这，因为我们之前就配了无名登录了啊呃，SSH。啊1A5啊，因为等会儿呢，我们要改这个配置文件嘛，那我们进来看一下。是否发过来了opd Mo卡夫卡已经有了，对不对，好，那接下来呢，还有这个cdd Mo到卡夫卡。也已经有了，呃，那我们还要改一个配置信息，就是那个ID大家还记得吧，它是全局唯一啊，那我们直接V。

Config，然后solve点啊，然后呢，把ID这是104诶改为一。然后105上呢，我改为二。然后呢，改为二。保存退出啊，那这个就搞定了，我们卡布呢，就安装就搞定了。