27.腾讯云EMR-需求及架构-FlinkCDC代码远程测试原创

好，刚才呢，咱们是在本地做的一个测试，那么接下来呢，我们把这个代码打包到集群上，因为最终呢，我们将数据要发送到卡夫卡，而卡夫卡呢，我们是安装在哈图103104105，它并没有一个外网地址，所以我们这个只能打包到集群上去。测试好吧，呃，那这个地方测试之前需要改几个地方，第一这个地方呢，改成这个主机名，或者说你直接用之前的IP地址也无所谓啊，那第二个呢，呃，把这个打印我们就不要了，我们直接。把之前型号这两个代码注释打开啊呃，那第三个在我们的这个po文件当中来。把我们集群当中已经有的这种东西呢，加上这个provide给他打包的时候呢，我们并不需要它。好吧，啊，并不需要它，呃，那么接下来呢，我们在这边进行一个打包，因为我这边做过测试，所以我先清理一下啊，那这样子就比较干净，然后呢，重新打个包。

给大家看一下整个的过程，因为我们最重要的就是说将我们自己写的任务能在这个腾讯云em Mr上能运行起来，对吧，所以呢，呃。我们必须要打包啊，要给大家演示一下，那到了后续呢，有一些代码我就不带着这样去一个一个的去测了啊，最终呢，我们可以统一的去测一下好吧啊，因为只要大家会了其中一个，那么其他的都是一样的方式啊，因为主要打包，然后去测试修改一些东西比较麻烦，所以最后呢，为了方便我们统一去测好吧啊，那但是第一个呢，我们肯定还是要带着大家测一下，呃，那咱们呢用这个啊呃，With带依赖的，因为在集群当中，我们像这个马克还有很多的依赖并没有对吧，所以呢，我们还是要带依赖的这个包啊呃，那我们呢，是把它传到这个位置啊。呃，我在当前弗林格目录底下呢，创建了一个麦杖啊呃，对了，这边有一个点要跟大家说明一下，大家呢，在操作这个弗林格集群的时候呢，切到我们的哈杜用户啊，那这边呢，看啊呃，我退出来怎么切呢，给大家说一下，呃，刚才呢，我们是root用户。

来看前面这个入告诉我们是入的用户，那我们用竖杠。哈杜诶，那这个哈多用户呢，是他自己创建的啊，并不需要大家去创建好吧？啊切到这个哈杜用户，因为当运行的时候，我们都要用这个哈杜用户去运行，好那我呢把这个jar包上传到了这个叫呃MY站啊，当然你随便你上传一个位置就好了。好吧，呃，那同时呢，我去在103上面启动一个消费者，启动谁呢？启动当前topic DB这个主题这个消费者，好吧，啊，把它起起来。呃，那这个命令呢，我已经放在笔记里边有一份了啊，大家呢，到时候可以直接从这拿一下这个命令。

好，最后缺一个叫topic。DB，哎，回撤。那这边我们的消费者就已经启动了，接下来我们把我们的任务启动啊，那任务命令呢，带着大家去看一下啊，在这个位置往下翻，我们刚才不是。粘贴的这个代码和依赖嘛，对吧？啊，那这个工具类啊，那快速的往下翻，呃，找到我们这个启动命令。啊。这是修改啊，这是刚才我们提到的加这个provide。好，那打包上传到集群已经搞定了，接下来我们提交命令，我们大家看一下啊，在这并个wrong运行任务，杠D表示后台运行，然后杠T来指定我们的运行模式，好吧，然后呢，是job manager跟这个task manager呢，我们都用的是。

一个G的资源啊，然后呢，它在Y链里边一个lo，然后我们B度杠一对吧，有一个就够了啊，之后呢，就是杠C，我们的全类名你自己去摘一下啊，在这边找到我们这个类。啊，在这儿也行，呃，在这儿copy reference啊，把它拿过来你粘自己的，因为我这边是自己的，OK吧，呃，那接下来呢，是配着我们的环境，比如说这个我们炸包的地址啊，那炸包的地址呢，这个东西就不要简单了，你自己放哪你就写哪就好了，好吧，那我这边呢，已经准备好了，在这最后这个地方要一个HDFS的一个路径。对吧，那这儿呢，每个人都不一样，包括这些东西都要自己改，呃，那这些东西呢，大家自己上传的肯定都知道，对吧，那他。我们在哪找的？来回到我们的集群，在服务里边。带大家去找一下这个配置信息啊。那找到我们的HDFS，因为我们是HDF一个路径，对不对。好，那接下来呢，在配置管理当中，点到这个，我们搜索fs.default。

FS。好，那就是它这个配置信息啊，你把这个呢，粘贴到这个位置啊，那我提前已经准备好了，所以我就不用粘贴了，那我就把它整个的拿过来。来，在弗格这个目录底下，然后我们再直接去执行，好吧，来这样贴过来。按个回车，他呢就去执行了。那我们稍微等待一下，因为他在提交任务过程当中需要去申请资源等等，好，那这边有一个报错是这个什么类加载器，这个报错呢，是因为他在校验一个参数的时候啊，因为那个参数呢，默认的一个配置有点问题啊，当然它这个是不受影响的，如果你要去改他告诉你的这个配置信息是什么，对不对啊，你把这个改为force，不让他去校验就好了，其实对于我们运行任务没有影响，所以我这边呢就没有改了，OK吧，大家呢，也其实可以不改啊。

你知道一下，你稍微看一下这个错误信息啊好，那接下来呢，我们怎么知道这个任务有没有运营成功，运营成功了，它的一个外部UI应该在哪看呢？对不对，那我们点到这来啊，还是回来。呃，点到咱们的这个服务。那大家想一下，我们运行一个任务，提交给雅安去执行，那我们是不是应该进到雅安的页面去查看呀，对吧，那我们怎么做呢，在这。这一个web UI看见没点开。点开好以后呢，当然你第一次进来的时候，它会提示你这个不安全，然后你点下面啊，去让他继续访问就好了，OK了，这个就不多说了，然后我们刚刚提到的任务呢，在这儿，因为我自己做过一些测试啊，那这个呢是running。啊，那这是我之前把它主动干掉啊，测试成功的，呃，Finish的，那我们现在执行的任务就是最上面这个，因为我们刚刚提交了一个任务，对吧，那我们点往后拖，点到这个am这个程序当中。

啊，或者说呢，为了后续我们也要看牙，我们可以用一个新标签打开。等待它的一个加载，好吧，呃，那这边呢，加载成功了，发现我们任务已经是绿色的，说明已经运行成功了，对吧？那这是我们的一个web UI的一个界面，包括你在这个上面呢，能够看到task相关的信息，特别是它的一个内存管理啊，那这块呢，其实在我们呃。B站上面也有弗专门的优化课程当中对它内存管理做了一个讲解啊，那这块呢，我们就不多说了，大家有感兴趣的可以搜索这块的相关的课程，好吧，呃，那这个启动了，那我们要测试它是否成功了，那很简单，我们还是跟之前一样去插入一条数据或者删除一条数据都可以随便做一个操作，好吧，打开我们这个。

那我们用的base trademark这张表啊，那比如说这两条数据呢，我想把它删了。删两条数据，它是不是也会产生这个blog呀？由于是网络连接啊，所以呢它会受网速影响，这边呢就会慢一点，但是不着急啊，或者说你没有什么可删除数据，大家最好不要把我们之前这个数据删了啊，这是我们之前的插入数据，好，那这边删除成功了，最好刷新一下呃。然后呢，进到这来看。诶，那两条数据都有了，是一个比例的数据，看见没对吧，那我们也可以去测一下这个新增或者说修改啊，这个都可以来。呃，比如说在这边呢，我们插入一条数据12。爱的硅谷对吧，最后一个。字段呢可以为纳，那我们保存，保存好之后看这边诶多了一条数据类型是音色的，看见没对吧？好，那我们把这条数据修改一下啊，那我们把它再改成大写的A的硅谷啊做一个调整发新，那这边呢，看一下它类型是更新有O的是小写的的硅谷，呃，那新的是大写的硅谷，那没有问题。

看见没对吧，那这块呢，我们就采集相当于整个就通了啊呃，那未来所有的弗林格任务呢，大家在运行的时候都是通过这种方式去运行的，那后续呢，有一些代码写完之后呢，我就呃不一个一个的去测了，如果说没有涉及到新的框架的话，我就不给大家去测了，好吧，大家呢，有感兴趣可以自己去测一下，因为这个就比较简单了，就是要注意一下打包，然后呢，上传到集群命令行当中，所携带的参数几个位置也跟大家说了怎么去找，以及最后任务运行起来了之后，我们应该在哪去找到它的一个外部右面啊，那这个才是我们的核心内容，因为大家之前可能接触到的是物理服务器啊，自己搭建的集群，对吧，或者说是玩的虚拟机，也是自己在Windows上搭建虚拟机自己安装集群，那这个访问比较比较简单一点，那现在呢，我们是自己安装的这个flink对接。

由腾讯云emr给我们安装的哈，那这个流能通，以及我们自己安装的卡夫卡买对吧，这一套都是可以通的，那这个才是我们本次课程的一个重点内容，因为我相信大家能学到腾讯云emr这块内容的话，那。前置的基础我在第一堂课的时候就已经跟大家说过了，那你是要有前置基础的，OK吧？