尚硅谷基于腾讯云EMR搭建离线数据仓库（2023版）/视频/033-腾讯云EMR-离线数仓-FlinkCDC完整代码打包测试.mp4原创

好，那接下来呢，我们要去打包做一个测试啊，那在打包之前呢，我们需要对泡文件做一个调整啊，来看到。这边呃，因为我们fli当中呢，有一些架包是存在的啊，有一些不存在，所以呢，我们打的包呢，并不需要带所有的依赖啊，所以呢，我们给有一些内容呢，给它去掉啊，这里边已经用黑体给大家表示出来了啊呃，哈通客户端。然后table API。这个啊，这都是有的，包括这个打印日志的框架。诶，这个fast杰森是没有的啊，没有的话我们就都保留，因为这个东西呢，我们是需要打到我们的包里边啊，这是我们的依赖，然后接下来呢，我们去打包啊，把这个勾上，这个是表示跳过测试啊，那接下来呢，直接package。

好，那这边呢，打包完成，打包完成之后呢，我们就采用这个架包啊，给它上传到我们fli这个地方就好了啊，那这个架包呢，比较大啊，因为我们带了依赖的，有很多依赖对吧？呃，那我们呢，直接拖进来吧。发到我们flink的安装目录就OK。这个呢，我们等待它上传完成啊，当然这个受限于你的网速，因为毕竟我们上传到云服务器对吧，跟你的网速也有关系啊，如果网速快的话，上传上行速度快的话，那这个就会快很多。好，这边上传完了，然后呢，这边就有了，有了一个咱们的架包，对吧？呃，有了这个架包之后呢，呃，咱们要做测试啊，命令呢，等会儿我们再聊，现在呢，我们去开启一个。

消费者。啊，开启一个消费者之前，咱们是不是测过这个test对吧，我们找到这个test把它做一个修改啊呃，刚才我们的主题写的叫什么，还记得吗？来或者说不记得也没关系，我们来看一下啊。在这儿我们用的主题呢，叫topic DB啊，我们起一个消费者准备去消费这个topic DB啊，这样我们才能够做到这个测试嘛，对吧，直接。回撤。啊呃，那么这边呢，我们要去运行运行的命令呢，给大家看一下，这是提交任务，但是呢，由于我们里面用到了HDFS的一个。点，所以说这个东西呢，我们要去找一下啊，命令呢，我给你拿过来啊。明天拿过来，但里边有的东西呢，我们需要改一下。第一。这个。全类名，因为我每一次写代码，可能这个包名啊，或者类名写的不一样对吧，那这个要改一下啊呃，第二个呢，就是加包的名称可能打出来不一样，第三个就是HDFS啊，这三个位置可能要修改啊那。

第一个啊，就是他他的话全类名我们到这来拷贝一下，行了，叫copy reference对吧。呃，那在这里边改比较方便啊，我就直接在这。把它替换掉，哎，果然不一样，对吧，第二个架包的名称。咱们呢，不管它是否一样，咱们都做一个修改。啊，这样确保咱们一定没有问题嘛，对吧。放在这，呃，第三个HDFS的一个地址啊，那这个呢，我们肯定都不一样了，而且就算你同一个人搭建，假如你购买了好几次，它也会不一样，每次启动的时候啊，那这个在哪找呢？进到服务页面，这个页面大家应该比较熟悉了，对吧，然后进到我们这边啊HDFS，然后这有一个配置管理。在这呢，搜索FS.default。

FS啊，它就叫这个名字，然后呢，把这个拿过来。放在这个位置。啊，后面呢，是咱们造数据日期，以及是否是第一天啊，第一天的话，它会做一个全量，那我们测试吧，先不要用全量，全量数据比较多，对吧，我们先用增量的方式，那不传就是增量，这个呢，代码当中，刚才大家看到了，在这个地方，如果它不等于呢，并且呢等于一，那我们就做的是全量，否则。做增量latest对吧，这个是initial之前也解释过这个点了，好那这个就搞定了，完之后呢，我们把这个拿过来。到这到弗林格底下来运行。不要粘贴文档当中的这个命令啊。一定要找到自己相应的一个配置。去做一个修改。这边呢是消费者，等会儿我们可以去造数据啊，看这边能不能消费到，等待这边提交完成。

好，那这边呢，提交完成，但是这边有一个报错，但是这个报错呢不一样，我任务执行它直接告诉我们了，你可以关闭这个校验，对吧，它只是一个校验啊，然后有点问题，你可以把这个参数呢设置为false，在分类配置信息当中，既然没有影响我就没管了，好吧，这个我们就不改了啊，大家到时候都统一的，大家也会看到这个，呃，错误那就没关系啊，呃，那这边呢，也没看到它到底成功了还是失败了，对不对，那怎么做呢？呃，因为我们提交是用雅安去运行的，所以呢，我们到这个。集群服务还是到集群服务，这来到雅安。点燃。这就是我们刚刚提交的一个任务啊，我之前做测试，我提交过几次，对吧，那点进来。就会跳转到我们flink的页面，看见没啊或者说呢，你可以单独打开在这边。跳转到flink的web页面，看到这个任务呢，已经运行起来了，诶四个slot，因为我们的并行度刚才设置的为四，如果你是一的话，那这边就是一啊，那这边呢已经是绿色running啊，通过运行状态，那接下来呢，诶这边呢有一条数据对吧？那我们可以把这条数据删除掉。

来看这。诶，这边就有了一个什么删除的操作，哎，那删除呢，并不需要什么东西，对吧？啊就没管了，然后接下来呢，我们添加。18。啊的硅谷。保存来看，诶这边多了一个新增的数据data。对吧，这个数据就有了啊，同时呢，我们可以做一个更新，那因为我们没有看到old，因为old是nu，新增的数据里边old是nu，对吧，那如果我们做一个修改。保存。到这来，哎，那这个时候就有old了，修改的是谁啊是。硅谷对吧，把这个小写的A变成了大写的A，这是我们做的，这是之后的数据对吧，这是以前的老的数据，然后呢，属于更新操作，你看这个table delete type insert type update对吧，然后呢，属于这个base，这张表，然后时间啊，这个时间你可以算一下，它是按照3月22号去处理的，那这样的话呢，我们相当于把这个内容就已经。

搞定了。对吧，啊，就已经搞定了啊，那接下来呢，呃，未来运行我们每次都要粘贴这么长的命令，比较麻烦，所以呢，很简单，我们还是一样的，把它写到一个小本里边啊，这样未来就很方便了，对吧，CD还是到并目录。写到脚本里边，哎啊呃，写到脚本里边呢，一样的，我把这个拿过来，但是有些东西呢，我们要做一些修改，对吧，所以呢，我们先把它放在这个位置。啊，因为在Windows里面操作还是更方便一点，呃，我们的地址没有问题，这些都没有问题，然后是全名。把它拿过来，然后是我们的价包名称，咱们做了修改对吧，三个地方吧，刚才说的大家一定要注意一下，这是第二个第三个HDFS的一个地址。

HTFS的一个地址OK吧，好，那这是我们看到当然这个，诶我刚才是不是粘少了，看这边东西应该是没粘全啊，果然。把这个拿过来。嗯，哎，那我就把这一点东西粘过来吧，从这个E后面啊，要不然整个粘过来的话，又得改那个东西对吧，艾好。Start我们就用来启动啊，如果说你输入其他的那就不行，那就是第一次启动直接是个一，因为它是这样子的，我们这个数据的话，呃，像弗CDC它未来启动之后，我们就不需要去。停止了对吧？啊，假如停的话，你要从这个point或者checkpoint去恢复啊，啊所以呢，我们就直接写的一把这个呢，粘贴到我们的脚本里边。

好保存。退出啊，那然后change值mod u加X flink CDC的任务啊，那我们测试一下这个脚本是否OK啊，当然这个测不测也无所谓，因为就是把我的命令粘进去了而已，没有做什么其他的，呃，调用这个start对吧，所以这块呢就不测了吧，大家也是可以自己去测一下啊，测的时候呢，你把这个任务在这儿取，取消掉，那这个任务呢，我也就不留着了，我直接把它。取消。把它取消掉啊，取消掉之后呢，你再。运行它会有一个新的任务，那这个页面就没有用了啊，那到这块为止呢，我们弗林CDC这块的内容呢，就已经搞定了，你在这刷新它已经是掉的，对吧？因为我们手动给它取消掉了啊，那这边呢就搞定了，整个的全部都测试完成了啊，最后呢，会有这个数据输出，当然如果你是呃第一次启动，它会有很多数据，它会把买色当中这些数据呢，全都打印一下所有的表。

这里边有很多数据对吧，这些太多了啊，因为它是初始化的，这个我们就不用测了啊，都一样。