尚硅谷基于腾讯云EMR搭建离线数据仓库（2023版）/视频/034-腾讯云EMR-离线数仓-Flume配置文件.mp4原创

好，那弗林CDC的代码测试完成之后呢，接下来我们就要完成后一部分，因为之前我们提到了，这边呢，我们主要完成两件事，第一是用我们的弗Li CDC将数据写出到卡夫卡，那另外一方面呢，我们要用第二层的F将这个。卡夫卡的数据消费出来写到我们HDFS，那接下来呢，我们把这一部分去完成一下，From呢，已经在安装腾讯云E8的时候默认部署了，那我们直接来读取这个数据就好了啊，但是这里面有一个点需要注意一下，就是当前我们的主题当中呢，是有所有的表的。那我们必然要将不同的表写到不同的路径上面。对吧，啊，那而且呢，中间包含一层日期，用于区分每天的这个数据，就跟之前我们所导出的用SCO导出数据那种格式一样啊，按照这个路径的方式来写啊，好，也就是要表明和这个日期来做我们的内容，所以这个当中呢，很明显我们要添加一个拦截器。

将表明和时间给它写到我们的头信息当中，然后呢，再写出到。HDFS的时候，它会自己根据同信息的内容来生成不同的目录来做这个事情，所以这个服呢，还不是简单的，我们就配置一下就好了，还得写一个自定义的拦截器啊，当然呢，这个其实比较简单，我们只需要把表明取出来和时间戳取出来就行了啊，那我们的数据呢长这样。之前我们封装的这个数据对吧，呃，Table t ts，然后呢，还有这个跟old这样的一个数据啊。那么在这个数据当中呢，我们要table跟这个TS啊，给他写到头信息里边，最后呢，写出去的时候到HDFS，那么他就可以用上头信息里边的表明用上头信息当中的。

时间啊，就是这个点，好，那我们一步一步来，首先我们去写好这个配置文件，我们来看一下啊，呃，进到我们的。进来。呃，这边呢，是我们form的安装路径，之前也带着大家看过啊，然后第二步呢，我们去创建一个。文件夹在文件夹里边呢，创建一个配置文件。好呃，然后呢，把这个配置文件给大家拿过来，带着大家去看一下。啊，那在这个里边呢，我们从上往下来看啊，首先第一部分是定义组件，因为我们用过都知道，它里边呢有三个组件，South China跟S分别定义一个名字，然后接下来呢，分别对S。

China s。逐个进行定义啊呃，那我们数据来源在卡夫卡，所以呢，我们。卡卡source啊，然后更重要的这个点在这儿，Topic DD，诶要消费我们的topic DD这个主题，接下来是我们的拦截器啊，那这个时候呢，我们的全类名就不能随便取了，要如果说你写代码的时候随便取也可以，那这儿你得回过头来去改一下好吧？啊这个核心的字段给大家聊一下，第二个我们China呢，用的是fair China，没什么好说的啊呃，那第三块think就是用的HD f think，那么这里面有几个点，第一看这。摆放table name，所以在我们的头信息当中，我们必须要有一个table name，这个K。然后VALUE6对应的就具体的名称啊，然后呢，百分2Y100分号M100报D年月日啊呃，然后接下来呢，这是防止产生小文件的配置信息，最后呢，我们启用了压缩啊，最后把它拼装起来就好了，诶那我们R1对接C1 ke1对接CE，那这样的话，我们的south China think他们三者之间呢，就是一个整体了啊最后呢，我们启动这个任务就好了，这个配置文件呢，还是比较简单的，对吧？那更重要的呢，我们得有这个拦截器啊，新建一个M项目，那我们到这边来。

在创建一个。Model啊，那比如说我们叫G杠。啊，这是from所需要的。呃，在这个中间呢，我们来先导入我们的依赖啊。把这个拿过来，它就比较少了啊。

它比较小，它主要就是一个FNG，我们用的是1.9嘛，啊，直接用这个1.9就好了。啊，同时给了一个编译插件打包插件啊，那这个它有可能要。诶，我仓库里边是丢了好没问题了，加载成功了，那这是我们的依赖搞定了，接下来呢，我们就写我们的类名，首先呢，我们建一个帮，因为我们刚才提到了，呃，我们配置文件已经写好了，所以这个包名呢，我们就最好跟他保持一致，要不然的话你还得回过头去改一下这个配置文件，比较麻烦啊，所以呢，我们直接在这底下创建这个包。然后在这个包里边呢，写我们的拦截器，来，我把它拿过来。这个拦截器呢，我也直接拿过来比较简单啊这个代码。我带大家看一下。呃，那首先呢，要实现intercept的这个接口啊呃，那这里边呢，主要有四个方法。

初始化A第一次进来之后，首先调用的方法，Intercept单个事件。处理方法intercept，然后呢，它是一个集合事件，也就多个事件同时做这个事情啊呃，以及最后。Close结束的时候，关闭的时候调用方法，比如说如果在这个当中我们有一些什么资源需要去申请，那可以在这儿去开启资源，在这个可方法里面关闭资源，同时呢，我们还得有一个静态内部类啊呃，静态内部类呢，是其实是帮助我们构建这个拦截器的。对象的，好吧，这个来截器呢，也比较简单，那接下来呢，我们就需要把它来打包上传，当然这里边的内容呢，也是从里边获取TS放进去，然后呢，一个表给它放到我们的当中，两个一个一个对吧？这是我们之前所说的这个数据呢，在我们的呃，数据里边都已经存在了，对吧？所以呢，我们直接这样去处理一下就好了，呃，那接下来我们要做的就是打包。

给它扔到我们的Li目录下啊来。重新打个包。嗯，我们刷新一下，在这猫附附入对吧，对它进行一个打包啊。好，那打好包之后，我们呢，把这个。拿过来就是它啊，呃，要放到这个Li底下。拖进来。好，这个就很快啊，当然这里边全是价包，你要想找你自己所写的就是他这一对吧，呃，当然这个是哈，用户里边穿插了一个root用户，那我们也可以把它做一个修改啊，其实不修改也。

可以啊，这个倒无所谓了，因为未来我们哈杜上都已经改成了777对吧，这个其实还好啊。呃，那么接下来我们要启动这个去做一些测试啊，那我们先把这个停掉。