温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,欢迎收看patche linknk实战系列教程,本章节为进阶系列二、复杂格式数据抽取腾讯云六计算LIST10大数据产品生态体系的实时化分析利器,兼容opachlink作业。下面将教大家学习如何利用oist circleq作业实时获取CF of复杂格式数据,经过数据抽取平铺后存入my circle CF连接器既可以支持用作数据源表,也可以作为追加流的数据目的表。UP2、kafka连接器可以支持以更新方式将数据写入kafka pdbc连接器提供了对MYSQPG等常见的数据库读写支持。其支持用作数据源表、维表和数据目的表。首先我们进行数据准备,进入top cost里新建一个topic用作色口作业的数据源端。
01:07
然后我们可以选一台CVM进入,通过kafka客户端网KA里面写入数据,注意这里需要提前安装JDK和kafka客户端,更多读写方式可以参考c cofk官方文档。返回s of控制台,查看一下写入的数据。我们可以看到数据已经正常写入。数据源端的数据准备好后,就需要进入MYSQL数据库,创建一张表,用作数据目的表。这里我们将这个表的数据删除后用于接收数据。
02:04
进入ocean控制台,创建色口作业。点击开发调试,进入作业开发页面,首先创建source,单击插入模板,选择CFGO数据源表和数据目的表,点击添加修改数据源表的相关信息。
03:36
接下来创建S,单击插入模板,选择JDBC数据目的表,点击添加修改目的表相关信息。
04:58
最后编写业务逻辑。这里我们将数据源端接收的几种类型数据平铺展开后存入maco数据库。
06:18
点击保存语法检查、发布草稿、运行作业。我们可以看到,作业已经处于运行中状态。接下来进入mascol控制台,可以看到张三这一条数据已经正常写入。我们再往topic接入一条数据。可以看到李四这条数据也已经正常写入,到此为止,我们进阶系列二的演示就结束了,欢迎大家一元购体验流计算lchus。
我来说两句