温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,欢迎收看h fank实战系列教程,本章节为进阶系列五、乱序调整腾讯云六计算LIST10大数据产品生态体系的实时化分析利器,兼容opach flink作业。下面将教大家学习如何利用ochless色口作业,使用窗口TVF配合聚合函数实时调整乱序数据,经过聚合分析后存入Mo口中。Kafka连接器既可以支持用作数据源表,也可以作为追加流的数据目的表。JDBC连接器提供了对MYSQLPG等常见的数据库读写支持。其支持用作数据源表为表和数据目的表。首先进入COC实例,新建一个topic,用作色口作业的数据源端。To创建好后,就需要进入MYSQL数据库,创建一张表,用作数据目的表。
01:06
这里我们已经提前创建好了表。进入O控制台,创建色口作业。点击开发调试进入作业开发页面,首先创建source,单击插入模板,选择COFGO数据源表和数据目的表,点击添加修改数据源表的相关信息。
02:07
这里根据事件时间设置十秒的水印,当进行窗口计算时,能够允许数据延迟十秒到达,否则超过十秒延迟的数据会被丢弃。接下来创建S,单击插入模板,选择JDBC数据目的表,点击添加修改目的表相关信息。
03:29
最后编写业务逻辑。这里我们使用窗口TVF函数对数据进行窗口聚合操作。更多窗口TF函数请查看官方文档。
04:25
点击保存语法检查、发布草稿、运行作业。我们可以看到,作业已经处于运行中状态。接下来我们可以选一台CVM进入,通过toftka客户端网top里面写入数据。注意,这里数据的事件实践是乱序的,既有延迟数据产生。
05:03
然后进入MYSQL控制台,可以看到延迟的数据已经进入正确的时间窗口,并进行了聚合分析。笔者这里设置的秒的延迟水印可以看到,在分分分到一分时间段的数据统计是正确的,并没有因为数据延时而出现漏统计的现象。分到分时间段的数据并没有统计出来,这是因为我们最后一条数据时间是年月日积水印时间为2021年12月22日143105小鱼窗口关闭时间,导致这段时间窗口还未关闭,未计算。到此为止,我们进阶系列的演示就结束了,欢迎大家一元购体验流计算lchless。
我来说两句