温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,欢迎收看patchchelink实战系列教程,本章结为入门系列四,Connector XO my seql数据写入到elastic search。腾讯云六计算AIST10大数据产品生态体系的实时化分析利器,兼容opachlink作业。上一章节讲述了使用MYCDC连接器读取数据并实时同步数据更新记录。本章节会通过使用no zq CDC连接器演示如何实时同步MYSQL数据到oceanist平台。并在oceanist的作业中通过小写转换函数演示link的实时数据处理功能。通过函数的使用,可以参考oceanist平台,帮助文档或者查阅网站。最后将结果数据写入到了ES,下面将教大家学习如何利用oceanq作业读取MYSQ数据。实施处理分析后写入到一中。进入流计算Les控制台,进入作业管理菜单,新建作业。
01:07
填写作业名称,选择已经创建好的集群,点击确定。然后进入开发调试页面,在工具栏选择插入模板这个工具使用MOQ数据源来采集数据,使用ES来接收数据。MYSQL的连接地址等信息可以通过MYSQL控制台查看。登录MY数据库。在test DB库中,User表已经存入了两条数据,Username,分别为小明和Tony,其中Tony为大写英文。
02:07
She on my SQL CDC connector sh ql,设置bin log wrote image full。MYSQL和ES的连接器详细参数都可以参考流计算的官方文档来进行配置。然后再插入ES目的端。ES信息可以通过ES的控制台查看。
03:10
对于MYSQL数据库的变动记录,需要使用e up色特方式插入数据。在编写业务逻辑,SQL插入语句将数据源和目的端连接起来。这里我们使用lower函数把username进行了小写转换。以上操作完成后,实时计算任务就创建好了,点击发布草稿即可正常运行。接下来我们查看下ES中写入的数据。进入ES控制台,点击右上角keyboard按钮,进入keyboard。点击左侧第一位tools查询写入数据。我们可以看到,数据已经正常写入username Tony也转换成了小写的名称。
我来说两句