操作场景
CKafka 连接器支持 Schema 管理功能,您可以将创建好的 Schema 绑定到具体的数据流入任务上,将会按该 Schema 对流入的数据进行格式校验。
操作步骤
创建 Schema
接下来以订阅 MySQL 数据到 ES 为例为您介绍新建链路的操作步骤。
1. 登录 CKafka 控制台。
2. 在左侧导航栏选择连接器 > Schema 管理,选择好地域后,单击新建 Schema,填写 Schema 信息。
Schema 名称:填写 Schema 名称,只能包含字母、数字、下划线、"-"、"."。
描述:可选,填写 Schema 描述信息。
字段配置:添加字段,最多支持添加100条字段。
字段名:填写字段名称。
类型:支持 BOOLEAN,INT8,INT16,INT32,INT64,FLOAT32,FLOAT64,STRING 八种类型。
允许为 NULL:校验上游是否存在该字段。允许为 NULL 代表:如果上游没有该字段,自动添加设置的默认值字段。
说明
关于字段配置中是否为 NULL 的详细说明:
true
上游字段存在且符合要求:写入。
上游字段存在且不符合要求:不写入。
上游字段不存在:写入默认值。
false
上游字段存在且符合要求:写入。
上游字段存在且不符合要求:不写入。
上游字段不存在:不写入。
描述:填写字段描述。
3. 单击确定,完成 Schema 创建。
删除 Schema
在 Schema 管理列表页面,单击操作列的 删除,在弹窗中二次确认后,即可删除。
绑定任务
Schema 创建完成后,可以绑定到具体的数据流入任务上。
1. 在 Schema 管理列表页面,单击目标 Schema 的“ID”,进入基本信息页面。
2. 在页面上方选择关联任务页签,单击绑定任务,勾选具体的数据流入任务,完成绑定。
解绑任务
1. 在 Schema 管理列表页面,单击目标 Schema 的“ID”,进入基本信息页面。
2. 在页面上方选择关联任务页签,单击绑定任务操作栏的解绑,完成解绑。
说明
解绑后,将不会按该 Schema 对数据进行格式校验。