前提条件
创建作业
在 流计算 Oceanus 控制台 进入空间后,选择作业开发,在作业目录中单击"+",随即选择新建作业,在弹窗中选择 CDC 作业类型、作业名称和运行集群,Flink 版本需要选择 Flink-1.20-JDK11,单击确定后即可在作业列表中看到新建的作业。

创建 CDC 作业后,在作业对应的编辑框中使用 YAML 语法进行数据同步作业开发。
编写和调试 YAML 作业
授权完成后,可在作业开发的代码编辑框中输入 YAML 语句,可无需另外准备数据快速创建作业。数据同步功能主要基于 Flink-CDC 3.6 进行二次开发,作业编写可以参考 YAML 开发。目前 source 端支持 mysql、postgres、kafka,sink 端支持 setats、doris、starrocks、iceberg、paimon、kafka。
示例语句具体执行的内容如下:

作业参数
作业参数可以在编辑框的右边单击作业参数并在侧边弹出的参数界面中设置参数值,然后单击确定保存作业参数信息。下文会有各参数的详细介绍说明,以帮助您更好地配置各作业参数。

Checkpoint
Checkpoint 即作业快照,开启 checkpoint 之后作业会按照设置的时间间隔自动保存作业快照,用于遇到故障时作业的恢复。可设置 checkpoint 的时间间隔,设置范围在30秒 - 3600秒。
运行日志采集
显示当前作业的运行日志采集配置,默认为采集到集群绑定的默认日志服务。作业的运行日志将自动采集到作业所在的集群绑定的日志集和日志主题,可在日志页面中查看。
高级参数
规格配置
算子默认并行度
当没有在 YAML 作业中显式定义算子并行度时,作业将采用用户指定的算子默认并行度。并行度与 TaskManager 规格大小决定作业所占用的计算资源。1个并行度将占用1个 TaskManager 规格大小的 CU 计算资源(当 TaskManager 规格大小为1时,1个并行度将占用1 CU 计算资源。当 TaskManager 规格大小为0.5时,1个并行度将占用0.5 CU 计算资源)。
语法检查
编写并保存 YAML 语句后,可进行语法检查,以避免因语法错误而导致运行失败。单击编辑框上方的语法检查,可对已保存 YAML 语句进行语法检查。若语法无误,将会在页面右上方提示“语法检查成功”;若有语法错误,将提示相应语法错误,请按照提示进行修改,直至语法检查通过。
作业发布和启动
当作业配置好后,即可单击编辑框上方的发布,即可发布新版本,随后可在左边切换作业运维界面选择作业进行启动和停止。
