文档中心>数据传输服务>快速入门>数据订阅操作指导(Kafka 版)

数据订阅操作指导(Kafka 版)

最近更新时间:2024-04-08 10:55:42

我的收藏

第一步:业务评估

已了解基本的 DTS 订阅功能和支持能力,确认订阅链路可用。

第二步:网络准备

使用 DTS 进行数据库的订阅,需要分别将源/目标数据库所在的网络与 DTS 所属的腾讯云网络进行打通,以便 DTS 可以连通源/目标数据库。
DTS 支持通过“公网/专线接入/VPN 接入/云联网/云主机自建/云数据库”方式接入源/目标数据库,请先参考 网络准备概述 进行网络打通操作。

第三步:创建数据订阅任务

说明:
如下仅对数据订阅的配置任务进行简单示例,方便用户了解大概的过程,详细的配置指导、参数说明和操作限制等请参考 创建数据订阅任务
1. 登录 DTS 控制台,在左侧导航选择数据订阅页,单击新建数据订阅
2. 在新建数据订阅页,选择相应配置,单击立即购买
3. 购买成功后,返回数据订阅列表,单击操作列的配置订阅对刚购买的订阅进行配置,配置完成后才可以进行使用。

4. 在配置数据库订阅页面,选择相应配置,单击下一步

5. 在订阅类型和对象选择页面,选择订阅类型,单击保存配置

6. 在预校验页面,预校验任务预计会运行2分钟 - 3分钟,预校验通过后,单击启动完成数据订阅任务配置。
说明
如果校验失败,请根据失败提示在待订阅任务中进行修正,并重新进行校验。

7. 单击启动后,订阅任务会进行初始化,预计会运行3分钟 - 4分钟,初始化成功后进入运行中状态。
8. (可选)查看订阅进度,修改订阅对象操作,请参考 任务管理。如果任务发生异常报错,请参考 错误处理
9. 如果需要接收订阅指标异常时的告警,请参考 配置数据订阅指标告警 进行配置。

第四步:消费订阅数据

1. 新增消费组,数据订阅 Kafka 版支持用户创建多个消费组,进行多点消费。数据订阅 Kafka 版消费依赖于 Kafka 的消费组,所以在消费数据前需要创建消费组。
2. 订阅任务进入运行中状态之后,就可以开始消费数据。Kafka 的消费需要进行密码认证,具体示例请参考 数据消费 Demo,我们提供了多种语言的 Demo 代码,也对消费的主要流程和关键的数据结构进行了说明。

第五步:结束任务

确认订阅任务不需要后,需要手动结束订阅任务。