操作场景
当有大量的数据任务共用同一个数据源或者数据目标时,每次创建任务时需要重复填写数据源或者数据目标的配置信息,操作比较繁琐。
CKafka 连接器支持单独构建连接,连接创建完成后,可以直接关联到具体的数据任务,作为数据源或者数据目标,无需再重复配置,降低用户的操作成本。
一个连接可以关联多个数据任务。目前 CKafka 连接器支持的连接类型有:腾讯云数据仓库 (TCHouse-C),时序数据库(CTSDB),分析型数据库 Doris,数据传输服务(DTS),Elasticsearch Service,MongoDB,MySQL,PostgreSQL ,TDSQL-C,MariaDB , SQL Server 和消息队列 Kafka。
本文介绍在 CKafka 连接器中创建,修改,删除连接的使用方法。
操作步骤
新建连接
1. 登录 CKafka 控制台。
2. 在左侧导航栏选择连接器 > 连接列表,选择好地域后,单击新建连接。
3. 在弹窗中选择好链接类型后,单击下一步,填写连接配置信息。
腾讯云数据仓库(TCHouse-C)
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据仓库类型:支持云上 TCHouse-C 和自建 TCHouse-C。
云上 TCHouse-C:腾讯云数据仓库 TCHouse-C 在创建的时候就已经使用 私有连接 进行封装,因此可以直接在控制台选择对应的 腾讯云数据仓库 TCHouse-C 实例,数据流出会自动进行相关 VPC 网络的打通。
自建 TCHouse-C:由于 CKafka 实例采用的是托管实例的形式,而 emr TCHouse-C 是直接在购买的 CVM 上创建公网路由,因此需要用户手动在此基础上创建负载均衡服务,才能打通 VPC 服务。下面以 emr TCHouse-C 为例创建负载均衡:
1.1.1 打开 emr 控制台 ,选取目标集群,依次单击 集群资源,节点状态,在状态页中找到 TCHouse-C 的节点 IP。
1.1.2 进入 负载均衡 控制台,新建一个负载均衡实例后,单击上方导航栏的 监听器管理,在页面中单击新建 TCP/UDP/TCP SSL 监听器,在端口中填写数据流出时用到的端口。
1.1.3 创建监听器后,单击 绑定后台服务,输入 TCHouse-C 中的 tcp 端口,默认应为 9000。
1.1.4 绑定完成后,即可在数据流出控制台选择当前创建的负载均衡服务,端口填写的是 负载均衡 服务中监听的端口。
说明:
目前仅支持创建与负载均衡同一地域的数据流出 TCHouse-C 服务。
用户名:TCHouse-C 的用户名(默认为
default
)密码: TCHouse-C 的密码。
时序数据库(CTSDB)
连接名称:填写连接名称。
描述:选填,填写连接说明。
CTSDB 地址:选择连接的 CTSDB 数据库地址。
用户名:填写数据库用户名。
密码:填写数据库的密码。
分析型数据库 Doris
连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:默认自建/EMR Doris。
CLB 实例:仅支持内网的 CLB,且该 CLB 需要同时挂载 Doris FE 和 BE 的端口,详情参见 自建集群接入说明。
FE 端口:FE jdbc 端口,默认 jdbc 端口为 9030。
BE 端口:BE http 端口,默认 http 端口为 8040。
用户名:填写数据库用户名。
密码:填写数据库的密码。
数据传输服务(DTS)
连接名称:填写连接名称。
描述:选填,填写连接说明。
DTS 实例:选择 DTS 实例,DTS 订阅 Topic 分区数量要与目标转储 Kafka 的 Topic 分区数量一致。
DTS 消费组:选择 DTS 消费组。
消费者账号:DTS 消费组的账号。
消费组密码:DTS 消费组的密码。
Elasticsearch Service
连接名称:填写连接名称。
描述:选填,填写连接说明。
ES 实例集群:选取腾讯云 Elasticsearch Service 实例集群。
实例用户名:输入 Elasticsearch 实例用户名,腾讯云 Elasticsearch 默认用户名为 elastic,且不可更改。
实例密码:输入 Elasticsearch 实例密码。
MongoDB
连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 MongoDB:选择数据库实例。
自建 MongoDB:选择用户 CLB 实例并指定端口。
用户名:源 MongoDB 的用户名。
密码:源 MongoDB 的密码。
MySQL
连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 MySQL:选择数据库实例。
自建 MySQL(合规原因暂不支持):选择用户 CLB 实例并指定端口。仅支持内网的 CLB,且受 MySQL 同步机制限制,基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库,详情参见 自建集群接入说明。
用户名:填写 MySQL 的用户名。
密码:填写 MySQL 的密码。
说明:
在新建 MySQL 连接时,由于需要同步表结构,为保证数据一致性,CKafka连接器会为源 MySQL 实例加全局锁。该全局锁在表结构同步完后就会释放,理论上持续时间很短。
PostgreSQL
连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 PostgreSQL:选择数据库实例。
自建 PostgreSQL:选择用户 CLB 实例并指定端口。仅支持内网的 CLB,且受 MySQL 同步机制限制,基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库,详情参见 自建集群接入说明。
用户名:填写 PostgreSQL 的用户名。
密码:填写 PostgreSQL 的密码。
TDSQL-C
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库类型:支持 PostgreSQL 和 MySQL 两种类型。
数据库实例:选择数据库实例,目前仅支持运行中的实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
MariaDB
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
SQL Server
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
云数据仓库-PostgreSQL
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
TDSQL PostgreSQL 版
连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
消息队列 Kafka
连接名称:填写连接名称。
描述:选填,填写连接说明。
Kafka 类型
腾讯云 CKafka。选择所属地域和该地域下创建好的 CKafka 实例。
自建 Kafka。用于跨云同步/自建上云的场景,需要输入自建 Kafka 的网络信息。
网络类型:支持 CROSSNET 和公网。
VPC 网络:客户自建 Kafka 集群的 VPC ID 或者是跨云打通的 VPC ID。
云联网 ID:跨云同步时通常需要经过云联网打通专线。
跨云资源 ID:通常为用户连接器上游的实例 ID,标志跨云同步链路中的唯一资源。新建连接时,将自动探测该资源ID下的节点信息,执行网络打通,并关联相关的路由规则。删除该连接时,该资源ID下自动打通的路由规则将会删除。
Broker 地址:客户 Kafka 的 Broker 地址。
跨云场景说明
跨云同步不仅实现了不同云厂商 Kafka 数据和元数据同步到腾讯云 CKafka 的能力,同时也实现了腾讯云内自建 Kafka 实例同步元数据和数据到Ckafka的能力。
跨云同步
自建上云
注意:
1. 跨云同步仅支持作为源使用,即数据只能从跨云连接到腾讯云 Ckafka,暂不支持 Ckafka 的连接到跨云对端。
2. 针对不同云厂商,可能会对 Kafka 相关读取的操作进行权限封禁,因此在建立连接时候会做权限测试,通过后才会新建成功,否则会提示失败。
3. 目前 Broker 地址只支持 IP:Port 形式,并会校验,客户需要提供 IP:Port,Ckafka 会自动在建立连接时打通各个节点的网络。
4. 因为早期 Kafka 版本缺乏一些管理运维的 API,目前源端和目标端暂不支持 0.10.2 版本以及低于 0.10.2 版本的 kafka 实例。
4. 连接配置信息填写后,单击下一步,开始进行连接校验,校验成功后,连接创建完成,在连接列表可以看到创建好的连接。
编辑配置
1. 登录 CKafka 控制台。
2. 在左侧导航栏选择连接器 > 连接列表,单击目标连接的“ID”,进入基本信息页面。
3. 单击基本信息模块右上角的编辑配置,修改连接配置信息,您可以选择是否开启更新并重启所有关联任务,开启后,连接关联的所有任务都将更新并重启。
查看关联任务
1. 登录 CKafka 控制台。
2. 在左侧导航栏选择连接器 > 连接列表,单击目标连接的“ID”,进入基本信息页面。
3. 在页面上方选择关联任务页签,可以查看到该连接关联的任务列表。您可以通过数据源或者数据目标来筛选关联的任务类型。
删除连接
在连接列表页面,单击操作列的删除,在弹窗中二次确认后,即可删除连接。
注意:
只有关联任务数为0时连接才可以被删除。