技术原理

最近更新时间:2024-10-09 17:08:31

我的收藏

系统架构

CKafka 连接器系统架构如下所示:
img


主要分为四层:

数据源

数据源指客户数据源所处的位置。数据源可以在云上、自建 IDC、跨云、混合云中。数据可以是业务数据、日志数据或者 DB 中的数据等。

接入层

CKafka 连接器提供了适配多种协议的接入层,如 HTTP Rest,Kafka Protocol,Change Data CapTure 等。接入层分布式部署,具有弹性伸缩、自动重试等能力。保证数据接入的稳定性。

存储层

CKafka 连接器的存储层是腾讯云上的消息队列 (MQ),默认是 Kafka,也可以支持 Pulsar、RocketMQ 等其他 MQ。MQ 存储层主要起到削峰填谷,数据分发、缓存的作用。

数据处理转储层

CKafka 连接器提供了数据清洗(ETL)引擎,根据配置进行数据清洗,并提供了 Connector 的转储能力,可以消费存储层的数据,将数据导入到下游的各个不同的存储引擎。