系统架构
CKafka 连接器系统架构如下所示:
主要分为四层:
数据源
数据源指客户数据源所处的位置。数据源可以在云上、自建 IDC、跨云、混合云中。数据可以是业务数据、日志数据或者 DB 中的数据等。
接入层
CKafka 连接器提供了适配多种协议的接入层,如 HTTP Rest,Kafka Protocol,Change Data CapTure 等。接入层分布式部署,具有弹性伸缩、自动重试等能力。保证数据接入的稳定性。
存储层
CKafka 连接器的存储层是腾讯云上的消息队列 (MQ),默认是 Kafka,也可以支持 Pulsar、RocketMQ 等其他 MQ。MQ 存储层主要起到削峰填谷,数据分发、缓存的作用。
数据处理转储层
CKafka 连接器提供了数据清洗(ETL)引擎,根据配置进行数据清洗,并提供了 Connector 的转储能力,可以消费存储层的数据,将数据导入到下游的各个不同的存储引擎。