什么是连接器
连接器是腾讯云上 SaaS 化的数据接入和处理工具,可以方便快捷地完成一站式的数据接入、处理和分发。连接器提供基于 HTTP/TCP 协议的 SDK 协助客户快速完成数据上报、基于 CDC(Change Data Capture) 机制快速订阅、存储多款数据库(MySQL、PostgreSQL、MongoDB 等)变更信息,打通了多款云产品的日志投递。并提供了简单可配置的数据清洗 (ETL) 能力,以及丰富的数据流出渠道,协助客户低成本搭建数据流转链路,构建数据源和数据处理系统间的桥梁。
连接器旨在做好云上、云下(跨云、混合云)场景的数据连接,提供 SaaS 化的、简单可配置的、低成本的数据流转能力。打造一条可靠的、稳定的数据链路。
注意:
连接器为 CKafka 的重要功能模块之一,旨在搭建 CKafka 的上下游数据流转链路。当前正在公测中,建议您可在离线场景用于测试环境下使用。
连接器功能
数据上报
CKafka 连接器提供基于 HTTP/TCP 协议的客户端 SDK,方便客户将数据上报到多款消息队列(Kafka、Pulsar、RocketMQ 等),屏蔽数据上报 Server 端的开发维护成本和多种消息队列的复杂协议理解和 SDK 使用成本,简化数据上报流程,SaaS 化地完成数据的上报。
数据库变更信息订阅
CKafka 连接器支持基于 CDC(Change Data Capture) 机制订阅多款数据库的变更数据。如订阅 MySQL的 Binlog,MongoDB 的 Change Stream,PostgreSQL 的行级的数据变更 (Row-level Change),SQL Server 的行级的数据变更 (Row-level Change) 等,将这些数据订阅到消息队列中,方便业务上对这些数据的处理、分发、查询等。
集成丰富的数据源
CKafka 连接器旨在打通腾讯公有云、跨云、混合云场景下的数据连接。支持云上多款云产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、中间件、HTTP 等多种场景的数据接入。
数据清洗/数据流出
当完成数据上报,数据进入到消息队列时,CKafka 连接器提供了强大的、界面化的数据 ETL 配置能力,方便快捷的完成数据的清洗、格式化、数据格式转换等操作。并支持将完成 ETL 处理的数据,转储到下游。
Serverless 自定义处理
CKafka 连接器基于 Serverless 平台的优势,依托 Serverless Function 的按量计费、用户自编码能力,支持用户基于 Serverless Function 自定义的完成业务逻辑的编写,完成自定义的数据处理分发功能。