概述
CKafka 是腾讯云提供的分布式消息队列服务，兼容 Apache Kafka 协议，适用于数据采集、流式处理等场景。DataBuddy 数据接入支持将 CKafka 作为来源端，覆盖离线与实时同步场景。本文介绍其连接配置、能力支持范围、前提条件与常见问题。
支持的版本
类型 | 支持版本 |
CKafka | 2.4.1 / 2.8.1 / 3.2.3 |
读取能力
能力 | 支持情况 | 说明 |
离线同步（读 / 写） | ✓ / - | 支持作为离线同步任务的源端读取数据；DataBuddy 数据源仅支持接入读取，不支持写入 |
实时同步（读 / 写） | ✓ / - | 支持作为实时同步任务的源端消费 Topic 消息；DataBuddy 数据源仅支持接入读取，不支持写入 |
使用限制
限制项 | 说明 |
数据模型 | 以 Topic 为读取粒度，分区内消息有序 |
消息格式 | 支持 JSON、Avro 等格式 |
消费组 | 实时同步需配置独立的消费组 |
消息格式
格式 | 说明 |
JSON | JSON 格式消息 |
Avro | Avro 序列化消息 |
Text | 纯文本消息 |
前提条件
在 CKafka 控制台创建实例与 Topic，并配置访问账号（SASL PLAINTEXT）。
请确保 DataBuddy 运行环境与 CKafka 网络连通，且已配置正确的消费组。
创建数据源
操作步骤
1. 登录 DataBuddy 控制台。
2. 在顶部切换到目标地域和 Workspace。
3. 进入 数据集成 > 数据源管理（或 平台管理 > 数据源管理）。
4. 点击 添加数据源，选择 CKafka。
5. 填写连接配置与认证信息，详见 参数说明。
6. 点击 连通性测试（参见 数据源连通性测试）。
7. 测试通过后点击 保存 或 保存 & 创建任务。
参数说明
参数 | 说明 | 是否必填 | 默认值 |
数据源名称 | 数据源在工作空间内的唯一标识 | 是 | — |
连接方式 | 腾讯云实例 / 串连接（Bootstrap Servers） | 是 | 腾讯云实例 |
地域、实例 | 腾讯云实例方式下选择目标实例 | 腾讯云实例必填 | — |
Bootstrap Servers | 串连接方式下的 Broker 地址，格式 host1:port,host2:port | 串连接必填 | — |
认证方式 | PLAINTEXT / SASL_PLAINTEXT | 是 | PLAINTEXT |
用户名 / 密码 | SASL 认证下的账号 | SASL_PLAINTEXT 时必填 | — |
Bootstrap Servers 示例：
10.0.0.1:9092,10.0.0.2:9092
在数据接入任务中使用
实时读取
配置项 | 说明 |
数据来源 | 已配置的 CKafka 数据源 |
Topic | 选择目标 Topic |
消费组 | 配置独立消费组，避免与业务消费冲突 |
消息格式 | 选择 JSON / Avro / Text 等 |
离线读取
配置项 | 说明 |
数据来源 | 已配置的 CKafka 数据源 |
Topic | 选择目标 Topic |
读取范围 | 支持从指定 Offset 或最早 / 最新位置读取 |
最佳实践
实践 | 建议 |
消费组独立 | 为同步任务配置独立消费组 |
分区规划 | 合理规划 Topic 分区数，提升并行消费能力 |
网络打通 | 优先使用内网连接，提升传输性能 |
常见问题
Q：连接超时或被拒绝？
A：检查 Bootstrap Servers 地址与端口可达性，确认认证信息正确。
Q：消费不到消息？
A：确认 Topic 存在、消费组配置正确，且 Offset 位置设置合理。
