概述
数据源(Data Source) 是数据接入任务的连接入口。在 DataBuddy 中,数据源以全局对象 的形式由平台统一管理,不绑定到某一个具体的接入任务——一份数据源定义可以被多个离线同步、实时同步、文件上传任务、以及外部 Catalog 复用。
为避免数据源相关内容在数据接入模块与平台管理模块中重复维护,DataBuddy 把数据源的创建、编辑、连通性测试、权限管理 等通用能力统一收敛到 数据源管理 章节,本节作为「数据接入」视角下的入口指引,引导您到平台管理中完成具体操作。
在数据接入中如何用到数据源
接入场景 | 数据源在其中的角色 | 相关文档 |
离线数据同步(单表/批量/整库) | 同步任务的来源端 或目标端 连接 | |
实时数据同步(整库/分库分表) | 同步任务的来源端 连接(目标端一般为内置 DataBuddy 数据源) | |
文件上传到表 / 卷 | COS 类型上传需要 COS 数据源;本地上传不需要预先注册数据源 | |
数据源类型与读写能力 | 在任务配置前确认所选数据源类型是否支持作为来源 / 目标 |
数据源的核心操作(在平台管理中完成)
数据源的所有管理操作均在「平台管理 > 数据源管理」中进行,具体能力如下:
各类型数据源的连接字段
在创建数据源时,数据源类型 下拉列表展示当前版本实际支持的完整类型清单。各数据源类型在「数据接入」视角下的字段说明与读写能力,详见:
数据源列表 及其下各具体数据源文档(MySQL / TDSQL-C MySQL / Oracle / PostgreSQL / SQL Server / MongoDB / Kafka 等)
推荐操作流程
首次接入一个外部数据源,建议按以下顺序:
1. 类型评估 :在 支持的数据源与读写能力 中确认所需的数据源类型是否支持您计划的同步方向(作为来源、作为目标)。
2. 网络打通 (若数据源位于您的私有 VPC):先完成 计算资源网络设置。
3. 创建数据源 :在 全局数据源配置 中创建数据源连接。
4. 连通性测试 :在创建、编辑数据源页面指定计算资源并 完成连通性测试。
相关文档
平台管理:数据源管理概述
数据接入概览:支持的接入方案
数据源类型与读写能力:支持的数据源与读写能力
计算资源网络设置:计算资源网络设置
成员与权限管理:成员与权限管理