本文介绍在工作空间中创建、查看、编辑和删除数据源的通用流程,并说明如何管理数据源详情、负责人和关联任务。
概述
数据源(Data Source) 一次定义即可在工作空间内被多个数据接入任务、外部 Catalog 等场景复用。本文聚焦「全局数据源配置」的通用操作流程,各类型数据源的具体连接字段(如 MySQL / Kafka 等)请参见 ** 数据源列表 中对应数据源的文档** 。
数据源连接在工作空间级别注册,注册完成后可被以下场景使用:
数据接入任务(离线、实时同步、文件到表、COS 文件到表等)。
Catalog 模块基于 Connection 创建 External Catalog(详见 外部数据管理与基于 Connection 创建 External Catalog)。
全局数据源管理(本文档)。
关键概念
理解数据源配置,需要熟悉以下核心概念:
数据源连接(Connection) :描述与外部系统通信所需的网络地址、认证信息、参数等的对象。
连接方式 :不同数据源支持不同的连接方式,常见的有「串连接」(通过 JDBC URL 或服务列表)与「腾讯云实例」(基于地域、实例 ID)。
认证方式 :根据数据源类型与企业安全策略,支持用户名密码、SSH 密钥、Kerberos、OAuth 2.0、SAS、SecretId / SecretKey 等多种认证。
SSM 凭证托管 :密码、Token 等敏感凭据可托管至腾讯云凭据管理(SSM),由地域、凭证名称、凭证版本三元组动态获取;注意目前只支持 SSM 的「自定义凭证」类型,不支持「数据库凭证」类型。
连通性测试 :在保存数据源前或在使用过程中,验证 DataBuddy 与目标系统的网络可达性与认证有效性。
数据源详情 :每个数据源拥有概览、权限、关联任务等信息,方便统一管理和审计。
子功能导航
前提条件
您已加入目标工作空间,并具有「可创建数据源 」的角色权限(默认空间管理员、空间成员均具备此权限)。
已准备好目标数据源的连接信息(连接串、腾讯云实例 ID、用户名、密码、凭据等)。
如果数据源位于用户私有 VPC 内,请先完成 计算资源网络设置,否则连通性测试会失败。
入口
您可以从以下入口进入数据源配置:
入口 | 路径 |
数据集成入口 | 进入 数据集成 模块,确认在「接入方式」Tab,在「连接器」部分,点击 数据源管理 。 |
全局数据源管理 | 平台管理 > 数据源管理 |
推荐学习路径
如果您是首次配置 DataBuddy 数据源,建议按以下顺序阅读:
1. 了解能力范围 :支持的数据源与读写能力,确认目标数据源的支持情况。
2. 创建第一个数据源 :添加修改数据源连接,按数据源类型完成配置。
3. 测试连通性 :数据源连通性测试,确认 DataBuddy 能正常访问外部系统。
4. 创建数据接入任务 :在数据源详情页点击 创建任务 进入任务配置(详见 创建单表同步任务)。
查看数据源列表
列表展示当前工作空间内已创建的所有数据源:
字段 | 说明 |
数据源名称 | 数据源的展示名称,点击可进入详情页 |
类型 | 数据源类型(MySQL / Kafka / COS 等),支持过滤 |
负责人 | 数据源的所属人,支持过滤 |
创建时间 | 数据源创建时间 |
描述 | 备注信息 |
操作 | 编辑、删除、更多(权限等) |
支持以下列表操作:
搜索 :在右上角搜索框中输入数据源名称关键字进行模糊搜索。
过滤 :点击 类型 或 负责人 列头的过滤图标按值过滤。
刷新 :点击搜索框旁的刷新按钮重新加载列表。
创建数据源 :点击右上角的 + 创建数据源 进入创建流程。
创建、编辑数据源
详见 添加修改数据源
查看数据源详情
在列表页点击数据源名称即进入详情页。详情页包含以下信息和功能:
概览
字段 | 说明 |
数据源类型 | 不可编辑 |
数据源名称 | 不可编辑 |
连接信息 | 显示连接串 / 实例信息;密码、密钥等敏感字段以 *** 形式显示 |
负责人 | 默认为创建人 |
创建人 | 不可编辑,不会因创建人账号删除而置空 |
描述 | 点击进入编辑模式,可修改数据源备注 |
连通性测试 | 连通性测试相关信息 |
Tab 页签
Tab | 内容 |
概览 | 上方的连接信息与基本字段 |
权限 | 数据源的 ACL 权限管理(Can Manage / Can Edit / Can Use / Can View),详见 成员与权限管理 |
关联任务 | 列出当前工作空间内引用本数据源的所有任务(含编辑版本、发布版本、运行版本去重后的合集) |
操作项
详情页右上角支持以下操作:
创建数据接入任务 :跳转到任务创建页,并将本数据源作为任务的数据源。
权限 :配置当前数据源权限。
关联任务列表
**关联任务 ** Tab 中默认展示以下字段:
字段 | 说明 |
任务名称 | 点击跳转到该任务的最新编辑版本 |
任务 ID | 关联任务 ID |
任务类型 | 离线接入 / 实时接入 / 文件上传等 |
发布版本 | 当前已发布的版本号;如果当前编辑版本与发布版本不一致,会显示 ! 标志 |
创建人 | 关联任务创建人 |
创建时间 | 关联任务创建时间 |
最近修改人 / 最近修改时间 | 最近一次编辑信息 |
提示
如果某个任务在不同版本(编辑、发布、运行)中绑定了不同数据源,本列表会拉取所有相关版本的任务并去重展示。点击任务名称统一跳转到该任务的最新编辑版本,可能与当前所在数据源不一致。
删除数据源
操作入口:
列表页操作列点击 删除 ;
删除流程:
1. 弹出二次确认窗口,提示 确认删除数据源?删除后关联本连接的业务将出现异常,且不可恢复。
2. 您可以选择:
继续删除 :强制删除该数据源;
查看关联任务 :跳转到详情页的 关联任务 Tab,查看哪些任务正在引用本数据源。
如果删除失败(例如当前用户无删除权限),会提示 删除失败:
${失败原因} ,点击详情 可查看原始错误报文。使用限制
数据源类型不可修改 :编辑状态下数据源类型字段不可改,如需切换类型必须删除后重建。
内置 DataBuddy 数据源不可编辑、不可删除 ,详见 数据源管理。
负责人必须存在 :负责人不能为空,且至少要有一名所属人;如所属人账号被从工作空间移除,会标红提示。
常见问题
Q1:为什么数据源列表中看不到我的某个数据源?
Q2:如何让多个工作空间共享同一个数据源?
数据源是工作空间级配置,不支持跨空间共享 。如果多个空间需要使用同一个数据源,需要在每个空间分别创建。建议把账号、密码托管到 SSM 中,再在各空间引用同一个 SSM 凭据。
Q3:使用 SSM 凭据有什么好处?
SSM 凭据可以集中管理密码,密码轮换时只需更新 SSM 中的凭据,无需修改 DataBuddy 中的数据源配置;同时密码不会以明文形式保存在 DataBuddy 数据库中,更符合企业安全合规要求。