本文介绍 DataBuddy 中 4 种集群类型的能力差异与选型建议,并说明计算资源的状态生命周期。
集群类型选型
DataBuddy 提供 4 种集群类型,分别匹配不同的任务负载特征:
作业集群
适合自动调度的批量数据处理、ETL 作业和可重复执行任务 。
特性 | 说明 |
引擎 | Spark |
计费模式 | 按量计费 |
自动启停 | 不支持 |
适用任务 | Workflow 中的 Notebook 任务、Python File 任务、SQL 任务 |
网络设置 | 支持出站、入站网络打通,详见 计算资源网络设置 |
特性 | 说明 |
引擎 | Ray |
计费模式 | 包年包月 |
自动启停 | 不支持 |
适用任务 | Workflow 中的 Ray 任务 |
网络设置 | 暂不支持 |
交互式集群
适合多用户协作的即席分析和数据探索 ,支持「无任务自动停止」以节省费用。
特性 | 说明 |
引擎 | Spark |
计费模式 | 按量计费 |
自动启停 | 支持 。可设置「无任务运行 N 分钟后自动停止」;有任务运行时自动启动 |
适用任务 | SQL 探索、Dashboard、ChatBI、文件上传到表 |
网络设置 | 支持出站、入站网络打通,详见 计算资源网络设置 |
平台集群
适合离线数据接入、自定义脚本和平台级服务化能力 。
特性 | 说明 |
引擎 | DataX |
计费模式 | 按量计费 |
自动启停 | 不支持 |
适用任务 | 离线数据接入任务(表到表 / 表到 Volume / 文件到表 / 文件到 Volume) |
网络设置 | 支持出站网络打通,详见 计算资源网络设置 |
实时集群
适合实时数据接入任务 ,基于 Oceanus(流式计算引擎)。
特性 | 说明 |
引擎 | Flink(Oceanus) |
计费模式 | 按量计费 |
自动启停 | 不支持 |
适用任务 | 实时整库多表接入、实时分库分表接入 |
网络设置 | 支持出站网络打通,详见 计算资源网络设置 |
选型建议
按场景优先选择对应集群类型,避免混用:
业务场景 | 支持的集群类型 | 说明 |
工作流中的批处理任务(Notebook、SQL、Python、Ray) | 作业集群 | 单作业独占,运行结束自动释放 |
SQL 探索 / Dashboard / ChatBI / 文件上传 | 交互式集群 | 多用户共享,按 CU 隔离;闲时可自动停止 |
离线数据接入(表 / Volume / 文件) | 平台集群 | 支持丰富的离线数据源 |
实时数据接入(CDC、整库 / 分库分表) | 实时集群 | 实时引擎,常驻运行 |
数据源连通性测试 | 平台集群、实时集群 | 推荐与目标任务实际使用同一集群以保证测试准确性 |
提示
不同集群类型在底层引擎、计费方式、运行模式上差异明显,不能跨集群类型迁移 。如果某类任务的负载发生变化,请创建新集群并迁移任务配置。
CU 与计费
DataBuddy 中所有集群以 CU(Compute Unit) 作为计算资源的统一计量单位:
1 CU ≈ 1 核 4 GB 内存
创建集群时可设置 资源配额 (CU 上限),按实际使用量计费
实时集群中,除作业本身用量外,还会包含管控用量(默认 2 CU)和 Meta Agent 等连接器用量
集群状态生命周期
计算资源在整个生命周期中会经历以下状态:
状态 | 说明 | 适用集群 |
创建中 | 点击「创建」按钮后,后端正在初始化集群 | 全部 |
待启动 | 创建成功,尚未启动(仅交互式集群有此状态) | 交互式集群 |
启动中 | 点击「启动」按钮后,集群正在启动(仅交互式集群有此状态) | 交互式集群 |
运行中 | 集群已就绪,可承载任务 | 全部 |
停止中 | 点击「停止」按钮后(仅交互式集群有此状态) | 交互式集群 |
已停止 | 已停止运行,可重新启动(仅交互式集群有此状态) | 交互式集群 |
失败 | 创建或运行过程中出错;状态后会显示警示图标,hover 查看具体原因 | 全部 |
变配中 | 点击「编辑」修改 CU 配额后正在变更 | 全部 |
隔离中 | 按量计费账户欠费 | 全部 |
删除中 | 点击「删除」按钮后正在清理 | 全部 |
状态与可执行操作
不同状态下支持的操作:
状态 | 交互式集群 | 作业集群 / 平台集群 / 实时集群 |
创建中 | — | — |
待启动 | 启动、编辑、删除 | (不适用) |
启动中 | — | (不适用) |
运行中 | 停止、编辑 | 充值、编辑、删除 |
停止中 | — | (不适用) |
已停止 | 启动、编辑、删除 | (不适用) |
失败 | 重试、编辑、删除 | 重试、编辑、删除 |
变配中 | — | — |
隔离中 | 充值、删除 | 充值、删除 |
删除中 | — | — |
提示
作业集群、平台集群、实时集群创建成功后即进入「运行中」状态,没有「待启动、启动中、已停止」过程。这是底层引擎的差异——这三类集群本身是按需即时拉起,由任务本身的运行状态决定资源占用。