帮你快速理解、总结文档立即下载

计算资源概述

最近更新时间:2026-09-11 20:42:30
我的收藏
本文介绍 DataBuddy 中 4 种集群类型的能力差异与选型建议,并说明计算资源的状态生命周期。

集群类型选型

DataBuddy 提供 4 种集群类型,分别匹配不同的任务负载特征:

作业集群

适合自动调度的批量数据处理、ETL 作业和可重复执行任务
特性
说明
引擎
Spark
计费模式
按量计费
自动启停
不支持
适用任务
Workflow 中的 Notebook 任务、Python File 任务、SQL 任务
网络设置
支持出站、入站网络打通,详见 计算资源网络设置
特性
说明
引擎
Ray
计费模式
包年包月
自动启停
不支持
适用任务
Workflow 中的 Ray 任务
网络设置
暂不支持

交互式集群

适合多用户协作的即席分析和数据探索 ,支持「无任务自动停止」以节省费用。
特性
说明
引擎
Spark
计费模式
按量计费
自动启停
支持 。可设置「无任务运行 N 分钟后自动停止」;有任务运行时自动启动
适用任务
SQL 探索、Dashboard、ChatBI、文件上传到表
网络设置
支持出站、入站网络打通,详见 计算资源网络设置

平台集群

适合离线数据接入、自定义脚本和平台级服务化能力
特性
说明
引擎
DataX
计费模式
按量计费
自动启停
不支持
适用任务
离线数据接入任务(表到表 / 表到 Volume / 文件到表 / 文件到 Volume)
网络设置
支持出站网络打通,详见 计算资源网络设置

实时集群

适合实时数据接入任务 ,基于 Oceanus(流式计算引擎)。
特性
说明
引擎
Flink(Oceanus)
计费模式
按量计费
自动启停
不支持
适用任务
实时整库多表接入、实时分库分表接入
网络设置
支持出站网络打通,详见 计算资源网络设置

选型建议

按场景优先选择对应集群类型,避免混用:
业务场景
支持的集群类型
说明
工作流中的批处理任务(Notebook、SQL、Python、Ray)
作业集群
单作业独占,运行结束自动释放
SQL 探索 / Dashboard / ChatBI / 文件上传
交互式集群
多用户共享,按 CU 隔离;闲时可自动停止
离线数据接入(表 / Volume / 文件)
平台集群
支持丰富的离线数据源
实时数据接入(CDC、整库 / 分库分表)
实时集群
实时引擎,常驻运行
数据源连通性测试
平台集群、实时集群
推荐与目标任务实际使用同一集群以保证测试准确性
提示
不同集群类型在底层引擎、计费方式、运行模式上差异明显,不能跨集群类型迁移 。如果某类任务的负载发生变化,请创建新集群并迁移任务配置。

CU 与计费

DataBuddy 中所有集群以 CU(Compute Unit) 作为计算资源的统一计量单位:
1 CU ≈ 1 核 4 GB 内存
创建集群时可设置 资源配额 (CU 上限),按实际使用量计费
实时集群中,除作业本身用量外,还会包含管控用量(默认 2 CU)和 Meta Agent 等连接器用量

集群状态生命周期

计算资源在整个生命周期中会经历以下状态:
状态
说明
适用集群
创建中
点击「创建」按钮后,后端正在初始化集群
全部
待启动
创建成功,尚未启动(仅交互式集群有此状态)
交互式集群
启动中
点击「启动」按钮后,集群正在启动(仅交互式集群有此状态)
交互式集群
运行中
集群已就绪,可承载任务
全部
停止中
点击「停止」按钮后(仅交互式集群有此状态)
交互式集群
已停止
已停止运行,可重新启动(仅交互式集群有此状态)
交互式集群
失败
创建或运行过程中出错;状态后会显示警示图标,hover 查看具体原因
全部
变配中
点击「编辑」修改 CU 配额后正在变更
全部
隔离中
按量计费账户欠费
全部
删除中
点击「删除」按钮后正在清理
全部

状态与可执行操作

不同状态下支持的操作:
状态
交互式集群
作业集群 / 平台集群 / 实时集群
创建中
待启动
启动、编辑、删除
(不适用)
启动中
(不适用)
运行中
停止、编辑
充值、编辑、删除
停止中
(不适用)
已停止
启动、编辑、删除
(不适用)
失败
重试、编辑、删除
重试、编辑、删除
变配中
隔离中
充值、删除
充值、删除
删除中
提示
作业集群、平台集群、实时集群创建成功后即进入「运行中」状态,没有「待启动、启动中、已停止」过程。这是底层引擎的差异——这三类集群本身是按需即时拉起,由任务本身的运行状态决定资源占用。

相关文档