概述
工作流(Workflow)是 Workflow 模块中负责编排与调度的最小独立单元。一个工作流由若干个 任务节点 与节点之间的 依赖关系 组成,描述「什么任务在什么条件下执行」。
工作流的核心能力:
承接 Studio :Studio 完成开发与调试,Workflow 完成发布、调度与运维。
统一编排 :所有任务类型(Notebook / SQL / Python File / Ray / 离线数据接入 / IF ELSE / For Each / 嵌套工作流、质量监控)在同一画布上编排。
完整运维链路 :覆盖运行记录、运行详情(图模式、列表模式、甘特图)、智能诊断、告警与通知。
核心概念
概念 | 说明 |
工作流(Workflow) | 一组通过依赖关系连接起来的任务集合,是调度的最小单元。 |
任务(Task) | 工作流中的执行单元,对应一段代码(Notebook / SQL / Python)或一个内置节点(IF ELSE / For Each / 嵌套)。 |
工作流运行(Workflow Run) | 一次工作流执行的实例,记录开始时间、结束时间、状态、参数等运行时信息。 |
任务运行(Task Run) | 一次任务执行的实例,归属于某个工作流运行。 |
调度触发器(Trigger) | 工作流的执行入口:定时 / Cron / 文件到达 / 持续运行 / 手动触发。 |
前提条件
已加入工作空间,且具备 Workflow 模块访问权限。
工作空间已绑定计算资源;任务运行依赖对应的资源组。
工作流状态
状态 | 说明 |
等待中 | 所有任务都处于等待状态。 |
运行中 | 至少一个任务在运行。 |
成功 | 所有任务都成功或被排除运行。 |
失败 | 所有任务到达终态,且至少一个失败。 |
跳过运行 | 所有任务被跳过(并发限制)。 |
终止中 | 工作流正在终止。 |
任务状态
状态 | 说明 |
等待工作流并发 | 工作流并发达上限,等待其他工作流释放。 |
等待上游 | 上游任务未到达终态。 |
等待任务并发 | 项目级任务并发上限达 2000。 |
等待资源 | 等待调度 / 引擎资源。 |
运行中 | 任务执行中。 |
终止中 | 任务正在终止。 |
失败重试 | 任务等待失败后重试。 |
跳过运行 | 因并发限制跳过。 |
成功 | 任务运行成功。 |
失败 | 任务运行失败。 |
上游失败 | 上游任务为失败状态导致下游失败。 |
排除运行 | 因不满足运行条件或上游条件分支被排除。 |
使用限制
单工作空间最多 10000 个工作流;单工作流最多 1000 个任务节点。
平台级最大并发任务数:2000(每个工作空间)。
相关文档
配置工作流
调度与触发器
其他配置