帮你快速理解、总结文档立即下载

工作流与任务的运行监控

最近更新时间:2026-09-11 20:57:31
我的收藏
工作流与任务的运行监控用于查看历次运行的状态、时长、参数与异常情况,是运维过程中最高频的入口。本文档覆盖工作流运行列表、工作流运行详情、任务运行详情三层视图。

概述

DataBuddy 提供以下运行监控视图:
视图
入口
主要用途
工作流运行列表
工作流-工作流运行
全局视角查看所有工作流的运行情况
工作流详情页 - 运行记录
工作流-工作流
查看单工作流的运行历史与时长趋势
工作流运行详情
列表运行 ID/工作流运行甘特图跳转
查看单次运行的 DAG 图、列表、甘特图
任务运行详情
DAG 节点/列表名称/甘特图名称跳转
查看单次任务的运行结果、运行日志、任务洞察、Spark UI

前提条件

已加入工作空间,且对目标工作流具备「查看」及以上权限。
工作流已至少运行过一次。

操作步骤

步骤 1:查看工作流运行列表(全局)

1. 在左侧导航选择 工作流 > 工作流运行 ,进入运行列表页。
2. 顶部展示筛选框,支持同时对图和列表进行筛选。
3. 顶部图表展示:
运行数量变化趋势图 :堆积图,按时间展示不同状态的运行数量。
Top 5 错误码 :条形图,单击错误码可快速筛选当前列表。
1. 下方展示空间下有查看权限的运行实例列表。

筛选项

筛选项
说明
工作流名称
输入工作流名称,支持模糊搜索
开始时间/结束时间
时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天
运行账号
根据运行账号筛选,支持多选

列表字段

字段
说明
工作流名称
单击跳转到工作流详情页
运行流 ID
单击跳转到运行详情页
开始时间 / 结束时间
格式 YYYY-MM-DD HH:MM:SS
运行状态
见下方「运行状态」
运行时长
格式 6m3s
触发方式
手动触发 / 调度触发 / 持续运行
错误码
失败时显示
运行参数
格式 name:sys;age:20
操作
重跑 / 终止 / 删除(详见 工作流与任务的运维操作
提示
工作流运行列表数据仅保留 60 天。

步骤 2:查看运行记录(单工作流)

1. 打开目标工作流详情页。
2. 切换到 运行记录 Tab。
3. 顶部展示筛选框,支持同时对图和列表进行筛选。
4. 上方显示「运行时间变化趋势图」,下方显示运行实例列表。

筛选项

筛选项
说明
开始时间/结束时间
时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天
运行账号
根据运行账号筛选,支持多选

列表字段

字段
说明
运行流 ID
单击跳转到运行详情页
开始时间 / 结束时间
格式 YYYY-MM-DD HH:MM:SS
运行状态
见下方「运行状态」
运行时长
格式 6m3s
触发方式
手动触发 / 调度触发 / 持续运行
错误码
失败时显示
运行参数
格式 name:sys;age:20
操作
重跑 / 终止 / 删除(详见 工作流与任务的运维操作
提示
列表展示字段可根据需求勾选或取消勾选调整,默认展示所有字段,操作按钮在列表右上角。

步骤 3:查看工作流运行详情

工作流运行列表中单击 运行流 ID /工作流运行甘特图 跳转到运行详情页。运行详情提供 3 种视图:

3.1 图模式(DAG)

DAG 图展示工作流下所有任务实例和上下游依赖关系。每个节点的颜色表示状态:
颜色
状态
绿色
成功
红色
失败 / 上游失败
蓝色
运行中
灰色
等待中 / 排除运行
黄色
失败重试
操作
说明
节点 hover
显示任务详细信息(运行 ID、运行账号、状态、时长、错误码等)
节点单击
跳转到任务运行详情页
工具栏
放大 / 缩小 / 重置缩放到 100% / 搜索 / 全屏 / 刷新

3.2 列表模式

以表格形式显示当前运行下所有任务实例,支持按照任务名称搜索。列字段:
字段
说明
任务名称
单击跳转到任务运行详情
运行 ID
任务运行的唯一标识
任务类型
Notebook / SQL / Python / 离线接入 / IF ELSE / For Each / 嵌套工作流 / 数据质量
开始时间 / 结束时间
实际执行时间
运行状态
见下方「任务运行状态」
运行时长
格式 6m3s
触发方式
手动触发 / 调度触发 / 持续运行
重试次数
当前任务的重试次数
计算资源
实际使用的资源组
源文件路径
单击跳转到对应文件

3.3 甘特图

横向时间轴展示每个任务的开始-结束区间:
颜色
状态
绿色
成功
红色
失败
灰色
排除运行

3.4 运行信息(右侧侧栏)

区域
字段
基础信息
工作流 ID / 工作流运行 ID / 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长
计算资源
工作流下任务关联的资源组
参数配置
本次运行的参数

步骤 4:查看任务运行详情

工作流运行详情页 DAG 节点、列表名称、甘特图名称跳转到任务运行详情。任务详情页 Tab:
Tab
说明
运行结果
展示任务代码与结果
运行日志
错误码 + 错误信息 + 日志
任务洞察
累计 CPU 时、扫描数据大小、Shuffle、输出行数等
Spark UI
单击按钮跳转到 Spark UI

运行日志区操作

操作
说明
刷新
选择刷新频率(如手动刷新、每 10 秒自动刷新)
自动换行
长行自动换行
搜索
搜索日志关键字,支持快速跳转到匹配的日志
下载日志
下载完整日志到本地

任务运行详情公共信息(右侧侧栏)

区域
字段
基础信息
工作流 ID / 工作流运行 ID / 任务运行 ID /运行账号/ 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长
文件
引用的文件路径,单击跳转到引用文件位置
计算资源
实际使用的资源组与配置
参数配置
本次任务的参数

步骤 5:执行选择(同任务多次运行)

如同一任务在一次运行中执行了多次,任务运行详情页顶部支持选择查看任意一次执行:
默认选中最新一次执行。
按运行开始时间倒序排列。

状态说明

工作流运行状态

状态
说明
等待中
所有任务都处于等待状态。
运行中
至少一个任务在运行。
成功
所有任务都成功或被排除运行。
失败
所有任务到达终态,且至少一个失败。
跳过运行
工作流整体因并发限制被跳过。
终止中
工作流正在终止。

任务运行状态

状态
说明
是否终态
等待工作流并发
工作流并发达上限,等待其他工作流释放
等待上游
上游任务未到达终态
等待任务并发
项目级任务并发上限达 2000
等待资源
等待调度 / 引擎资源
运行中
任务执行中
终止中
任务正在终止
失败重试
任务等待失败后重试
跳过运行
因并发限制跳过
成功
任务运行成功
失败
任务运行失败
上游失败
上游任务为失败状态导致下游失败
排除运行
因不满足运行条件或上游条件分支被排除

使用限制

运行记录数据仅保留 60 天。
列配置(展示哪些列、列顺序)会保留到下次进入。
任务运行详情 Spark UI 通过新开浏览器 Tab 跳转。

常见问题

Q1:DAG 中某节点为灰色「排除运行」是什么意思? 该任务因上游条件节点的判断结果不满足,自动跳过执行。详见 IF ELSE 条件任务
Q2:任务长时间停在「等待资源」怎么办?
在任务运行详情页查看 任务的智能诊断,确认是排队、资源不足、配额超限还是其他原因。
进入 计算资源概述 查看资源组负载。
Q3:日志查询过大不显示完整内容? 单击 下载日志 获取完整日志。

相关文档