工作流与任务的运行监控用于查看历次运行的状态、时长、参数与异常情况,是运维过程中最高频的入口。本文档覆盖工作流运行列表、工作流运行详情、任务运行详情三层视图。
概述
DataBuddy 提供以下运行监控视图:
视图 | 入口 | 主要用途 |
工作流运行列表 | 工作流-工作流运行 | 全局视角查看所有工作流的运行情况 |
工作流详情页 - 运行记录 | 工作流-工作流 | 查看单工作流的运行历史与时长趋势 |
工作流运行详情 | 列表运行 ID/工作流运行甘特图跳转 | 查看单次运行的 DAG 图、列表、甘特图 |
任务运行详情 | DAG 节点/列表名称/甘特图名称跳转 | 查看单次任务的运行结果、运行日志、任务洞察、Spark UI |
前提条件
已加入工作空间,且对目标工作流具备「查看」及以上权限。
工作流已至少运行过一次。
操作步骤
步骤 1:查看工作流运行列表(全局)
1. 在左侧导航选择 工作流 > 工作流运行 ,进入运行列表页。
2. 顶部展示筛选框,支持同时对图和列表进行筛选。
3. 顶部图表展示:
运行数量变化趋势图 :堆积图,按时间展示不同状态的运行数量。
Top 5 错误码 :条形图,单击错误码可快速筛选当前列表。
1. 下方展示空间下有查看权限的运行实例列表。
筛选项
筛选项 | 说明 |
工作流名称 | 输入工作流名称,支持模糊搜索 |
开始时间/结束时间 | 时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天 |
运行账号 | 根据运行账号筛选,支持多选 |
列表字段
字段 | 说明 |
工作流名称 | 单击跳转到工作流详情页 |
运行流 ID | 单击跳转到运行详情页 |
开始时间 / 结束时间 | 格式 YYYY-MM-DD HH:MM:SS |
运行状态 | 见下方「运行状态」 |
运行时长 | 格式 6m3s |
触发方式 | 手动触发 / 调度触发 / 持续运行 |
错误码 | 失败时显示 |
运行参数 | 格式 name:sys;age:20 |
操作 |
提示
工作流运行列表数据仅保留 60 天。
步骤 2:查看运行记录(单工作流)
1. 打开目标工作流详情页。
2. 切换到 运行记录 Tab。
3. 顶部展示筛选框,支持同时对图和列表进行筛选。
4. 上方显示「运行时间变化趋势图」,下方显示运行实例列表。
筛选项
筛选项 | 说明 |
开始时间/结束时间 | 时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天 |
运行账号 | 根据运行账号筛选,支持多选 |
列表字段
字段 | 说明 |
运行流 ID | 单击跳转到运行详情页 |
开始时间 / 结束时间 | 格式 YYYY-MM-DD HH:MM:SS |
运行状态 | 见下方「运行状态」 |
运行时长 | 格式 6m3s |
触发方式 | 手动触发 / 调度触发 / 持续运行 |
错误码 | 失败时显示 |
运行参数 | 格式 name:sys;age:20 |
操作 |
提示
列表展示字段可根据需求勾选或取消勾选调整,默认展示所有字段,操作按钮在列表右上角。
步骤 3:查看工作流运行详情
工作流运行列表中单击 运行流 ID /工作流运行甘特图 跳转到运行详情页。运行详情提供 3 种视图:
3.1 图模式(DAG)
DAG 图展示工作流下所有任务实例和上下游依赖关系。每个节点的颜色表示状态:
颜色 | 状态 |
绿色 | 成功 |
红色 | 失败 / 上游失败 |
蓝色 | 运行中 |
灰色 | 等待中 / 排除运行 |
黄色 | 失败重试 |
操作 | 说明 |
节点 hover | 显示任务详细信息(运行 ID、运行账号、状态、时长、错误码等) |
节点单击 | 跳转到任务运行详情页 |
工具栏 | 放大 / 缩小 / 重置缩放到 100% / 搜索 / 全屏 / 刷新 |
3.2 列表模式
以表格形式显示当前运行下所有任务实例,支持按照任务名称搜索。列字段:
字段 | 说明 |
任务名称 | 单击跳转到任务运行详情 |
运行 ID | 任务运行的唯一标识 |
任务类型 | Notebook / SQL / Python / 离线接入 / IF ELSE / For Each / 嵌套工作流 / 数据质量 |
开始时间 / 结束时间 | 实际执行时间 |
运行状态 | 见下方「任务运行状态」 |
运行时长 | 格式 6m3s |
触发方式 | 手动触发 / 调度触发 / 持续运行 |
重试次数 | 当前任务的重试次数 |
计算资源 | 实际使用的资源组 |
源文件路径 | 单击跳转到对应文件 |
3.3 甘特图
横向时间轴展示每个任务的开始-结束区间:
颜色 | 状态 |
绿色 | 成功 |
红色 | 失败 |
灰色 | 排除运行 |
3.4 运行信息(右侧侧栏)
区域 | 字段 |
基础信息 | 工作流 ID / 工作流运行 ID / 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长 |
计算资源 | 工作流下任务关联的资源组 |
参数配置 | 本次运行的参数 |
步骤 4:查看任务运行详情
工作流运行详情页 DAG 节点、列表名称、甘特图名称跳转到任务运行详情。任务详情页 Tab:
Tab | 说明 |
运行结果 | 展示任务代码与结果 |
运行日志 | 错误码 + 错误信息 + 日志 |
任务洞察 | 累计 CPU 时、扫描数据大小、Shuffle、输出行数等 |
Spark UI | 单击按钮跳转到 Spark UI |
运行日志区操作
操作 | 说明 |
刷新 | 选择刷新频率(如手动刷新、每 10 秒自动刷新) |
自动换行 | 长行自动换行 |
搜索 | 搜索日志关键字,支持快速跳转到匹配的日志 |
下载日志 | 下载完整日志到本地 |
任务运行详情公共信息(右侧侧栏)
区域 | 字段 |
基础信息 | 工作流 ID / 工作流运行 ID / 任务运行 ID /运行账号/ 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长 |
文件 | 引用的文件路径,单击跳转到引用文件位置 |
计算资源 | 实际使用的资源组与配置 |
参数配置 | 本次任务的参数 |
步骤 5:执行选择(同任务多次运行)
如同一任务在一次运行中执行了多次,任务运行详情页顶部支持选择查看任意一次执行:
默认选中最新一次执行。
按运行开始时间倒序排列。
状态说明
工作流运行状态
状态 | 说明 |
等待中 | 所有任务都处于等待状态。 |
运行中 | 至少一个任务在运行。 |
成功 | 所有任务都成功或被排除运行。 |
失败 | 所有任务到达终态,且至少一个失败。 |
跳过运行 | 工作流整体因并发限制被跳过。 |
终止中 | 工作流正在终止。 |
任务运行状态
状态 | 说明 | 是否终态 |
等待工作流并发 | 工作流并发达上限,等待其他工作流释放 | 否 |
等待上游 | 上游任务未到达终态 | 否 |
等待任务并发 | 项目级任务并发上限达 2000 | 否 |
等待资源 | 等待调度 / 引擎资源 | 否 |
运行中 | 任务执行中 | 否 |
终止中 | 任务正在终止 | 否 |
失败重试 | 任务等待失败后重试 | 否 |
跳过运行 | 因并发限制跳过 | 是 |
成功 | 任务运行成功 | 是 |
失败 | 任务运行失败 | 是 |
上游失败 | 上游任务为失败状态导致下游失败 | 是 |
排除运行 | 因不满足运行条件或上游条件分支被排除 | 是 |
使用限制
运行记录数据仅保留 60 天。
列配置(展示哪些列、列顺序)会保留到下次进入。
任务运行详情 Spark UI 通过新开浏览器 Tab 跳转。
常见问题
Q2:任务长时间停在「等待资源」怎么办?
在任务运行详情页查看 任务的智能诊断,确认是排队、资源不足、配额超限还是其他原因。
进入 计算资源概述 查看资源组负载。
Q3:日志查询过大不显示完整内容?
单击 下载日志 获取完整日志。