质量监控任务用于在 Workflow 中调度执行数据质量模块定义的质量任务,对监控对象(表、字段)执行规则检查,结果存储到运行记录中。
概述
质量监控任务的核心特点:
不在 Workflow 中编辑规则 :所有质量规则在 数据质量 模块中维护。
作为工作流节点编排 :与其他任务类型混编,在 DAG 中按依赖关系运行。
运行结果反映规则检测 :每条规则的检测结果(正常、异常、失败)在任务运行详情页中展示。
通用配置(任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 任务通用配置。
前提条件
数据质量模块中已创建并 发布 目标质量任务。详见 创建质量规则。
工作空间已绑定 数据计算型 或 数据分析型 Serverless 资源组。
操作步骤
步骤 1:创建任务
1. 工作流列表中点击工作流名称进入工作流配置,选择任务编排,工作流画布单击 + 创建任务 。
2. 任务类型选择 数据质量 。
步骤 2:配置基本信息
参数 | 说明 | 是否必填 |
任务名称 | 同工作流内唯一。 | 是 |
任务类型 | 数据质量。可在下拉中切换为其他任务类型,切换后参数区会清空。 | 是 |
任务来源 | 引用数据质量模块中已发布的规则集。 | 是 |
步骤 3:选择质量任务
1. 单击任务来源 ,下拉选择需要执行的质量任务。
2. 仅展示已发布的规则集。
3. 支持模糊搜索。
4. 选中后任务名称展示在配置面板,单击可跳转到对应质量任务详情页。
步骤 4:配置计算资源
参数 | 说明 | 是否必填 |
计算资源 | 数据计算型 或 数据分析型 Serverless 资源组。 | 是 |
提示
编排场景 vs 试运行场景 :在工作流编排(即本节配置)中可选择 数据计算型、数据分析型 两类资源;而在数据质量模块的「试运行」入口下,下拉框仅展示 数据分析型 资源。
步骤 5:上游依赖、参数、监控指标、告警、失败与超时策略
参考 任务通用配置。
与工作流的两种联动方式如下:
方式 | 配置位置 |
在工作流中创建质量任务节点(本节) | Workflow 编排画布 |
质量任务关联工作流(与某个已发布任务同频调度) | 创建质量规则 |
第二种方式下,质量任务出现在被关联工作流的画布中(不可编辑),起到「在线检查」作用。
步骤 6:保存任务
单击 创建任务 或 保存任务 。
任务运行详情
质量监控任务运行详情页:
区域 | 显示 |
整体执行状态 | 等待运行 / 执行中 / 成功 / 失败 / 终止超时 |
检测状态 | 正常 / 异常 / 检测中 / 未检测 |
正常 / 总规则数 | 例如 8 / 10 |
规则执行明细 | 每条规则一行:规则名称 / 模板类型 / 监控对象 / 检测结果 / 实际值 / 操作(日志、执行历史) |
详细字段说明参考 质量任务运维(待生成)。
使用限制
仅支持引用 已发布 的质量任务;草稿状态的质量任务不在下拉列表中。
一个质量任务同时只存在一个发布态版本;编辑后会生成新的草稿版本,原发布态版本继续生效,工作流调度始终使用最新发布态 ,不会因为存在草稿而失败。
质量任务在 Workflow 中调度时,使用工作流任务的 Run As 账号;该账号需要对监控对象(表、字段)具备访问权限。
质量监控任务的告警与监控指标只针对任务执行(运行时长、等待时长等),规则触发的业务告警通过 质量规则告警配置(待生成)处理。
常见问题
Q1:质量任务运行失败和质量规则检测异常的区别?
状态 | 说明 |
任务运行失败 | 任务无法正常执行(如代码错误、资源不足)。 |
检测异常 | 任务运行成功,但规则检测结果不满足业务约束。 |
可在告警配置中分别处理两种场景:失败 → 任务失败告警;检测异常 → 通过规则告警配置发送。
Q2:能在工作流中编辑质量规则吗?
不能。质量规则在数据质量模块维护,Workflow 只是调度执行入口。如需修改规则,请前往数据质量模块。
Q3:上游任务输出表后,下游质量任务能立即检测吗?
可以。在 Workflow 中将质量任务设置为表写入任务的下游:
[Notebook 任务: 写表] → [质量任务: 检测表]
设置上游依赖后,质量任务会等待写表任务成功后再开始检测。
相关文档
任务通用配置
创建质量规则
质量任务运维