帮你快速理解、总结文档立即下载

质量监控任务

最近更新时间:2026-09-11 18:24:36
我的收藏
质量监控任务用于在 Workflow 中调度执行数据质量模块定义的质量任务,对监控对象(表、字段)执行规则检查,结果存储到运行记录中。

概述

质量监控任务的核心特点:
不在 Workflow 中编辑规则 :所有质量规则在 数据质量 模块中维护。
作为工作流节点编排 :与其他任务类型混编,在 DAG 中按依赖关系运行。
运行结果反映规则检测 :每条规则的检测结果(正常、异常、失败)在任务运行详情页中展示。
通用配置(任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 任务通用配置。

前提条件

数据质量模块中已创建并 发布 目标质量任务。详见 创建质量规则。
工作空间已绑定 数据计算型数据分析型 Serverless 资源组。

操作步骤

步骤 1:创建任务

1. 工作流列表中点击工作流名称进入工作流配置,选择任务编排,工作流画布单击 + 创建任务
2. 任务类型选择 数据质量

步骤 2:配置基本信息

参数
说明
是否必填
任务名称
同工作流内唯一。
任务类型
数据质量。可在下拉中切换为其他任务类型,切换后参数区会清空。
任务来源
引用数据质量模块中已发布的规则集。

步骤 3:选择质量任务

1. 单击任务来源 ,下拉选择需要执行的质量任务。
2. 仅展示已发布的规则集。
3. 支持模糊搜索。
4. 选中后任务名称展示在配置面板,单击可跳转到对应质量任务详情页。

步骤 4:配置计算资源

参数
说明
是否必填
计算资源
数据计算型 或 数据分析型 Serverless 资源组。
提示
编排场景 vs 试运行场景 :在工作流编排(即本节配置)中可选择 数据计算型、数据分析型 两类资源;而在数据质量模块的「试运行」入口下,下拉框仅展示 数据分析型 资源。

步骤 5:上游依赖、参数、监控指标、告警、失败与超时策略

参考 任务通用配置。
与工作流的两种联动方式如下:
方式
配置位置
在工作流中创建质量任务节点(本节)
Workflow 编排画布
质量任务关联工作流(与某个已发布任务同频调度)
创建质量规则
第二种方式下,质量任务出现在被关联工作流的画布中(不可编辑),起到「在线检查」作用。

步骤 6:保存任务

单击 创建任务保存任务

任务运行详情

质量监控任务运行详情页:
区域
显示
整体执行状态
等待运行 / 执行中 / 成功 / 失败 / 终止超时
检测状态
正常 / 异常 / 检测中 / 未检测
正常 / 总规则数
例如 8 / 10
规则执行明细
每条规则一行:规则名称 / 模板类型 / 监控对象 / 检测结果 / 实际值 / 操作(日志、执行历史)
详细字段说明参考 质量任务运维(待生成)。

使用限制

仅支持引用 已发布 的质量任务;草稿状态的质量任务不在下拉列表中。
一个质量任务同时只存在一个发布态版本;编辑后会生成新的草稿版本,原发布态版本继续生效,工作流调度始终使用最新发布态 ,不会因为存在草稿而失败。
质量任务在 Workflow 中调度时,使用工作流任务的 Run As 账号;该账号需要对监控对象(表、字段)具备访问权限。
质量监控任务的告警与监控指标只针对任务执行(运行时长、等待时长等),规则触发的业务告警通过 质量规则告警配置(待生成)处理。

常见问题

Q1:质量任务运行失败和质量规则检测异常的区别?
状态
说明
任务运行失败
任务无法正常执行(如代码错误、资源不足)。
检测异常
任务运行成功,但规则检测结果不满足业务约束。
可在告警配置中分别处理两种场景:失败 → 任务失败告警;检测异常 → 通过规则告警配置发送。
Q2:能在工作流中编辑质量规则吗? 不能。质量规则在数据质量模块维护,Workflow 只是调度执行入口。如需修改规则,请前往数据质量模块。
Q3:上游任务输出表后,下游质量任务能立即检测吗? 可以。在 Workflow 中将质量任务设置为表写入任务的下游:
[Notebook 任务: 写表] → [质量任务: 检测表]
设置上游依赖后,质量任务会等待写表任务成功后再开始检测。

相关文档

任务通用配置
创建质量规则
质量任务运维