概述
本文介绍如何创建一个质量任务并在其中配置质量规则。一个质量任务是若干条质量规则的容器,可作用于表或字段,由 YAML 编辑器统一编辑。完成创建后可进入发布、调度与运行阶段。
前提条件
在开始本操作前,请确保满足以下条件:
已开通 DataBuddy 服务并完成空间初始化。
拥有目标表的 Owner 角色,或在目标表上拥有 Manager 权限(角色权限说明详见 成员与权限管理)。无权限用户在创建按钮上 hover 时,会看到提示「仅表 Owner 和有表 Manager 权限的人有权限创建」。
已在目标 Workspace 下准备好可用的数据分析型计算资源,用于试运行与调度执行。
使用限制
限制项 | 说明 |
创建权限 | 仅表 Owner 与表 Manager 角色可创建 |
单任务监控对象 | 一次只能选择一张表(可对该表的多个字段配置规则) |
规则编辑形态 | 仅支持 YAML 编辑器,UI 表单与 YAML 不并存 |
规则类型 | 系统内置模板(表级、字段级)与自定义 SQL 规则 |
操作步骤
步骤 1:从 Catalog 或独立菜单进入创建页
DataBuddy 提供 4 个创建入口,仅影响「监控对象」的默认值,其余步骤一致。
入口 | 进入路径 | 默认行为 |
表详情页质量 Tab | 数据目录 > 选中表 > 质量 Tab > 新建质量任务 | 跳过「选择对象」,监控对象默认为当前表 |
数据质量独立菜单 - Catalog 层级 | 左侧导航 数据质量 > 选中 Catalog > 新建质量任务 | 进入「选择对象」,已展开当前 Catalog |
数据质量独立菜单 - Schema 层级 | 左侧导航 数据质量 > 选中 Schema > 新建质量任务 | 进入「选择对象」,已展开当前 Schema |
数据质量独立菜单 - Table 层级 | 左侧导航 数据质量 > 选中 Table > 新建质量任务 | 跳过「选择对象」,监控对象默认为当前表 |
步骤 2:选择监控对象
在「选择对象」面板中选择被监控的表,质量任务一次只支持一张表。选定后进入步骤 3 配置规则。
步骤 3:创建质量规则(YAML)
在「对象 & 规则」面板的左侧 YAML 编辑器中编写规则。
1. 支持 AI 辅助编写规则
2. 单击展开模板列表 ,选择对应模板名称后点击插入图标,编辑器会插入完整的规则 YAML 片段,包含:规则名称、规则类型、系统模板标识、检测表达式、告警设置。
YAML 规则的关键字段如下:
字段 | 说明 | 是否必填 | 示例 |
rule_name | 规则名称,作为告警与运维列表中的显示名 | 是 | 订单 ID 空值检测 |
template | 系统模板标识;自定义 SQL 时填 custom_sql | 是 | field_null_rate |
dimension | 质量维度(与 template 配套):完整性 / 唯一性 / 及时性 / 有效性/一致性/准确性 | 是 | completeness |
target.column | 字段级规则的目标字段;表级规则可省略 | 视模板而定 | order_id |
expression | 检测表达式或自定义 SQL | 是 | value <= 0.01 |
filter | 数据过滤条件,例如限定分区 | 否 | dt = '${yyyyMMdd}' |
alert | 规则的告警配置,enable 表示该规则触发后将发送告警通知,默认为 enable | 否 | - |
3. 模板插入后,YAML 中需要您填写的位置会带上# 后缀,表示此处需要您补充内容。
4. 单击模板列表上方的「帮助文档」链接可查看 YAML 规则配置说明。
步骤 4:填写基本配置
在「对象 & 规则」面板的右侧 基本配置 区域,填写以下字段:
1. 任务名称:必填,默认值为「质量任务 _ 日期 _ 时间戳」,可手工修改。
2. 负责人:必填,默认为当前创建人,必须是对该任务所访问的引擎数据具备操作权限的用户。
3. 任务描述:选填,建议填写监控目的与覆盖业务范围,便于后续运维识别。
步骤 5:告警配置
支持为质量规则配置告警通知,配置完成后,当规则触发时系统将发送告警消息。
1. 通过下拉框选择需要开启告警的规则,YAML 编辑框内容与下拉选择的规则联动同步展示。
2. 为选中的告警规则配置通知渠道;尚未配置通知渠道时,可点击添加渠道,跳转至 设置通知渠道 页面完成渠道创建。
步骤 6:保存或保存并发布
页面底部提供 3 个操作按钮:
保存并发布:保存当前 YAML 与基本配置,关闭抽屉返回任务列表,并立即弹出发布弹窗。
仅保存:保存为草稿态版本,关闭抽屉返回任务列表。草稿态任务不会被调度,可后续在任务列表上点击「发布」。
取消:弹出二次确认,确认后丢弃未保存的 YAML 与基本配置变更。
注意:
草稿态任务无法在工作流中被调度。在工作流中选择质量任务时,仅会展示该任务的最新发布态版本。
参数说明
任务基本配置
参数 | 说明 | 是否必填 | 默认值 |
任务名称 | 任务在列表与告警中的显示名 | 是 | 质量任务_ 日期 _ 时间戳 |
负责人 | 任务的所属用户,需对监控表具备操作权限 | 是 | 当前创建人 |
任务描述 | 任务的业务说明 | 否 | — |
YAML 规则字段
参考创建质量规则(YAML)
验证结果
创建任务完成后,您可进入数据质量独立菜单或表详情页 > 质量 Tab 的任务列表中,查看已创建的任务信息。单击任务名称可更新质量规则。
常见问题
Q:为什么我看不到「新建质量任务」按钮?
A:该按钮仅对表 Owner 与具备表 Manager 权限的用户开放。您可以在表详情页的权限信息中查看自己对该表的角色,必要时联系 Owner 授权。
Q:能否一次创建一个任务监控多张表?