帮你快速理解、总结文档立即下载

质量任务创建与调度

最近更新时间:2026-09-11 18:24:34
我的收藏
质量任务创建与调度让您通过自然语言描述完成质量规则的智能推荐、配置、试运行与工作流调度,Buddy 自动分析表结构与历史数据特征、推荐适合的规则类型与阈值,并在关键节点等待您确认后将规则发布为正式质量任务。

概述

数据质量规则是保障数据可信度的关键手段。传统方式需要逐表分析、逐条编写规则,效率低且容易遗漏。质量任务创建与调度覆盖以下场景:
规则智能推荐 :分析表结构、字段类型、历史数据分布,自动推荐适合的质量规则(空值率、唯一性、值域、数据量、新鲜度等)。
规则自动生成 :AI 自动生成质量规则配置,用户确认后即可发布为正式质量任务,确保规则准确可控。
阈值智能设定 :基于历史数据的统计特征(均值、标准差、分位数)自动设定合理的告警阈值,避免过松或过严。
规则模板复用 :针对同一 Schema 下结构相似的表,支持规则模板化批量应用,一次配置、多表复用。
试运行 :质量规则创建后,支持立即试运行,验证规则效果与告警阈值是否合理,避免误报。
工作流调度 :试运行通过后,用户可选择将质量任务加入已有工作流,或新建工作流进行调度运行,实现质量检测的自动化周期执行。

前提条件

工作空间已开通 Buddy。
当前账号拥有 Buddy 开发模式权限。
对需要配置质量规则的表拥有查看权限。
拥有质量模块的规则创建权限。
如需执行质量规则,需要可用的计算资源。

您必须提供的信息

Buddy 在生成质量规则前会要求您提供以下最小信息集,其余由 AI 自动推荐:
信息项
说明
目标表
需要配置质量规则的表名(支持单表或批量)
规则需求
推荐规则 / 指定规则类型 / 模板复用(可通过自然语言隐含表达)
如果您的输入不完整,Buddy 会通过「Ask User 卡片」反问缺失信息后再继续。

AI 可智能生成的配置

配置项
AI 生成方式
规则类型
分析字段类型与业务语义,推荐空值率 / 唯一性 / 值域 / 数据量 / 新鲜度等
检测字段
根据字段名称与类型自动选择需要检测的字段(如主键 → 唯一性,时间字段 → 新鲜度)
告警阈值
基于历史数据统计特征(均值 +/- N 倍标准差、分位数)自动设定
规则名称
默认 {表名}_{规则类型}_{字段名}
规则描述
基于规则配置自动生成可读描述

操作步骤

步骤 1:表达质量规则需求

在 Buddy 输入框用自然语言描述需求,Buddy 会自动识别规则类型与目标表。
示例输入
帮我给 dwd_order_detail 表推荐质量规则
给 order_id 字段创建唯一性规则,空值率不超过 1%
把 ods Schema 下所有表都加上新鲜度检测规则
参考 dwd_order_detail 的规则,给 dwd_payment_detail 也配一套

步骤 2:补充缺失信息

如果输入不完整,Buddy 会通过 Ask User 卡片反问您:
未指定目标表时,列出当前 Schema 下的表供选择。
模板复用时未指定参考表,会要求确认。
回答后 Buddy 继续执行。

步骤 3:审阅 AI 推荐的规则

Buddy 会以结构化卡片展示推荐的规则集,每条规则包含:
规则名称、规则类型、检测字段
告警阈值与判定逻辑
推荐理由
提示
您可以在卡片上修改任意规则配置后再确认,Buddy 会按修改后的规则落地。

步骤 4:确认并创建规则

确认规则配置后,Buddy 调用 DataBuddy 接口创建质量规则任务,展示:
成功创建的规则数量
每条规则的任务 ID 与状态
失败条目及原因

步骤 5:试运行

质量规则创建后,您可以通过自然语言要求立即试运行,验证规则效果:
示例输入
刚创建的规则先试运行一下看看效果
Buddy 会执行试运行并展示结果:
各规则的检测结果(通过、未通过)
告警触发情况与具体数值
是否存在误报,以及阈值调整建议
试运行帮助您在正式上线前验证规则配置是否合理,避免不必要的告警噪音。

步骤 6:加入工作流调度

试运行通过后,您可以将质量任务加入工作流实现自动化周期执行:
示例输入
试运行没问题,加到每天凌晨 2 点的工作流里
把这些规则新建一个工作流,每天执行一次
Buddy 会:
列出已有的工作流供选择,或创建新工作流
确认调度时间与频率
将质量任务加入工作流并展示配置结果

关键节点确认

确认项
确认时机
说明
目标表
规则推荐前
确认要配置规则的表
规则配置
创建前
审阅规则类型、阈值、检测字段
批量应用
模板复用时
确认模板规则的应用范围
试运行
正式调度前
验证规则效果与阈值合理性
工作流调度
加入工作流前
确认调度时间、频率与工作流选择

常见问题

Q:Buddy 推荐的阈值是怎么计算的?

A:Buddy 会读取目标表最近 N 天的数据统计特征(如空值率均值、数据量均值与标准差),基于均值 +/- N 倍标准差或分位数方法自动计算阈值。如果历史数据不足,会使用行业通用默认值。

Q:规则模板复用时,目标表的字段名不完全一样怎么办?

A:Buddy 在复用模板时会做字段名匹配:完全匹配优先,其次做语义相似匹配(如 create_timecreated_at)。对于无法匹配的字段,会跳过该规则并在结果中标记。

Q:创建的质量规则和我在质量模块手动创建的有什么区别?

A:完全没有区别。Buddy 创建的规则与手动创建的规则在同一套管理体系中,您可以在 数据质量概述 中统一查看和管理。

Q:试运行和正式调度有什么区别?

A:试运行是一次性即时执行,用于验证规则效果和阈值是否合理,不会产生持续告警。正式加入工作流调度后,规则会按配置的周期自动执行,触发的告警会进入告警通知流程。

相关文档

数据质量概述