质量异常诊断与血缘分析让您通过自然语言或告警通知快速定位数据质量问题的根因,Buddy 自动追溯血缘链路、评估影响范围,并给出修复建议,在关键节点等待您确认后执行修复操作。
概述
数据质量问题的排查往往需要跨多个系统和链路进行分析,耗时费力。质量异常诊断与血缘分析覆盖以下场景:
质量规则告警诊断 :质量任务中规则检测失败时,自动分析失败原因(数据侧问题、规则配置问题、上游延迟),评估影响范围,并给出修复建议。
异常检测结果诊断 :当异常检测发现新鲜度或完整性异常时,自动追溯上游链路,定位根因并评估影响范围。
血缘关系追溯 :基于表级血缘关系,追溯异常数据的上下游链路,快速定位问题源头与影响范围。
影响范围评估 :当某张表出现质量问题时,沿血缘链路自动分析受影响的下游表与任务,帮助评估异常波及面。
质量趋势分析 :分析某张表的质量检测历史趋势,识别周期性异常模式,建议调整规则阈值或灵敏度。
修复建议与落地 :根据诊断结果给出修复建议(重跑上游任务、调整阈值、联系表 Owner),支持一键执行修复操作。
提示
血缘分析支持表级血缘追溯,暂不支持字段级血缘。
前提条件
工作空间已开通 Buddy。
当前账号拥有 Buddy 开发模式权限。
对需要诊断的表拥有查看权限。
已通过 质量任务创建与调度 配置了质量规则,或已开启异常检测。
血缘追溯需要 Catalog 中已有血缘数据。
您必须提供的信息
Buddy 在执行诊断前会要求您提供以下最小信息集,其余由 AI 自动分析:
信息项 | 说明 |
异常表 | 出现质量问题的表名 |
问题描述 | 告警类型、异常现象(可通过自然语言隐含表达,或从告警通知直接触发) |
如果从告警通知中点击触发,Buddy 会自动获取表名与告警详情,无需您手动输入。
AI 可智能生成的分析
分析项 | AI 生成方式 |
根因分析 | 结合告警详情、数据变化、上游任务状态,判断异常原因 |
血缘链路图 | 基于表级血缘关系展示上下游链路 |
影响范围 | 沿血缘链路向下追溯,列出受影响的下游表与任务 |
趋势分析 | 分析历史检测数据,识别周期性异常模式 |
修复建议 | 根据根因给出修复方案(重跑任务 / 调整阈值 / 联系 Owner) |
操作步骤
步骤 1:触发诊断
有两种方式触发诊断:
方式一:从告警通知触发
质量告警触发时,点击告警通知即可在 Buddy 侧边栏自动打开诊断对话,Buddy 会自动获取告警上下文信息。
方式二:在 Buddy 中用自然语言描述
示例输入 :
dwd_order_detail 的空值率告警了,帮我看看什么原因
ods_user 表异常检测显示新鲜度异常,帮我排查
这张表完整性骤降 60%,帮我看看影响了哪些下游
dws_daily_gmv 最近一周频繁告警,是不是阈值该调了?
帮我看看 dwd_order_detail 的上游血缘链路
步骤 2:查看根因分析
Buddy 会自动分析异常原因并展示诊断结果:
异常概要 :告警规则、触发时间、异常指标与实际值
根因判定 :数据侧问题(上游数据异常)/ 规则配置问题(阈值过严)/ 上游任务延迟
证据链 :支撑根因判定的关键数据点
步骤 3:查看血缘追溯与影响范围
Buddy 展示表级血缘链路分析:
上游追溯 :从异常表向上追溯,展示数据来源链路,标注异常节点
下游影响 :从异常表向下追溯,列出所有受影响的下游表与关联任务
影响评估 :受影响的下游表数量、关联任务数量、业务影响等级
提示
血缘追溯基于表级血缘关系,暂不支持字段级血缘分析。
步骤 4:查看趋势分析(可选)
如果需要了解历史趋势,Buddy 会分析质量检测历史数据:
近期检测指标走势
周期性异常模式识别
阈值调整建议(如当前阈值过严导致频繁误报)
步骤 5:确认并执行修复
Buddy 根据诊断结果给出修复建议,您确认后可一键执行:
修复操作 | 说明 |
重跑上游任务 | 上游数据异常时,触发上游任务重新执行 |
调整告警阈值 | 阈值不合理时,按建议调整阈值 |
联系表 Owner | 需要人工介入时,自动发送通知给表 Owner |
提示
修复操作均需您确认后才会执行,Buddy 不会自动执行任何修复操作。
关键节点确认
确认项 | 确认时机 | 说明 |
诊断范围 | 诊断前 | 确认要诊断的表与告警类型 |
修复方案 | 执行修复前 | 审阅修复建议,确认后执行 |
阈值调整 | 调整前 | 确认新的阈值设置 |
重跑任务 | 重跑前 | 确认要重跑的上游任务 |
常见问题
Q:诊断支持字段级血缘吗?
A:目前仅支持表级血缘追溯,暂不支持字段级血缘分析。后续版本可能会扩展支持。
Q:告警通知如何触发 Buddy 诊断?
A:质量告警触发时,点击告警通知即可在 Buddy 侧边栏自动打开诊断对话。Buddy 会自动获取告警的表名、规则、指标等上下文信息,直接开始诊断分析。
Q:一键重跑上游任务会影响其他任务吗?
A:重跑操作会按照任务的正常调度逻辑执行,不会影响其他独立任务。但如果重跑的任务有下游依赖,下游任务可能会被触发重新执行,Buddy 会在确认时提示影响范围。
Q:趋势分析需要多少历史数据?
A:建议至少有 7 天以上的质量检测历史数据,才能有效识别周期性异常模式。数据越多,趋势分析越准确。
相关文档
数据质量概述