首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AIOps 智能运维:当运维系统开始"自己治病"

AIOps 智能运维:当运维系统开始"自己治病"

原创
作者头像
搜weiranit.fun
发布于 2026-11-11 18:54:12
发布于 2026-11-11 18:54:12
1250
举报

一、从一个凌晨三点的告警说起

凌晨三点,监控大屏上同时亮起 200 多条告警:某个数据库连接池耗尽、三台应用服务器 CPU 飙到 95%、网关错误率上升、下游订单服务超时……值班工程师被叫醒,第一件事不是修,而是判断哪条告警是根因,哪些是连锁反应。等他理清关系,业务已经损失了半小时。

这就是传统运维的困境:告警不是不够,而是太多;数据不是没有,而是看不过来。一个中等规模的互联网系统,每天产生的指标、日志、链路数据动辄数十 TB,而人的注意力是有限的。

AIOps(Artificial Intelligence for IT Operations,智能运维)要解决的,正是这个矛盾:让机器去消化海量运维数据,替人完成"发现异常—定位根因—给出处置"这条链路中的大部分判断。

二、AIOps 到底"智能"在哪

很多人误以为 AIOps 就是"用大模型回答运维问题"。其实它的能力是有层次的,业界通常分成三个阶段:

阶段

能力

人的角色

L1 辅助

告警聚合、降噪、异常检测

人做判断和处置

L2 增强

根因定位、影响面分析、给出建议

人确认后执行

L3 自治

自动处置、自愈、闭环复盘

人只做兜底和规则制定

真正的 AIOps 系统,核心是四类技术能力的组合:

  1. 异常检测:从时序指标里找出"不正常"的点,替代静态阈值。
  2. 告警收敛:把 200 条告警压缩成 1 条"根因告警 + 影响列表"。
  3. 根因定位:在服务依赖图上做拓扑分析、在时序上做相关性分析,找到"谁先坏的"。
  4. 智能处置:按预案自动执行扩缩容、重启、流量切换等动作。

三、架构:数据、算法、动作三层

一个典型的 AIOps 平台可以抽象成下面这条链路:

代码语言:javascript
复制
数据采集 → 数据治理 → 算法分析 → 决策处置 → 反馈闭环
(指标/日志/链路)  (清洗/对齐)  (检测/定位)  (预案/自动化)  (效果评估)

对应到工程上,关键是三个"底座":

  • 统一数据层:指标(Prometheus)、日志(ELK/Loki)、链路(Jaeger/SkyWalking)必须能按"服务 + 时间"对齐,否则算法无从下手。
  • 服务依赖图:这是根因定位的"地图"。没有拓扑,算法只能看到一个个孤立的异常点。
  • 自动化执行通道:告警再准,如果处置还要人手动点,自治就无从谈起。Ansible、Kubernetes Operator、运维编排平台是这条通道的载体。

四、少量代码:一个异常检测 + 告警收敛的骨架

真实的 AIOps 系统很复杂,但核心逻辑可以用很短的代码表达出来。下面用约 40 行 Python 演示两个最基础的能力:基于统计的异常检测和基于相关性的告警收敛。

代码语言:javascript
复制
import numpy as np
from collections import defaultdict

def detect_anomaly(series, window=30, k=3.0):
    """滑动窗口 + 3-sigma 检测异常点"""
    if len(series) < window + 1:
        return []
    anomalies = []
    for i in range(window, len(series)):
        hist = np.array(series[i - window:i])
        mu, sigma = hist.mean(), hist.std()
        if sigma == 0:
            continue
        z = abs(series[i] - mu) / sigma
        if z > k:                       # 偏离历史均值超过 3 个标准差
            anomalies.append((i, series[i], round(z, 2)))
    return anomalies

def correlate(alerts, threshold=0.8):
    """按发生时间做相关性分析,把同时爆发的告警合并为一组"""
    # alerts: [(service, timestamp, metric), ...]
    groups, current = [], []
    for a in sorted(alerts, key=lambda x: x[1]):
        if current and a[1] - current[-1][1] > 60:   # 60 秒内视为同一次故障
            groups.append(current)
            current = []
        current.append(a)
    if current:
        groups.append(current)
    return [g for g in groups if len(g) > 1]

# 演示:三个服务的指标同时异常,应被收敛成一条根因事件
metrics = {
    "db":     [50]*30 + [51, 52, 50, 98, 97, 95],       # 数据库先异常
    "app":    [40]*30 + [41, 40, 42, 88, 90, 91],       # 应用随后异常
    "gateway":[30]*30 + [30, 31, 30, 65, 70, 72],       # 网关最后异常
}

all_alerts = []
for svc, series in metrics.items():
    for idx, val, z in detect_anomaly(series):
        all_alerts.append((svc, idx, val))

print("原始告警数:", len(all_alerts))
groups = correlate(all_alerts)
print("收敛后事件数:", len(groups))
for g in groups:
    # 时间上最早异常的,大概率是根因
    root = min(g, key=lambda x: x[1])
    print(f"根因候选:{root[0]},影响服务:{[x[0] for x in g]}")

这段代码输出大致是:

代码语言:javascript
复制
原始告警数: 9
收敛后事件数: 1
根因候选:db,影响服务:['db', 'app', 'gateway']

9 条告警被压缩成 1 条"数据库根因事件",值班工程师要看的从"9 个页面"变成了"1 个结论"。这就是 AIOps 最朴素也最有价值的一步。

五、落地路径:别一上来就谈自治

很多团队做 AIOps 失败,往往不是算法不行,而是步子迈太大。务实的落地顺序通常是:

第一步:先治理数据。 指标、日志、链路没有统一标签(服务、环境、版本、机房),任何算法都是空中楼阁。这一步没有捷径。

第二步:做告警降噪。 这是投入产出比最高的环节。规则 + 统计方法就能把告警量砍掉 60%–80%,团队立刻能感知到价值。

第三步:上异常检测。 从核心服务的关键指标开始,用动态基线替代静态阈值,逐步覆盖。

第四步:做根因定位。 依托服务依赖图,结合时序相关性。这一步对数据质量要求最高。

第五步:有限自治。 先从"低风险、可回滚"的动作开始(扩容、重启、限流),并且必须有熔断机制和人工兜底。

六、挑战:AIOps 没那么好做

  • 数据质量是第一道坎:标签缺失、采样不一致、时钟不同步,会让再好的算法也失灵。
  • 误报的代价:漏报一次故障是事故,误报太多次则是"狼来了",最后没人信系统。准确率和召回率的平衡需要长期调校。
  • 根因定位的复杂度:微服务架构下调用链极深,一个故障可能横跨十几个服务,图算法也会被"伪相关"误导。
  • 变更才是最大变量:80% 的线上故障与变更相关。AIOps 必须把发布、配置、扩缩容等变更事件纳入分析,否则永远只能看到"果"看不到"因"。
  • 大模型的定位:LLM 在"读懂告警、写复盘报告、自然语言查询"上很有价值,但在"精确根因定位"上不能盲信,它更适合做运维助手,而不是运维决策者。

七、结语

AIOps 的本质不是"让 AI 取代运维工程师",而是把工程师从信息洪流里捞出来,让他们专注于真正的难题。机器擅长的是"在成千上万条数据里找规律、做重复判断",人擅长的是"面对未知做权衡、做决策"。

一个成熟的智能运维系统,最终的形态应该是:大部分常规故障在告警到达人之前就被识别、收敛甚至自愈;而当系统真的遇到没见过的问题时,它能把所有线索整理好,清晰地告诉人:"这里出事了,我判断大概率是这里,建议你这样处理。"

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、从一个凌晨三点的告警说起
  • 二、AIOps 到底"智能"在哪
  • 三、架构:数据、算法、动作三层
  • 四、少量代码:一个异常检测 + 告警收敛的骨架
  • 五、落地路径:别一上来就谈自治
  • 六、挑战:AIOps 没那么好做
  • 七、结语
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档