凌晨三点,监控大屏上同时亮起 200 多条告警:某个数据库连接池耗尽、三台应用服务器 CPU 飙到 95%、网关错误率上升、下游订单服务超时……值班工程师被叫醒,第一件事不是修,而是判断哪条告警是根因,哪些是连锁反应。等他理清关系,业务已经损失了半小时。
这就是传统运维的困境:告警不是不够,而是太多;数据不是没有,而是看不过来。一个中等规模的互联网系统,每天产生的指标、日志、链路数据动辄数十 TB,而人的注意力是有限的。
AIOps(Artificial Intelligence for IT Operations,智能运维)要解决的,正是这个矛盾:让机器去消化海量运维数据,替人完成"发现异常—定位根因—给出处置"这条链路中的大部分判断。
很多人误以为 AIOps 就是"用大模型回答运维问题"。其实它的能力是有层次的,业界通常分成三个阶段:
阶段 | 能力 | 人的角色 |
|---|---|---|
L1 辅助 | 告警聚合、降噪、异常检测 | 人做判断和处置 |
L2 增强 | 根因定位、影响面分析、给出建议 | 人确认后执行 |
L3 自治 | 自动处置、自愈、闭环复盘 | 人只做兜底和规则制定 |
真正的 AIOps 系统,核心是四类技术能力的组合:
一个典型的 AIOps 平台可以抽象成下面这条链路:
数据采集 → 数据治理 → 算法分析 → 决策处置 → 反馈闭环
(指标/日志/链路) (清洗/对齐) (检测/定位) (预案/自动化) (效果评估)对应到工程上,关键是三个"底座":
真实的 AIOps 系统很复杂,但核心逻辑可以用很短的代码表达出来。下面用约 40 行 Python 演示两个最基础的能力:基于统计的异常检测和基于相关性的告警收敛。
import numpy as np
from collections import defaultdict
def detect_anomaly(series, window=30, k=3.0):
"""滑动窗口 + 3-sigma 检测异常点"""
if len(series) < window + 1:
return []
anomalies = []
for i in range(window, len(series)):
hist = np.array(series[i - window:i])
mu, sigma = hist.mean(), hist.std()
if sigma == 0:
continue
z = abs(series[i] - mu) / sigma
if z > k: # 偏离历史均值超过 3 个标准差
anomalies.append((i, series[i], round(z, 2)))
return anomalies
def correlate(alerts, threshold=0.8):
"""按发生时间做相关性分析,把同时爆发的告警合并为一组"""
# alerts: [(service, timestamp, metric), ...]
groups, current = [], []
for a in sorted(alerts, key=lambda x: x[1]):
if current and a[1] - current[-1][1] > 60: # 60 秒内视为同一次故障
groups.append(current)
current = []
current.append(a)
if current:
groups.append(current)
return [g for g in groups if len(g) > 1]
# 演示:三个服务的指标同时异常,应被收敛成一条根因事件
metrics = {
"db": [50]*30 + [51, 52, 50, 98, 97, 95], # 数据库先异常
"app": [40]*30 + [41, 40, 42, 88, 90, 91], # 应用随后异常
"gateway":[30]*30 + [30, 31, 30, 65, 70, 72], # 网关最后异常
}
all_alerts = []
for svc, series in metrics.items():
for idx, val, z in detect_anomaly(series):
all_alerts.append((svc, idx, val))
print("原始告警数:", len(all_alerts))
groups = correlate(all_alerts)
print("收敛后事件数:", len(groups))
for g in groups:
# 时间上最早异常的,大概率是根因
root = min(g, key=lambda x: x[1])
print(f"根因候选:{root[0]},影响服务:{[x[0] for x in g]}")这段代码输出大致是:
原始告警数: 9
收敛后事件数: 1
根因候选:db,影响服务:['db', 'app', 'gateway']9 条告警被压缩成 1 条"数据库根因事件",值班工程师要看的从"9 个页面"变成了"1 个结论"。这就是 AIOps 最朴素也最有价值的一步。
很多团队做 AIOps 失败,往往不是算法不行,而是步子迈太大。务实的落地顺序通常是:
第一步:先治理数据。 指标、日志、链路没有统一标签(服务、环境、版本、机房),任何算法都是空中楼阁。这一步没有捷径。
第二步:做告警降噪。 这是投入产出比最高的环节。规则 + 统计方法就能把告警量砍掉 60%–80%,团队立刻能感知到价值。
第三步:上异常检测。 从核心服务的关键指标开始,用动态基线替代静态阈值,逐步覆盖。
第四步:做根因定位。 依托服务依赖图,结合时序相关性。这一步对数据质量要求最高。
第五步:有限自治。 先从"低风险、可回滚"的动作开始(扩容、重启、限流),并且必须有熔断机制和人工兜底。
AIOps 的本质不是"让 AI 取代运维工程师",而是把工程师从信息洪流里捞出来,让他们专注于真正的难题。机器擅长的是"在成千上万条数据里找规律、做重复判断",人擅长的是"面对未知做权衡、做决策"。
一个成熟的智能运维系统,最终的形态应该是:大部分常规故障在告警到达人之前就被识别、收敛甚至自愈;而当系统真的遇到没见过的问题时,它能把所有线索整理好,清晰地告诉人:"这里出事了,我判断大概率是这里,建议你这样处理。"
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。