系统监控与告警分析

告警风暴淹没真实问题,根因排查耗时长,用餐高峰故障直接影响订单

!
演示模式 · 可视化预演

本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:某连锁餐饮品牌线上点餐系统,周五 17:40 离晚高峰不到一小时,告警十分钟涌入 47 条 —— 订单延迟、连接池满、慢查询飙升混在一起。运维把脱敏告警日志和当天 16:50 的版本变更记录扔进来,要在高峰前拿到根因候选和分级修复建议。

原始告警
47 条 · 10 分钟
核心告警
3 条 · 已降噪
噪音过滤率
93.6%
根因候选
3 个 · 带置信度
输入

运维手上能拿到的东西

不需要整理格式、不需要分文件 · 直接拖进对话框
01_拟真输入_告警风暴日志.md
47 条脱敏告警(节选 20 条展示)+ 当天 16:50 版本变更记录
监控告警导出 + 变更记录 · 周五 17:52

注意这份材料的构成 —— 47 条告警里大量是同一实例的重复告警和下游服务的衍生告警,真正的病根只占 3 条。这个场景的价值,很大一部分就来自先把噪音滤掉再谈根因。

提示词

就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底
告警分析。这是刚才的告警日志和今天的变更记录,帮我定位根因。 先降噪,告诉我核心告警是哪几条; 根因给候选项,附置信度和推理依据,来源字段可溯; 修复建议按 P0/P1/P2 排好; P0/P1 的结论标出来,我们主管复核后再动。

短是因为「降噪规则、关联分析口径、置信度标注、分级修复结构」都在 Skill 规格里。运维只要把告警和变更记录扔进来。

触发

离晚高峰不到一小时的告警风暴

每多查十分钟,就是几十单生意和一堆差评

运维把 47 条告警、变更记录全部扔进来 —— 这个场景的价值在「降噪、关联、推理、建议一次出齐」,不在任何单一模块。

1

智能降噪 · 47 条滤到 3 条

时间窗去重 + 服务拓扑聚合,噪音过滤率 93.6%
处理数量说明
原始告警47 条10 分钟内涌入,8 个服务
重复告警去重-19 条同实例同指标的连续重复
衍生告警过滤-25 条下游服务的连锁反应(网关 5xx、队列积压等)
核心告警3 条订单服务延迟 / 数据库连接池满 / 慢查询飙升

降噪的意义不在数字好看 —— 新人对着 47 条告警无从下手,对着 3 条核心告警,排查方向自己就走出来了。

2

关联分析 · 三条告警串成一条链

时间窗 + 服务拓扑 + 指标时序
链路位置告警首次出现在链路中的角色
上游慢查询飙升(5min 87 条,阈值 10)17:42:05最早出现的异常指标
中游数据库连接池满(使用率 98%)17:41:03慢查询占住连接不释放
下游订单服务延迟(P99 2.8s→6.3s)17:40:12用户侧感知 下单转圈

链路的方向很关键:延迟告警出现最早但它是结果 —— 按时间排序会误诊,按依赖关系排序才找到源头。

3

根因推理 · 候选带置信度

变更时间线是关键线索
候选置信度推理依据
#1 变更引入慢查询 → 连接池耗尽 → 订单延迟级联高 85%16:50 发布新增查询接口;慢查询 17:42 起飙升;链路方向吻合
#2 流量异常增长触发瓶颈中 60%周五晚高峰流量上升,但增幅不足以单独解释 98% 连接池占用
#3 数据库节点硬件抖动低 25%无硬件指标异常佐证

85% 不是「确定」—— 是「先查这个」:置信度的意义是排排查顺序,不是免除人工复核。

4

修复建议 · P0/P1/P2 分级

先动哪个,不再靠拍脑袋
优先级动作说明
P0回滚变更针对候选 #1 —— 建议人工复核后在变更窗口执行
P1扩容连接池缓解当前占用,为回滚争取时间
P2加慢查询监控告警防止同类问题再次无声积累

分级的逻辑:P0 治病根、P1 先保命、P2 防复发 —— 但 P0 是生产操作,回滚错了就是第二次事故,所以标注「建议人工复核」。

报告可以直接用,但 P0/P1 动作必须先拦住
Skill 的铁律写得很清楚:P0/P1 标注「建议人工复核」。两处尤其不能省:

复核点 1 · 根因结论:AI 根因推理基于告警关联与历史规则,可能因偶发数据偏差或变更未记录导致误判 —— P0/P1 根因结论须运维主管复核后再决策修复方案。
复核点 2 · 生产操作:回滚变更/重启实例/扩缩容存在停服风险 —— 须运维主管审批并在变更窗口内执行,禁止拿着报告直接落地生产。

给出的不是「改完再生成一遍」,而是:降噪结果、关联链路、候选排序直接用,根因定案与生产操作两处处方级把关 —— 复核 5 分钟,比逐条排查 45 分钟仍快一个量级,且推理依据条条可溯。
之后

这一次跑完,值班室多了什么

不讲省了多久 · 讲少了几个隐患、沉淀了什么
✓
47 条告警第一次被滤成 3 条核心 —— 新人也有了排查起点
✓
链路按依赖关系排而不是按时间排 —— 「延迟最早出现」不再误导方向
✓
根因候选带置信度和依据 —— 复盘会上每个结论都能回溯到告警原文
✓
修复建议分级交付 —— P0 复核后执行,P2 变成下周一的监控加固工单

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

能对接监控系统自动跑吗?
不能 —— Skill 不对接真实监控系统 API,告警由用户粘贴或上传。这是刻意的边界:不接生产系统,也就没有任何凭证写进 Skill。
85% 置信度的根因可信吗?
置信度是排查顺序,不是结论 —— AI 推理不保证 100% 准确,可能因数据偏差或变更未记录误判,P0/P1 结论必须运维主管复核后再动。
告警字段不全怎么办?
降噪与关联依赖字段齐全(服务名/时间戳/指标)—— 缺失字段会降低推理置信度,建议标注缺失项、人工补全后重跑。

想了解来龙去脉?

回到场景引入,看这个场景的痛点、做法与边界