故障 RCA 复盘报告初稿 —— 合同给你的 24 小时,不该用来翻聊天记录

规范要求 24 小时内出 RCA · 现实是故障一处理完就冲进下一个火场

一这件事现在是什么样

智算集群运维(GPU 与高速网络) · 真实业务触发

8 月 21 日凌晨 A12 区 GPU 降频、客户星澜科技训练任务变慢并在群里要书面说明。SLA 合同约定投诉受理后 24 小时内须提交第一份书面处理报告 —— 现在是第二天上午十点,时间线散落在监控截图、微信聊天、值班记录和厂商电话里。

二痛点 · 每条都有来源

不是流程描述,是调研出来的真痛点 —— 每条可点开核对出处

1
IDC 托管 SLA 协议明确约定投诉受理后 24 小时内提供第一份书面处理情况报告 —— 这是合同刚性,不是「有空再写」依据 · IDC 托管 SLA 协议明确约定:受理投诉后 24 小时内向甲方提供第一份书面形式的投诉处理情况报告 —— 故障后的文书压力是合同刚性的
2
运维规范要求一级批量停机、重复频发故障 24 小时内完成 RCA 复盘,但「复盘流于形式、报告完成后不跟进」是行业公开的秘密依据 · 运维规范要求一级批量停机、重复频发故障必须 24 小时内完成 RCA 复盘报告,但「复盘流于形式、报告完成后不跟进」是行业公开的秘密

三换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • IDC 托管 SLA 协议明确约定投诉受理后 24 小时内提供第一份书面处理情况报告 —— 这是合同刚性,不是「有空再写」
  • 运维规范要求一级批量停机、重复频发故障 24 小时内完成 RCA 复盘,但「复盘流于形式、报告完成后不跟进」是行业公开的秘密
  • 时间线靠翻聊天记录、监控截图、个人笔记拼 —— 每个环节的精确时间只有当事人在场才知道,「隐性降速不中断任务最难查」
  • 责任界定敏感:外包、设备厂商、自己人各说各话 —— 误拔电源查三天的教训就是「没有记录就没有追责」

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四场景闭环

5 步 · 每一步的产出都是下一步的输入

第 1 步
时间线重建 · 五源拼出完整事件链从 8 月 19 日巡检发现空调异常,到 8 月 21 日凌晨降频、客户投诉、临时处置,每个节点标来源与置信度 —— 含糊的标「待核实」
第 2 步
根因分析 · 5Why 沿因果链下钻为什么降频(进风超温)→ 为什么超温(空调故障未修复)→ 为什么未修复(排期 8 月 22 日)→ 为什么排了 3 天(厂商人力)→ 为什么没有应急预案(高密区无备用制冷)—— 每层给证据
第 3 步
影响范围 · 哪些客户哪些任务受累受影响节点、时长、任务类型逐项成表;与客户感知(iter time 变化)互证
第 4 步
SLA 影响测算 · 这件事按合同怎么算对照 SLA 条款逐项判定:计划内维护免责条款适用与否、降频是否构成「服务中断」、赔付金额的计算口径 —— 争议点单独列出
第 5 步
成稿 · RCA 报告与整改跟踪清单标准 RCA 栏位(概述/时间线/根因/影响/整改项)+ 整改项跟踪清单,责任认定栏留空,签批栏齐备

要准备什么

DCGM 告警与 clock throttle 导出(故障时段)
GPU 侧的权威时间线
动环告警与巡检记录(8 月 19-21 日)
环境侧的因果链起点
客户与值班微信群聊天记录导出(txt)
客户感知时间与承诺记录
值班交接班记录(8 月 19-21 日)
巡检发现与报修进度的中间证据
空调厂商维修工单与通话记录
报修时间与「8 月 22 日进场」约定的出处

为什么这个场景值得做

痛感 5 × AI 适配 5 ÷ 落地难度 3 = 8.3

最大差异点 · 与「工单系统自动生成故障报告」的区别:那些系统的数据止步于自己平台内。本场景的时间线从五处拼起来 —— DCGM 告警、动环告警、微信沟通、值班记录、厂商工单 —— 每个时间点标注来源与置信度。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」; AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」; 落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

正式件本体
故障RCA复盘报告.xlsx
正式件 · 客户版与内部版 · 签批栏
可派发清单
整改项跟踪清单.xlsx
每条带责任部门/期限/验收标准
可派发清单
事件时间线.xlsx
五源拼合 · 每个节点标注出处

这套东西不承诺什么

不下最终责任认定(责任认定栏留空 —— RCA 是给责任认定会提供证据的,不是替它做结论)。不替客户决定赔偿方案。整改项只跟踪状态与期限,「已完成」的确认要责任部门签字。对外发送版需人工审定后发出。

想看具体怎么跑?

Live Demo 里有一个完整案例的每一步,包括 Agent 在哪一步拦住了