故障 RCA 复盘报告初稿 —— 合同给你的 24 小时,不该用来翻聊天记录

规范要求 24 小时内出 RCA · 现实是故障一处理完就冲进下一个火场

!
演示模式 · 可视化预演

本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼,2026 年 8 月 21 日上午 10:00。8 月 21 日凌晨 A12 区 4 节点因列间空调CRAC-A12-03 故障降频 5.2 小时,客户星澜科技 02:05 在群里反馈训练任务变慢并要书面说明 —— SLA 合同约定投诉受理后 24 小时内提交第一份书面处理报告,红线是 8 月 22 日 02:05。时间线散在 DCGM、动环、微信群、值班记录和厂商工单五处;本演示把五源拼成一份 RCA 初稿:客户版(事实 + 处置)与内部版(含赔付口径争议)分开出。

输入素材
5 份(DCGM / 动环 / 微信 / 值班记录 / 厂商工单)
时间线
8/19 14:33 → 8/21 12:45 · 14 节点五源对齐
赔付口径
阶梯 9.8 万 / 性能 24.5 万 · 整改 18.6 万
结论
暂缓全文发出 · 事实通报版先行的两个方案
输入

算力基础设施企业手上能拿到的东西

不需要整理格式、不需要改文件名 · 直接拖进对话框
01_DCGM告警与降频导出_8月21日.xlsx
DCGM 导出(8/21 00:00-13:00):4 节点 SM Clock 降频与恢复的完整记录 —— GPU 侧的权威时间线
集群监控后台自动记录 · 值班工程师凌晨导出
02_动环告警与巡检记录_8月19至21日.xlsx
动环后台告警(8/19-8/21)—— 环境侧的因果链起点,与巡检日报 机房巡检记录结构化与巡检日报 同源
动环后台自动采集 · 值班不常看的系统数据
03_客户与值班微信群记录.txt
星澜客户群与内部值班群的聊天记录(8/21 01:52-12:50),共 13 段 —— 客户感知时间与处置承诺的出处
值班手机导出 · 凌晨的处置痕迹全在这里
04_值班交接班记录_8月19至21日.xlsx
值班交接班记录(8/19-8/21,5 次交接)—— 巡检发现与报修进度的中间证据
交接班记录本拍照整理 · 每班一份
05_空调厂商维修工单与通话记录.xlsx
空调厂商维修工单 WA-0821(含 3 通通话记录)—— 报修时间与「8/22 进场」约定的唯一出处
厂商工单系统截图 + 通话录音摘录 · 出了事才翻得出来的资料

注意标橙色那一份 —— 05_空调厂商维修工单与通话记录.xlsx。它厂商工单系统截图 + 通话录音摘录 · 出了事才翻得出来的资料,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。

提示词

就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底
昨天凌晨 A12 区 GPU 降频、星澜那边任务变慢的事,客户在要书面说明,合同规定 24 小时内要给第一份报告。 DCGM 导出、动环告警、巡检记录、微信聊天、厂商工单都在这里,帮我拼出完整时间线和根因。 哪些环节是拿不准的标出来。给客户的版本和内部版本分开。责任认定那栏留空,谁的责任不归我们定。

RCA 的标准栏位(时间线/5Why/影响/整改)与 SLA 判读口径已内置,客户只需把五处原始记录扔进来。

触发

事情是这么来的

合同给你的 24 小时,不该用来翻聊天记录

凌晨的火场刚刚扑灭:01:47 降频、02:05 客户在群里要说法、02:10 起任务迁移、07:00 恢复、10:00 维修师傅提前进场、12:40 修复 —— 每个时间点散在不同系统和个人手机里。现在是 8 月 21 日上午 10:00,距 24 小时红线(8/22 02:05)还有 16 小时,RCA 初稿要从五处原始记录里拼出来。

1

时间线重建 · 五源拼出完整事件链

每个节点标来源与置信度,含糊的标待核实
时间事件来源置信度
8/19 14:33CRAC-A12-03 送风温度低 19.4℃(动环首条告警)动环高
8/19 14:35巡检发现并报修,开维修工单 WA-0821巡检 / 值班记录高
8/19 15:02厂商接单(电话 6 分钟),约定 8/22 09:00 进场厂商工单高
8/20 16:20冷凝压力高 2.5MPa,持续 45 分钟未处置动环高
8/21 01:45-01:50A12-R05~R09 进风温度告警,其中 4 节点 >32℃(最高 33.2℃)动环中(15 分钟采集粒度)
8/21 01:47DCGM:A12-R05~R08 SM Clock 1.98→1.21GHz(温度墙触发)DCGM高
8/21 02:05星澜反馈 iter time 0.87→1.42s —— 投诉受理时点微信高
8/21 02:10任务陆续迁移 B 区(陈骁 01:55 决定)微信 / 值班记录高
8/21 07:00迁移完成恢复满频,降频历时 5.2 小时(01:47-07:00)DCGM / 微信高
8/21 08:00陈骁决策:A12 区 4 节点任务暂驻 B 区,修复验收前不迁回微信高
8/21 10:00厂商提前到场(原约 8/22,提前 23 小时)厂商工单高
8/21 12:40修复完成:膨胀阀故障 + 水冷侧堵塞,历时 2.7 小时厂商工单高
8/21 12:42送风温度恢复 20.1℃动环高
8/21 12:45冷凝压力恢复 2.4MPa动环高
8/19 14:33 → 8/21 12:45共 46 小时 12 分五源各节点均有出处高 13 / 中 1

两处标「待核实」:① 01:45 前进风温度爬升的精确起点(动环 15 分钟粒度);② 厂商临时调配提前的内部决策链(只有 09:30 调度电话录音)。空调厂商的最终检测结论回来前,根因栏写「指向性结论」。

这一步的看点 · 从历史里想起了公司踩过的坑去年 11 月 B 区供电模块事件,当时 RCA 写的是「设备偶发故障」,没有下钻到「同回路 6 张卡误换」那一层 —— 三个月后才由检测报告翻案。这次 A12 事件的特征与 B 区高度相似(同位置聚集、换下的卡复检无损坏),换卡台账(GPU 故障换卡台账)把两件事连了起来 —— 这条不靠当年经手人还在不在职。
2

根因分析 · 5Why 沿因果链下钻

每层给证据,落到可整改的物件上
层级为什么直接原因证据出处
14 节点为什么降频进风温度 >32℃ 触发温度墙DCGM throttle=HW Thermal Slowdown + 动环进风告警
2进风为什么超温CRAC-A12-03 故障,A12 区制冷不足8/19 起送风温度低 + 8/20 冷凝压力高;修复后温度即恢复
3空调故障为什么 2 天没修报修 8/19,厂商排期 8/22 进场WA-0821:15:02 接单、约定 8/22 09:00
4排期为什么是 3 天厂商人力紧张无本地驻场;中心高密区无备用制冷、无加急升级机制工单通话记录 + 设备台账(A12 无备用制冷位)
5为什么凌晨 01:45 才发现8/15、8/19 告警均未闭环;夜班告警未处置;按点巡检在凌晨存在盲点值班记录:8/15 03:22 漏记;01:45 凌晨无巡检
—四层根因:制冷 / 排期 / 应急 / 监控盲点——

5Why 每层都落到可整改的物件上:换机、备用制冷、加急条款、告警闭环 —— 不停在「管理不到位」。

这一步的看点 · 排除性结论「GPU 硬件故障可以排除 —— 4 节点 Xid 零记录、ECC 计数零、温度墙触发但源头在进风温度;当晚换下的 2 张卡复检 0 损坏(GPU 故障换卡台账 台账),空调修复后零复发」。这一条直接保住了 4 张备件卡和一次 4 节点白拆,也是给客户解释「为什么不用停机换卡」的依据;客户代码问题同样可以排除 —— 同一任务迁 B 区后满频恢复(GPU 利用率日报 三线交叉)。
3

影响范围 · 哪些客户哪些任务受累

节点级、任务级、客户可感知三个口径并列
对象影响口径依据
星澜 30 节点同步训练任务iter time 0.87→1.42s(+63%)任务级(调度平台)客户群反馈 + 平台任务日志
A12-R05~R08 4 节点SM Clock 1.21GHz,降频 5.2 小时(01:47-07:00)节点级(DCGM)DCGM 导出
任务有效受影响时段01:47-10:00 共 8.2 小时(含迁移与恢复期 3.0 小时)客户可感知口径微信处置记录 + DCGM
缩水卡时1,968 卡时 ≈ 2.1 万付费卡时 × 10.92 元(195 万 ÷ 178,560)GPU 利用率日报 日报口径
其他客户无影响(B/C 区 SM Clock 正常)—DCGM 全区扫描
—受影响客户 1 家 / 节点 4 台 / 时长 8.2 小时——

工单(客户工单回复与进度通知)当日按严重降频 5.2 小时粗算 1,248 卡时(30×8×5.2)≈ 1.4 万;本表按客户可感知的 8.2 小时计 1,968 卡时(240×8.2)≈ 2.1 万 —— 两个口径并列,差异来源写明,谁也不冒充谁。

这一步的看点 · 该拦的地方拦住了报告结论:「本 RCA 为内部初稿,不建议直接转发客户 —— 8.21 事件中『降频是否构成服务中断』合同未定义,转发前须法务与商务确认口径」。按 SLA 要求的 24 小时第一份报告,先发事实通报版(时间线 + 处置措施),赔付口径另附 —— 两份东西不能混。
4

SLA 影响测算 · 这件事按合同怎么算

双口径并列,争议点单独列出
口径计算金额(万元)状态
可用性口径(阶梯)月费 195 万 × 5%(可用性 99.5 至 99.9% 档)9.8争议:客户主张计入降频
性能事件口径月费 195 万 × 12.56%(受影响服务费比例,商务折算)24.5争议:我方认为降频不构成中断
当月可用性非免责中断 56 分钟(8/13 维护通知期争议 30 + 8/21 报告时效争议 26)→ 99.87% < 99.9%—已确认
整改投入空调换机 16.4 万 + 高密区备用制冷 2.2 万18.6待总经理办公会
——整改 18.6 万 < 性能口径赔付 24.5 万—

争议核心是合同缺口:降频 5.2 小时任务未中断、只是变慢 —— 按可用性口径不构成「中断」,按性能口径是单次 12.56% 的服务费比例。下次签 SLA 补「性能事件」定义与赔付上限,这个缺口比这次赔付本身值钱。

这一步的看点 · 把技术动作翻译成钱整改投入 18.6 万(换机 16.4 + 备用制冷 2.2)低于一次性赔付风险 24.5 万 —— 这笔账写给总经理:整改不是花钱,是把下一次 24.5 万的风险一次性买断。对照只修不换的老路:CRAC-A12-03 三个月已经修了 4 次(机房巡检记录结构化与巡检日报 隐患台账),每次「再修修看」都在赌下一次不是 24.5 万。
5

成稿 · 客户版与内部版分开

标准 RCA 栏位 + 整改跟踪清单,责任认定栏留空
栏位客户版(事实通报)内部版(RCA 初稿)
事件概述8.21 凌晨 A12 区 4 节点降频,已恢复同左 + 五源出处
时间线事实时间线(14 节点)同左 + 置信度与两处待核实标注
根因指向性结论:制冷侧(待厂商检测报告)5Why 四层:制冷 / 排期 / 应急 / 监控盲点
影响范围缩水卡时 1,968 卡时 ≈ 2.1 万如实列出同左 + 工单口径 1,248 卡时 ≈ 1.4 万并列
赔付口径不含(「按合同在月报中如实核算」)双口径 9.8 / 24.5 万 + 争议点清单
责任认定留空留空(责任认定会定,RCA 只给证据)
整改项三条承诺与期限跟踪清单:责任部门 / 期限 / 验收标准(见附件)
签批栏客户经理吴敏 ________ / 运维主管 ________集群组长陈骁 ________ / 运维主管 ________

内部版先出、客户版随后 —— 24 小时红线(8/22 02:05)守的是客户版那份事实通报。

这一步的看点 · 排除性结论两份报告里都写明「GPU 硬件与客户代码可以排除」 —— 客户侧不用自查代码、备件不用再拆,责任聚焦制冷排期与应急机制;但认定栏留空:RCA 是给责任认定会提供证据的,不是替它做结论。
这份 RCA 不能全文直接发客户
内部初稿含双口径赔付测算(9.8 万 / 24.5 万)与责任链条,其中「降频是否构成服务中断」合同未定义 —— 转发前须法务与商务确认口径;但 24 小时红线(8/22 02:05)不等法务。方案一:今晚 20:00 前发事实通报版(时间线 + 处置措施 + 整改承诺,吴敏审定)—— 满足 24 小时条款;赔付测算 9.8-24.5 万留内部版,9 月 5 日 SLA 月报(客户 SLA 月报与赔付预警)按合同口径统一核算。方案二:事实通报版附「性能影响说明」—— 把缩水卡时 2.1 万的账主动摆上桌(与工单 1.4 万口径的差异写明);风险是客户可能直接引用 24.5 万的性能口径,收益是透明换信任 —— 星澜年合同 2,340 万(195 万 × 12),续约谈判的先手牌在我们手里。
之后

这一次跑完,公司多了什么

不讲省了多久 · 讲少了几个隐患、沉淀了什么
✓
第一份书面报告从「翻一天聊天记录」变成「核对一遍已拼好的时间线」—— 24 小时红线守得住
✓
「降频是否构成服务中断」的合同缺口暴露出来了 —— 这是下次签 SLA 要补的条款,比这次赔付本身值钱
✓
B 区与 A12 两次事件的关联沉淀进台账 —— 第三次同类事件会在第一天就被顶出来
✓
整改项从「会上说说」变成带期限和验收标准的跟踪清单

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

能不能直接把 RCA 报告发给客户?
不能。内部初稿转客户前须经法务与商务确认口径 —— 我们已把客户版与内部版拆开,客户版只含事实时间线与处置措施。
根因就一定是空调吗?
证据链指向空调(巡检-告警-降频三源互证),但报告保留了「待核实」标注的两处 —— 空调厂商的最终检测结论回来前,根因栏写的是「指向性结论」。
赔付金额你们说了算吗?
不算。我们算的是「按合同阶梯的赔付区间与争议点」,确认口径和谈判是商务的事 —— 争议点列得越清楚,谈判越主动。

想了解来龙去脉?

回到场景引入,看这个场景的痛点、做法与边界