规范要求 24 小时内出 RCA · 现实是故障一处理完就冲进下一个火场
本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼,2026 年 8 月 21 日上午 10:00。8 月 21 日凌晨 A12 区 4 节点因列间空调CRAC-A12-03 故障降频 5.2 小时,客户星澜科技 02:05 在群里反馈训练任务变慢并要书面说明 —— SLA 合同约定投诉受理后 24 小时内提交第一份书面处理报告,红线是 8 月 22 日 02:05。时间线散在 DCGM、动环、微信群、值班记录和厂商工单五处;本演示把五源拼成一份 RCA 初稿:客户版(事实 + 处置)与内部版(含赔付口径争议)分开出。
注意标橙色那一份 —— 05_空调厂商维修工单与通话记录.xlsx。它厂商工单系统截图 + 通话录音摘录 · 出了事才翻得出来的资料,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。
RCA 的标准栏位(时间线/5Why/影响/整改)与 SLA 判读口径已内置,客户只需把五处原始记录扔进来。
凌晨的火场刚刚扑灭:01:47 降频、02:05 客户在群里要说法、02:10 起任务迁移、07:00 恢复、10:00 维修师傅提前进场、12:40 修复 —— 每个时间点散在不同系统和个人手机里。现在是 8 月 21 日上午 10:00,距 24 小时红线(8/22 02:05)还有 16 小时,RCA 初稿要从五处原始记录里拼出来。
| 时间 | 事件 | 来源 | 置信度 |
|---|---|---|---|
| 8/19 14:33 | CRAC-A12-03 送风温度低 19.4℃(动环首条告警) | 动环 | 高 |
| 8/19 14:35 | 巡检发现并报修,开维修工单 WA-0821 | 巡检 / 值班记录 | 高 |
| 8/19 15:02 | 厂商接单(电话 6 分钟),约定 8/22 09:00 进场 | 厂商工单 | 高 |
| 8/20 16:20 | 冷凝压力高 2.5MPa,持续 45 分钟未处置 | 动环 | 高 |
| 8/21 01:45-01:50 | A12-R05~R09 进风温度告警,其中 4 节点 >32℃(最高 33.2℃) | 动环 | 中(15 分钟采集粒度) |
| 8/21 01:47 | DCGM:A12-R05~R08 SM Clock 1.98→1.21GHz(温度墙触发) | DCGM | 高 |
| 8/21 02:05 | 星澜反馈 iter time 0.87→1.42s —— 投诉受理时点 | 微信 | 高 |
| 8/21 02:10 | 任务陆续迁移 B 区(陈骁 01:55 决定) | 微信 / 值班记录 | 高 |
| 8/21 07:00 | 迁移完成恢复满频,降频历时 5.2 小时(01:47-07:00) | DCGM / 微信 | 高 |
| 8/21 08:00 | 陈骁决策:A12 区 4 节点任务暂驻 B 区,修复验收前不迁回 | 微信 | 高 |
| 8/21 10:00 | 厂商提前到场(原约 8/22,提前 23 小时) | 厂商工单 | 高 |
| 8/21 12:40 | 修复完成:膨胀阀故障 + 水冷侧堵塞,历时 2.7 小时 | 厂商工单 | 高 |
| 8/21 12:42 | 送风温度恢复 20.1℃ | 动环 | 高 |
| 8/21 12:45 | 冷凝压力恢复 2.4MPa | 动环 | 高 |
| 8/19 14:33 → 8/21 12:45 | 共 46 小时 12 分 | 五源各节点均有出处 | 高 13 / 中 1 |
两处标「待核实」:① 01:45 前进风温度爬升的精确起点(动环 15 分钟粒度);② 厂商临时调配提前的内部决策链(只有 09:30 调度电话录音)。空调厂商的最终检测结论回来前,根因栏写「指向性结论」。
| 层级 | 为什么 | 直接原因 | 证据出处 |
|---|---|---|---|
| 1 | 4 节点为什么降频 | 进风温度 >32℃ 触发温度墙 | DCGM throttle=HW Thermal Slowdown + 动环进风告警 |
| 2 | 进风为什么超温 | CRAC-A12-03 故障,A12 区制冷不足 | 8/19 起送风温度低 + 8/20 冷凝压力高;修复后温度即恢复 |
| 3 | 空调故障为什么 2 天没修 | 报修 8/19,厂商排期 8/22 进场 | WA-0821:15:02 接单、约定 8/22 09:00 |
| 4 | 排期为什么是 3 天 | 厂商人力紧张无本地驻场;中心高密区无备用制冷、无加急升级机制 | 工单通话记录 + 设备台账(A12 无备用制冷位) |
| 5 | 为什么凌晨 01:45 才发现 | 8/15、8/19 告警均未闭环;夜班告警未处置;按点巡检在凌晨存在盲点 | 值班记录:8/15 03:22 漏记;01:45 凌晨无巡检 |
| — | 四层根因:制冷 / 排期 / 应急 / 监控盲点 | — | — |
5Why 每层都落到可整改的物件上:换机、备用制冷、加急条款、告警闭环 —— 不停在「管理不到位」。
| 对象 | 影响 | 口径 | 依据 |
|---|---|---|---|
| 星澜 30 节点同步训练任务 | iter time 0.87→1.42s(+63%) | 任务级(调度平台) | 客户群反馈 + 平台任务日志 |
| A12-R05~R08 4 节点 | SM Clock 1.21GHz,降频 5.2 小时(01:47-07:00) | 节点级(DCGM) | DCGM 导出 |
| 任务有效受影响时段 | 01:47-10:00 共 8.2 小时(含迁移与恢复期 3.0 小时) | 客户可感知口径 | 微信处置记录 + DCGM |
| 缩水卡时 | 1,968 卡时 ≈ 2.1 万 | 付费卡时 × 10.92 元(195 万 ÷ 178,560) | GPU 利用率日报 日报口径 |
| 其他客户 | 无影响(B/C 区 SM Clock 正常) | — | DCGM 全区扫描 |
| — | 受影响客户 1 家 / 节点 4 台 / 时长 8.2 小时 | — | — |
工单(客户工单回复与进度通知)当日按严重降频 5.2 小时粗算 1,248 卡时(30×8×5.2)≈ 1.4 万;本表按客户可感知的 8.2 小时计 1,968 卡时(240×8.2)≈ 2.1 万 —— 两个口径并列,差异来源写明,谁也不冒充谁。
| 口径 | 计算 | 金额(万元) | 状态 |
|---|---|---|---|
| 可用性口径(阶梯) | 月费 195 万 × 5%(可用性 99.5 至 99.9% 档) | 9.8 | 争议:客户主张计入降频 |
| 性能事件口径 | 月费 195 万 × 12.56%(受影响服务费比例,商务折算) | 24.5 | 争议:我方认为降频不构成中断 |
| 当月可用性 | 非免责中断 56 分钟(8/13 维护通知期争议 30 + 8/21 报告时效争议 26)→ 99.87% < 99.9% | — | 已确认 |
| 整改投入 | 空调换机 16.4 万 + 高密区备用制冷 2.2 万 | 18.6 | 待总经理办公会 |
| — | — | 整改 18.6 万 < 性能口径赔付 24.5 万 | — |
争议核心是合同缺口:降频 5.2 小时任务未中断、只是变慢 —— 按可用性口径不构成「中断」,按性能口径是单次 12.56% 的服务费比例。下次签 SLA 补「性能事件」定义与赔付上限,这个缺口比这次赔付本身值钱。
| 栏位 | 客户版(事实通报) | 内部版(RCA 初稿) |
|---|---|---|
| 事件概述 | 8.21 凌晨 A12 区 4 节点降频,已恢复 | 同左 + 五源出处 |
| 时间线 | 事实时间线(14 节点) | 同左 + 置信度与两处待核实标注 |
| 根因 | 指向性结论:制冷侧(待厂商检测报告) | 5Why 四层:制冷 / 排期 / 应急 / 监控盲点 |
| 影响范围 | 缩水卡时 1,968 卡时 ≈ 2.1 万如实列出 | 同左 + 工单口径 1,248 卡时 ≈ 1.4 万并列 |
| 赔付口径 | 不含(「按合同在月报中如实核算」) | 双口径 9.8 / 24.5 万 + 争议点清单 |
| 责任认定 | 留空 | 留空(责任认定会定,RCA 只给证据) |
| 整改项 | 三条承诺与期限 | 跟踪清单:责任部门 / 期限 / 验收标准(见附件) |
| 签批栏 | 客户经理吴敏 ________ / 运维主管 ________ | 集群组长陈骁 ________ / 运维主管 ________ |
内部版先出、客户版随后 —— 24 小时红线(8/22 02:05)守的是客户版那份事实通报。
答不上来的问题,比答得漂亮的问题更能决定这场演示的结果
回到场景引入,看这个场景的痛点、做法与边界