GPU 故障率是 CPU 的 120 倍 · 换卡记录却散在工程师个人电脑的 Excel 里
本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼集群运维,2026 年 9 月上旬月度备件盘点。8 月换了 14 张 H800 备件卡,主任在盘点会上问「这 14 张哪些是真坏、哪些是误换、送修检测结果出来没有」—— 换卡记录散在韩雪、周航、方磊三位工程师各自的电脑里,格式三个样。8 月 21 日凌晨 A12 区降频事件(故障 RCA 复盘报告初稿 同一事件)当晚换下的 2 张卡,检测结果已经回来了:复检 0 损坏 —— 误换实锤,问题在制冷不在卡。
注意标橙色那一份 —— 06_检测机构返修检测报告_8月.xlsx。它检测机构 PDF 报告整理 · 结论页与金额页拍照归档,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。
Xid 判读口径(79/48/63/94/31 的含义与处置建议)已内置在能力包,客户只需提供原始记录。
9 月上旬盘点会前,主任问:14 张哪些真坏、哪些误换、送修结果出来没有 —— 台账在三位工程师电脑里,格式三个样。本演示把三份记录、DCGM 导出、备件出入库和检测报告拼成一本账,重点回答一个问题:8.21 凌晨 A12 降频那晚换下的 2 张卡,到底是不是白换了。答案:是 —— 复检 0 损坏,问题在制冷(同一事件见 故障 RCA 复盘报告初稿)。
| 记录来源 | 8月张数 | 记 Xid 码 | 与 DCGM 对上 | 问题点 |
|---|---|---|---|---|
| 韩雪 | 5 | 全记 | 4/5 | 1 张失联无 Xid(DCGM 一致无记录) |
| 周航 | 5 | 不记 | 3/5 | 2 张写「疑似 ECC/卡坏」但 DCGM 查无记录;1 张 Xid 31 事后补记 |
| 方磊 | 4 | 部分记 | 3/4 | 1 张失联无 Xid;无现象描述 |
| 合计 | 14 | — | 10/14 | 4 张「换了卡查无 XID」 |
三份记录拼成一本台账后,14 张换卡每一张都有日期、机柜、卡槽、去向 —— 格式打架的地方(同一张卡三种写法)以检测报告的卡 SN 为准归一。
| 类型 | 事件 | 人工记录 | DCGM 记录 | 判定 |
|---|---|---|---|---|
| 换了卡查无 XID | 8/21 A12-R06 卡0(周航) | 「疑似 ECC 错误」 | Xid 0 条、ECC 0 | 疑似误换 |
| 换了卡查无 XID | 8/21 A12-R08 卡3(周航) | 「疑似卡坏」 | Xid 0 条、ECC 0 | 疑似误换 |
| 换了卡查无 XID | 8/26 B09-R35 卡4(韩雪) | 「失联重启恢复」 | 无记录 | 待检 |
| 换了卡查无 XID | 8/29 A07-R26 卡2(方磊) | 「失联」 | 无记录 | 待检 |
| 有 XID 没换卡 | 8/09 B03-R20 卡1 | 未登记 | Xid 48 可纠正 ECC ×3 次 | 处置正确(观察未换) |
| 记录与 XID 对上 | 其余 10 张 | 三份记录均有 | Xid 79/63/94/31 有对应 | 对上 |
| 合计 | 14 张换卡 | — | — | 对上 10 / 查无 4 / 正确未换 1 例 |
双向点名是这本台账的核心动作:8/09 那条 Xid 48 可纠正 ECC 观察三周零复发 —— 没换卡是对的;8.21 凌晨那两张没有先查 DCGM 就拆了 —— 拆完问题依旧,才知道不是卡。
| 机柜/区域 | 8月换卡 | Xid 构成 | 检测结论 | 判定 |
|---|---|---|---|---|
| A12-R05~R09 | 2 张(R06/R08,均为 8/21 凌晨) | 查无 XID | 0 损坏 ×2 | 环境问题背了硬件的锅 |
| A05(R12/R15/R18) | 3 张 | Xid 79 ×2 + Xid 31 ×1 | 损坏 ×2 + 无损坏 ×1 | 正常故障分布 |
| B09(R33/R35) | 2 张 | Xid 79 ×1 + 失联 ×1 | 损坏 ×1 + 待检 ×1 | 正常 |
| B03(R19/R21)+ B07(R30) | 3 张 | Xid 79 ×1 + Xid 31 ×2 | 损坏 ×1 + 无损坏 ×2 | 正常 |
| A07(R25/R26)+ A08(R31)+ B05(R28) | 4 张 | Xid 79 ×2 + Xid 63/94 各 1 + 失联 ×1 | 损坏 ×3 + 待检 ×1 | 正常 |
| 合计 | 14 张 · 8 个位置 | — | — | 唯一聚集:A12 同日同时段 2 张 |
同位置换卡聚集先查环境:A12 的 2 张换卡与该区 4 节点降频(GPU 利用率日报)同日同时段,且 CRAC-A12-03 三个月 6 次异常在案(机房巡检记录结构化与巡检日报 隐患台账)—— 卡只是碰巧在现场。
| 分类 | 张数 | 构成 | 处置 | 金额(万元) |
|---|---|---|---|---|
| 真坏 · 可修 | 5 | Xid 79 ×3 + Xid 94 ×1 + Xid 63 ×1 | 芯片级送修 0.87 万/张 | 4.35 |
| 真坏 · 报废 | 2 | Xid 79 ×2(PCB 烧蚀 / 核心损坏) | 整卡换新 2.6 万/张 | 5.2 |
| 误换 | 2 | A12 事件,查无 XID,复检 0 损坏 | 回备件池;直接损失 0.25 万/张(检测 0.08 + 工时 0.15 + 运费 0.02) | 0.5 |
| 客户代码 | 3 | Xid 31,复检均无损坏 | 转客户侧认领,检测费 800 元/张 | 0.24 |
| 待检 | 2 | 失联无 Xid,报告 9 月上旬回 | 暂缓报废 | — |
| 合计 | 14 | — | — | 维修性 9.55 · 误换 0.5 · 客户代码检测 0.24 |
误换单张直接损失 0.25 万 = 检测 800 + 拆装工时 1,500 + 往返运费 200(不含备件占用);3-7 月已送检无问题 9 张,按历史口径 0.3 万/张 ≈ 2.7 万。
| # | 栏位 | 内容 |
|---|---|---|
| 1 | 三分类汇总 | 真坏 7 / 误换 2 / 客户代码 3 / 待检 2(4 张查无 XID 的卡全部暂缓报废流程) |
| 2 | 机柜分布 | 14 张分布 8 个位置;唯一聚集 A12(同日同时段 2 张,环境定性) |
| 3 | 误换损失账 | 本月 0.5 万 + 3-7 月 2.7 万;单张口径 0.25 万(检测 800 + 工时 1,500 + 运费 200 元) |
| 4 | 送修比价 | 送修 0.87 万/张 vs 换新 2.6 万/张(约 1/3);真坏 7 张组合处置 9.55 万 vs 全换新 18.2 万 |
| 5 | 备件水位 | 期初 42 − 出库 14 + 回库 2 = 期末 30 张;换新采购 2 张 5.2 万待批 |
| 6 | 签批栏 | 集群组长陈骁 / 备件库管(签字栏留空) |
| — | 签批栏 | 制表 ________ / 审核 ________ |
报告由三份个人记录、DCGM 导出、备件出入库、检测报告四源拼成 —— Xid 判读口径(79/48/63/94/31 的含义与处置建议)写进表头,不再跟着人走。
答不上来的问题,比答得漂亮的问题更能决定这场演示的结果
回到场景引入,看这个场景的痛点、做法与边界