GPU 故障换卡台账 —— 换了 14 张卡,哪些真坏哪些误换,不该没有人说得清

GPU 故障率是 CPU 的 120 倍 · 换卡记录却散在工程师个人电脑的 Excel 里

!
演示模式 · 可视化预演

本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼集群运维,2026 年 9 月上旬月度备件盘点。8 月换了 14 张 H800 备件卡,主任在盘点会上问「这 14 张哪些是真坏、哪些是误换、送修检测结果出来没有」—— 换卡记录散在韩雪、周航、方磊三位工程师各自的电脑里,格式三个样。8 月 21 日凌晨 A12 区降频事件(故障 RCA 复盘报告初稿 同一事件)当晚换下的 2 张卡,检测结果已经回来了:复检 0 损坏 —— 误换实锤,问题在制冷不在卡。

输入素材
6 份(三份工程师记录 / DCGM 导出 / 备件出入库 / 检测报告)
8 月换卡 14 张
真坏 7 + 误换 2 + 客户代码 3 + 待检 2
误换代价
本月 0.5 万 · 3-7 月 9 张 ≈ 2.7 万
结论
暂缓 4 张备件处置 · 换新采购 5.2 万待批
输入

算力基础设施企业手上能拿到的东西

不需要整理格式、不需要改文件名 · 直接拖进对话框
01_换卡记录_韩雪.xlsx
集群工程师韩雪的换卡记录(半年),三个人里唯一记 Xid 码的一分,去年 11 月 B 区的事也只有她的本子上翻得到
韩雪个人电脑 · 格式自拟但字段最全
02_换卡记录_周航.xlsx
集群工程师周航的换卡记录(半年),只记现象不记 Xid 码 ——8.21 凌晨 A12 那两张「先换卡试试」就是他拆的
周航个人电脑 · 手记风格,现象按当时印象写的
03_换卡记录_方磊.xlsx
集群工程师方磊的换卡记录(半年),三个人里最简的一分:日期、位置、去向,没有现象描述
方磊个人电脑 · 表最简,夜班换卡全靠回忆补
04_DCGM_XID告警导出_8月.xlsx
DCGM 的 XID 告警导出(8 月全月),与人工记录交叉验证的权威口径
集群监控后台自动记录 · 值班工程师偶尔才导出来看
05_备件出入库记录_8月.xlsx
备件库 8 月出入库记录(仓库管理员),备件卡的真实流向
备件库管员维护 · 与工程师记录双向核对
06_检测机构返修检测报告_8月.xlsx
第三方检测机构的返修检测报告(8 月送检 12 张,报告 8/24-8/28 陆续回)——换下卡的最终裁决,平时没人把结论回填进台账
检测机构 PDF 报告整理 · 结论页与金额页拍照归档

注意标橙色那一份 —— 06_检测机构返修检测报告_8月.xlsx。它检测机构 PDF 报告整理 · 结论页与金额页拍照归档,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。

提示词

就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底
这是三位工程师各自的换卡记录、DCGM 的 XID 告警导出和备件出入库单,还有检测机构的返修报告。 帮我拼成一本统一的换卡台账,重点看哪些换卡聚集在同一位置——那可能不是卡的问题。 真坏还是误换要分开,误换的代价帮我算出来。备件报废的建议栏留空,我们自己定。

Xid 判读口径(79/48/63/94/31 的含义与处置建议)已内置在能力包,客户只需提供原始记录。

触发

事情是这么来的

月度备件盘点,主任的三个问题一个都答不上来

9 月上旬盘点会前,主任问:14 张哪些真坏、哪些误换、送修结果出来没有 —— 台账在三位工程师电脑里,格式三个样。本演示把三份记录、DCGM 导出、备件出入库和检测报告拼成一本账,重点回答一个问题:8.21 凌晨 A12 降频那晚换下的 2 张卡,到底是不是白换了。答案:是 —— 复检 0 损坏,问题在制冷(同一事件见 故障 RCA 复盘报告初稿)。

1

记录归一 · 三份 Excel 拼成一本台账

同一张卡三个写法,以检测报告 SN 为准逐条归一
记录来源8月张数记 Xid 码与 DCGM 对上问题点
韩雪5全记4/51 张失联无 Xid(DCGM 一致无记录)
周航5不记3/52 张写「疑似 ECC/卡坏」但 DCGM 查无记录;1 张 Xid 31 事后补记
方磊4部分记3/41 张失联无 Xid;无现象描述
合计14—10/144 张「换了卡查无 XID」

三份记录拼成一本台账后,14 张换卡每一张都有日期、机柜、卡槽、去向 —— 格式打架的地方(同一张卡三种写法)以检测报告的卡 SN 为准归一。

这一步的看点 · 从历史里想起了公司踩过的坑台账拼出来才发现:去年 11 月 B 区那 6 张「ECC 错误换卡」复检全部无损坏、后来查明是那排机柜供电模块的问题 —— 这条只有韩雪的本子上翻得到。这次 A12 又出现同模式换卡聚集,台账直接把它顶了出来:先查环境,别再白拆卡。
2

交叉验证 · 人工记录与 DCGM 双向点名

换了的卡要能对上 XID;有 XID 的不一定要换卡
类型事件人工记录DCGM 记录判定
换了卡查无 XID8/21 A12-R06 卡0(周航)「疑似 ECC 错误」Xid 0 条、ECC 0疑似误换
换了卡查无 XID8/21 A12-R08 卡3(周航)「疑似卡坏」Xid 0 条、ECC 0疑似误换
换了卡查无 XID8/26 B09-R35 卡4(韩雪)「失联重启恢复」无记录待检
换了卡查无 XID8/29 A07-R26 卡2(方磊)「失联」无记录待检
有 XID 没换卡8/09 B03-R20 卡1未登记Xid 48 可纠正 ECC ×3 次处置正确(观察未换)
记录与 XID 对上其余 10 张三份记录均有Xid 79/63/94/31 有对应对上
合计14 张换卡——对上 10 / 查无 4 / 正确未换 1 例

双向点名是这本台账的核心动作:8/09 那条 Xid 48 可纠正 ECC 观察三周零复发 —— 没换卡是对的;8.21 凌晨那两张没有先查 DCGM 就拆了 —— 拆完问题依旧,才知道不是卡。

这一步的看点 · 该拦的地方拦住了「换了卡查无 XID」的 4 张在备件报废流程前就该被拦下 —— 本次 2 张 A12 卡复检 0 损坏已实锤误换;若没有这层交叉核对,这 4 张大概率按「故障卡」直接走报废,备件池白亏 4 张。判断口径(先查 Xid 再拆卡)从此落在台账里,不靠老师傅的记性。
3

误换识别 · 同位置换卡聚集先查环境

同一机柜/同一事件日的换卡聚集,往往不是卡的问题
机柜/区域8月换卡Xid 构成检测结论判定
A12-R05~R092 张(R06/R08,均为 8/21 凌晨)查无 XID0 损坏 ×2环境问题背了硬件的锅
A05(R12/R15/R18)3 张Xid 79 ×2 + Xid 31 ×1损坏 ×2 + 无损坏 ×1正常故障分布
B09(R33/R35)2 张Xid 79 ×1 + 失联 ×1损坏 ×1 + 待检 ×1正常
B03(R19/R21)+ B07(R30)3 张Xid 79 ×1 + Xid 31 ×2损坏 ×1 + 无损坏 ×2正常
A07(R25/R26)+ A08(R31)+ B05(R28)4 张Xid 79 ×2 + Xid 63/94 各 1 + 失联 ×1损坏 ×3 + 待检 ×1正常
合计14 张 · 8 个位置——唯一聚集:A12 同日同时段 2 张

同位置换卡聚集先查环境:A12 的 2 张换卡与该区 4 节点降频(GPU 利用率日报)同日同时段,且 CRAC-A12-03 三个月 6 次异常在案(机房巡检记录结构化与巡检日报 隐患台账)—— 卡只是碰巧在现场。

这一步的看点 · 排除性结论「A12 事件硬件故障可排除 —— 4 节点 Xid 零记录、ECC 零,当晚换下的 2 张卡复检 0 损坏,空调修复后零复发;问题在制冷侧(CRAC-A12-03),不在卡」。这一条直接保住 4 张备件卡(2 张误换卡复检回库 + 2 台节点免拆)和一次4 节点白拆,也是 RCA(故障 RCA 复盘报告初稿)给客户解释「为什么不用停机换卡」的证据。
4

送修裁决 · 检测报告回填台账

12 张报告回填,真坏/误换/客户代码/待检水落石出
分类张数构成处置金额(万元)
真坏 · 可修5Xid 79 ×3 + Xid 94 ×1 + Xid 63 ×1芯片级送修 0.87 万/张4.35
真坏 · 报废2Xid 79 ×2(PCB 烧蚀 / 核心损坏)整卡换新 2.6 万/张5.2
误换2A12 事件,查无 XID,复检 0 损坏回备件池;直接损失 0.25 万/张(检测 0.08 + 工时 0.15 + 运费 0.02)0.5
客户代码3Xid 31,复检均无损坏转客户侧认领,检测费 800 元/张0.24
待检2失联无 Xid,报告 9 月上旬回暂缓报废—
合计14——维修性 9.55 · 误换 0.5 · 客户代码检测 0.24

误换单张直接损失 0.25 万 = 检测 800 + 拆装工时 1,500 + 往返运费 200(不含备件占用);3-7 月已送检无问题 9 张,按历史口径 0.3 万/张 ≈ 2.7 万。

这一步的看点 · 把技术动作翻译成钱本月误换 2 张直接损失 0.5 万,3-7 月误换 9 张 ≈ 2.7 万 —— 半年 11 张白拆。对照账:真坏 7 张里送修 5 张(4.35 万)+ 换新 2 张(5.2 万)= 9.55 万;若 7 张全部按换新处理要 18.2 万(7 × 2.6),送修组合比全换新少花 8.65 万 —— A 系列停产后,这个比价口径第一次有了台账支撑。
5

成稿 · 换卡台账分析报告

三分类 + 机柜分布 + 送修比价,签批栏齐备
#栏位内容
1三分类汇总真坏 7 / 误换 2 / 客户代码 3 / 待检 2(4 张查无 XID 的卡全部暂缓报废流程)
2机柜分布14 张分布 8 个位置;唯一聚集 A12(同日同时段 2 张,环境定性)
3误换损失账本月 0.5 万 + 3-7 月 2.7 万;单张口径 0.25 万(检测 800 + 工时 1,500 + 运费 200 元)
4送修比价送修 0.87 万/张 vs 换新 2.6 万/张(约 1/3);真坏 7 张组合处置 9.55 万 vs 全换新 18.2 万
5备件水位期初 42 − 出库 14 + 回库 2 = 期末 30 张;换新采购 2 张 5.2 万待批
6签批栏集群组长陈骁 / 备件库管(签字栏留空)
—签批栏制表 ________ / 审核 ________

报告由三份个人记录、DCGM 导出、备件出入库、检测报告四源拼成 —— Xid 判读口径(79/48/63/94/31 的含义与处置建议)写进表头,不再跟着人走。

这一步的看点 · 排除性结论「Xid 31 类的 3 次换卡可以排除硬件原因 —— DCGM 有记录但检测无损坏,属客户代码问题;这类问题该转给客户侧排查,不该消耗我们的备件」—— 3 张卡已从报废流程改走客户认领,省下的是备件库存和拆装工时。
这本台账不能在待检卡悬着的时候直接报主任
14 张里 2 张(B09-R35 / A07-R26)检测报告 9 月上旬才回,三分类中「待检」未闭环;且换新采购 2 张(5.2 万)要走审批、误换 2 张回库要走资产核销 —— 这些都是签字动作,台账只能给依据,不能替人签。方案一:按「暂缓处置」版本今天提交 —— 12 张已定性 + 2 张待检标注「报告未回、暂缓报废」,附三笔账:送修 4.35 万已发生、换新 5.2 万待批、误换损失本月 0.5 万 + 3-7 月 2.7 万 —— 9 月报告回来只补 2 行,台账不断档。方案二:先报「已定性 12 张」的版本,待检 2 张顺延到 9 月台账 —— 但备件库当月对账须注明「在检 2 张、待客户认领 3 张」,且换新采购 5.2 万的审批单本周必须提:期末可用 30 张,按 8 月换 14 张的节奏只够撑约 2 个月,审批再拖,10 月备件就见底了。
之后

这一次跑完,公司多了什么

不讲省了多久 · 讲少了几个隐患、沉淀了什么
✓
三份个人 Excel 第一次拼成全中心统一的换卡台账 —— 判读口径不再跟着人走
✓
「同位置换卡聚集=先查环境」的判断规则落进台账,B 区的教训不会重演第三次
✓
误换的代价第一次被算出来 —— 判断口径的改进有了金额层面的理由
✓
送修比价口径固定下来,A 系列停产后备件策略有了数据支撑

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

能不能自动判断卡该不该换?
不能。我们给的是「Xid 码 + 同位置聚集 + 历史检测结论」的证据包,拆不拆卡是值班工程师按 SOP 拍板的事。
检测报告只有纸质版怎么办?
拍照进来即可,检测机构的结论页和金额页拍清楚就行 —— 台账引用的是结论,不是格式。
备件该备多少张卡你们能算吗?
能算参考值(基于故障率与送修周期),但备件水位涉及资金占用,参考值进了报告,决定权在库存主管。

想了解来龙去脉?

回到场景引入,看这个场景的痛点、做法与边界