GPU 故障换卡台账 —— 换了 14 张卡,哪些真坏哪些误换,不该没有人说得清

GPU 故障率是 CPU 的 120 倍 · 换卡记录却散在工程师个人电脑的 Excel 里

一这件事现在是什么样

智算集群运维(GPU 与高速网络) · 真实业务触发

月度备件盘点:本月换了 14 张 H800 备件卡,组长被主任问「这 14 张哪些是真坏、哪些是误换、送修检测结果出来没有」—— 台账在三个工程师各自的电脑里,格式都不一样。

二痛点 · 每条都有来源

不是流程描述,是调研出来的真痛点 —— 每条可点开核对出处

1
商用 GPU 服务器年均故障率约 18.7%、单次故障平均处置超 90 分钟 —— 换卡是高频事件,值得一本正经台账依据 · 商用 GPU 服务器年均故障率约 18.7%、单次故障平均处置超 90 分钟 —— 换卡是高频事件,台账值得单独建
3
A100/A800 停产后第三方芯片级维修成本仅为换新的 1/3 —— 换新还是送修的比价,从来没人按台账算过依据 · A100/A800 停产后第三方芯片级维修成本仅为换新的 1/3 —— 换卡与维修的比价台账直接是维保决策依据
4
台账在个人电脑里、格式不统一、离职即失传 —— 「人员一动,整个数据中心运维的技能和经验就难以传承」依据 · 11 年 IDC 运维人自述:离职率高、薪酬倒挂、晋升通道窄,「人员一动,整个数据中心运维的技能和经验就难以传承」

三换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • 商用 GPU 服务器年均故障率约 18.7%、单次故障平均处置超 90 分钟 —— 换卡是高频事件,值得一本正经台账
  • Xid 79 掉卡 / 48/63/94 ECC / 31 客户代码的判读口径靠工程师个人经验,「隐性降速不中断任务最难查」—— 误判换卡的事每个老手都干过
  • A100/A800 停产后第三方芯片级维修成本仅为换新的 1/3 —— 换新还是送修的比价,从来没人按台账算过
  • 台账在个人电脑里、格式不统一、离职即失传 —— 「人员一动,整个数据中心运维的技能和经验就难以传承」

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四场景闭环

5 步 · 每一步的产出都是下一步的输入

第 1 步
记录归一 · 三份 Excel 拼成一本台账设备 SN、Xid 码、故障时间、处理人、换卡结果逐行归一;三份记录打架的地方逐条标出
第 2 步
交叉验证 · 人工记录 × DCGM 告警人工记的每次故障在 DCGM 里有没有对应 XID;有 XID 没换卡的、换了卡查无 XID 的,双向点名
第 3 步
误换识别 · 疑似「环境问题背了硬件的锅」同一机柜/同一供电回路的换卡聚集性分析 —— 同位置反复换卡往往不是卡的问题
第 4 步
送修裁决 · 检测报告回填台账检测报告的「损坏/无损坏」结论回填每一张换下的卡,误换率水落石出
第 5 步
成稿 · 换卡台账分析报告真坏/误换/待检三分类 + 机型与机柜分布 + 送修比价,签批栏齐备

要准备什么

三份工程师各自的换卡记录 Excel(半年)
格式不一:有的记 Xid 码,有的只记现象
DCGM 的 XID 告警导出(同期)
和人工记录交叉验证的权威口径
备件出入库记录(仓库管理员)
备件卡的真实流向
第三方检测机构的返修检测报告(PDF)
换下卡的最终裁决 —— 星标素材

为什么这个场景值得做

痛感 4 × AI 适配 4 ÷ 落地难度 2 = 8.0

最大差异点 · 不需要客户先建台账系统。三份格式不一的 Excel、微信里的换卡沟通记录、备件库的出入库单,原件直接进来 —— 台账是拼出来的,不是要求客户先补出来的。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」; AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」; 落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

正式件本体
换卡台账分析报告.xlsx
正式件 · 三分类/分布/比价 · 签批栏
可派发清单
疑似误换复核清单.xlsx
可派发 · 每条带证据链与建议动作

这套东西不承诺什么

不自动换卡、不下「硬件故障」的最终判定(复检与备件领用是人签字的动作)。「疑似误换」只是复核建议,换下的卡以第三方检测报告为准。送修比价只列选项与金额,供应商选择是采购流程的事。

想看具体怎么跑?

Live Demo 里有一个完整案例的每一步,包括 Agent 在哪一步拦住了