GPU 利用率日报 —— 利用率 93% 的集群正在变慢,这种病监控看不出来

监控里利用率一片绿 · 客户的训练任务正在以 1.6 倍的时间烧钱

!
演示模式 · 可视化预演

本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼,2026 年 8 月 22 日早晨。客户经理吴敏每天早上要一份利用率概况发重点客户;今天这份格外难写 —— 8 月 21 日星澜科技反馈「训练变慢」,今早又追问「你们的利用率报表一切正常,为什么任务慢了 63%」。调度平台和 DCGM 的利用率曲线当天确实全绿(星澜任务 89%)—— 利用率正常的集群和健康的集群是两回事。本演示出 8 月 21 日当天的利用率日报:利用率 × SM Clock × 温度三线交叉,把「假高」挑出来,把缩水卡时的账主动算给客户看。

输入素材
5 份(DCGM / 调度卡时 / 客户群消息 / 7 月基线 / 巡检动环摘录)
当日口径
15,823 卡时 ÷ 88,320 = 17.9% · 假高 5 节点
缩水卡时
1,968 卡时 ≈ 2.1 万(受影响 8.2 小时)
结论
暂缓只发总数 · 客户版/运营版分开的两个方案
输入

算力基础设施企业手上能拿到的东西

不需要整理格式、不需要改文件名 · 直接拖进对话框
01_DCGM指标导出_8月21日.xlsx
DCGM 三线导出(8/21 当日):A12 区各节点利用率、SM Clock、进风温度 —— 假高就是这么现形的
集群监控后台自动记录 · 利用率曲线平时只有运营看
02_调度平台任务级卡时_8月21日.xlsx
调度平台当日卡时消耗(按客户任务)—— 哪些任务在哪些节点上烧卡时
调度平台导出 · 与 闲置算力盘点与资金占用报告 闲置盘点同一口径
03_客户反馈与群消息.txt
星澜客户群与内部群消息(8/21-8/22),共 7 段 —— 客户感知的「变慢」时间点与质问原文
客户经理手机导出 · 「报表全绿为什么任务慢」就问在这里
04_上月同期DCGM基线_7月.xlsx
A12 区 7 月同期 DCGM 基线(30 天)—— 判断「下探」是不是异常的参照系,降频判读需要至少 30 天基线,这份导出平时没人看
集群监控后台历史数据 · 按月归档、从未被翻过
05_巡检与动环摘录_8月19至21日.xlsx
巡检日报(机房巡检记录结构化与巡检日报)与动环告警中与 A12 相关的摘录 —— 环境侧的因果链起点
值守侧资料 · 与集群侧数据平时从不放在一张表里

注意标橙色那一份 —— 04_上月同期DCGM基线_7月.xlsx。它集群监控后台历史数据 · 按月归档、从未被翻过,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。

提示词

就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底
这是今天的 DCGM 导出和调度平台的卡时消耗,还有客户群里星澜说训练变慢的聊天记录。 帮我出今天的利用率日报。利用率之外,重点看有没有「利用率很高但 SM Clock 被压着」的节点,那种是假健康。 哪些任务在降速跑、损失多少卡时帮我点出来。给客户的版本口语一点,别用我们的内部术语。

三线交叉(利用率/Clock/温度)的判读规则与卡时折算口径已内置,客户只需提供当日导出。

触发

事情是这么来的

利用率正常的集群和健康的集群是两回事

8 月 22 日早晨,吴敏的日报要回答星澜的质问:「报表全绿,任务为什么慢了 63%」。答案藏在三张平时没人一起看的表里:调度平台的利用率(89%,全绿)、DCGM 的 SM Clock(8 月 19 日起就在下探)、巡检台账里的空调报修记录(8 月 19 日 14:35)。单看任何一个数,这一天都「正常」。

1

口径核算 · 当日卡时利用率

自营 3,680 卡口径,与调度平台口径并列展示
客户/任务节点当日卡时利用率SM Clock判定
星澜 · LLM 预训练30512689.0%4 节点降频 5.2 小时假高
启明智驾 · 感知训练50548257.1%正常健康
青禾生物 · 分子筛选20161342.0%正常健康
市政务云 · 推理30145225.2%正常健康
零散客户 · 短租50215022.4%正常健康
合计18015,823自营全口径 17.9%—闲置 280 节点

两个口径并列:客户节点口径 45.8%(15,823 ÷ 34,560)是运营汇报习惯用的数;自营全口径 17.9%(15,823 ÷ 88,320)把闲置 280 节点算进分母 —— 差异来源是在册卡定义,写明不硬凑。

这一步的看点 · 从历史里想起了公司踩过的坑7 月经营例会把「利用率」当 KPI 汇报过一回,集群侧当场质疑口径混乱 —— 运营嘴里的 45.8% 和集群嘴里的 17.9% 差着 2.6 倍,谁也说不服谁。这次的日报把两个口径并列摆出来、差异写明 —— 硬凑一个数,只会在客户面前穿帮。
2

三线交叉 · 利用率 × SM Clock × 温度

满载满频 / 满载降频 / 闲置,三分类一眼现形
分类节点数判定标准当日代表
真健康(满载满频)175利用率高且 SM Clock 1.98 稳定星澜其余 25 节点 / 启明 50 / 青禾 20 / 政务云 30 / 零散 50
假高(满载降频)5利用率高但 SM Clock 被温度墙压低A12-R05~R08(1.21GHz)+ R09(1.69GHz)
闲置280无任务调度物理闲置 280 节点(闲置算力盘点与资金占用报告 盘点口径),其中 4 台 8/21 临时承接迁移
合计 460 节点175 + 5 + 280三分类全覆盖假高 5 节点全部在 A12 区

三线交叉是本日报的核心动作:利用率 89% 的星澜任务里,5 个节点在降速跑 —— 监控大盘上它们和另外 25 个健康节点一样绿。

这一步的看点 · 排除性结论「任务代码问题可以排除 —— 同一任务迁 B 区后 SM Clock 1.98 满频恢复;显存碎片可以排除 —— 利用率与显存占用无异常相关。指向环境温度」—— 客户侧这一轮排查可以免了,星澜王工拿到的日报里就写着这句。
3

缩水卡时 · 降速跑的账主动算给客户

受影响时段 8.2 小时,折 1,968 卡时 ≈ 2.1 万
项目数值口径
当日星澜付费卡时5,126 卡时240 卡 × 24h × 89.0%(调度平台口径)
受影响时段8.2 小时01:47-10:00:降频 5.2h + 迁移恢复 3.0h(客户可感知口径)
受影响卡时1,968 卡时240 卡 × 8.2h(满载口径,占当日付费卡时 38%)
缩水卡时金额≈ 2.1 万1,968 × 10.92 元(195 万 ÷ 178,560 合同卡时)
其中 SM Clock 缺口≈ 0.5 万1,248 卡时 × 39% × 10.92 元(与工单 客户工单回复与进度通知 口径同源)
给客户的账≈ 2.1 万工单口径 1,248 卡时 ≈ 1.4 万与本口径并列,差异来源写明

「缩水卡时」= 客户按满速付费、实际未跑在满频上的卡时。1,968 卡时里 1,248 卡时(30×8×5.2)发生在严重降频时段 —— 工单(客户工单回复与进度通知)当日就是按这个口径粗算的 1.4 万。

这一步的看点 · 把技术动作翻译成钱1,968 卡时按满速计费却没跑在满频上,折 2.1 万;其中按 SM Clock 缺口(1.98→1.21GHz,损失约 39%)折算的纯性能损失约 0.5 万 —— 两个数都主动给客户看。这笔账我们比客户先算出来、先摊开,比等客户自己发现来问责便宜得多;星澜年合同 2,340 万(195 万 × 12),2.1 万的透明账是续约筹码。
4

根因初判 · 集群指标与巡检台账交叉

DCGM 的下探与 机房巡检记录结构化与巡检日报 的空调异常,两天前就对上了
集群侧信号(DCGM)环境侧事件(巡检 / 动环)对齐
8/19 15:00 起 A12-R05~R09 SM Clock 轻度下探(1.98→1.82→1.69)8/19 14:35 巡检发现 CRAC-A12-03 送风温度 19.4℃ 并报修下探始于报修后 25 分钟
8/20 全天 5 节点维持 1.69GHz8/20 16:20 冷凝压力高 2.5MPa(45 分钟未处置)持续恶化、无告警
8/21 01:47 4 节点 1.21GHz 严重降频8/21 01:45-01:50 进风温度告警 30.5-33.2℃前后相差 2 分钟
8/21 12:40 后恢复 1.98GHz8/21 12:40 空调修复(膨胀阀 + 水冷堵塞)同步恢复
环境问题两天定位到区巡检台账(机房巡检记录结构化与巡检日报)× 集群指标(GPU 利用率日报)交叉8/19 15:00 → 8/21 01:47

动环进风告警 8/21 凌晨才触发,DCGM 的 Clock 下探 8/19 15:00 就开始了 —— 数据在报警,只是没人同时看这两张表。

这一步的看点 · 从历史里想起了公司踩过的坑历史基线显示 A12 区这批节点的 SM Clock 在 8 月 19 日之后普遍下探 —— 与巡检台账(机房巡检记录结构化与巡检日报)里 CRAC-A12-03 多次送风温度异常的时间窗吻合。客户 8 月 21 日才感知变慢,数据 8 月 19 日就在报警 —— 只差有人把两张表放在一起看。
5

成稿 · 客户版与运营版双版

口径透明比数字漂亮重要
栏位客户版(发星澜等重点客户)运营版(内部)
当日口径星澜任务利用率 89% + 利用率、频率、温度三项一起看的说明自营全口径 17.9% / 客户节点口径 45.8% 并列 + 闲置 280 节点
异常说明A12 4 节点温度墙降频 8.2 小时,已迁移恢复;任务代码与显存问题已排除假高 5 节点清单 + 根因指向制冷(联动 机房巡检记录结构化与巡检日报)
影响账缩水卡时 1,968 卡时 ≈ 2.1 万,主动披露同左 + 工单口径 1,248 卡时 ≈ 1.4 万并列
调度建议—A12 区修复验收前不再调度新任务(建议已生成,集群工程师确认后执行)
签批栏客户经理吴敏 / 集群组长陈骁集群组长陈骁 / 运营经理周婷
—签批栏:吴敏 ________ / 陈骁 ________签批栏:陈骁 ________ / 周婷 ________

客户版不出现内部术语(「三线交叉」写成「利用率、频率、温度三项一起看」)—— 口径透明比数字漂亮重要。

这一步的看点 · 该拦的地方拦住了日报结论:「A12 区 4 个节点处于温度墙降频运行,建议当日不再向该区调度新任务;空调修复验收前该区为调度禁区 —— 已生成调度建议(人确认后执行)」。调度指令我们不碰,建议必须出:踢错一个在跑任务的节点,损失比漏检更大。
这份日报不能只发一个总数
8 月 21 日是事故日:只发「整体 17.9%」会把 A12 区的假高埋掉,只发「星澜 89%」会让客户拿着全绿报表继续质问。但缩水卡时 2.1 万的口径涉及商务 —— 工单(客户工单回复与进度通知)用的是 1,248 卡时 ≈ 1.4 万,SLA 月报(客户 SLA 月报与赔付预警)还没出,三个口径同时在客户面前出现就是穿帮现场。方案一:客户版今天 10:30 前发出 —— 含三线交叉结果、A12 异常说明与缩水卡时 2.1 万的主动披露,工单口径 1.4 万的差异来源写明(降频 5.2 小时 vs 可感知 8.2 小时);运营版同步内部 —— 客户的质问今天就有答案。方案二:客户版只报异常与措施,影响账写一句「将在 9 月 5 日 SLA 月报按合同口径统一核算(阶梯口径 9.8 万 / 性能口径 24.5 万,口径待与客户确认)」—— 避免三口径同时上桌,但吴敏须口头先给星澜一个量级预期,别让客户自己把性能口径的账算出来。
之后

这一次跑完,公司多了什么

不讲省了多久 · 讲少了几个隐患、沉淀了什么
✓
「利用率假高」的识别口径固定下来 —— 三线交叉成了每日例行,隐性劣化当天现形
✓
巡检台账(机房巡检记录结构化与巡检日报)与集群指标(GPU 利用率日报)第一次交叉到一起 —— 环境问题两天就能定位到区,不用等客户投诉
✓
「缩水卡时」的折算口径建立起来了 —— 对客户透明反而是续约筹码
✓
日报的客户版与运营版分离,客户经理拿到的不再是自己看不懂的监控截图

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

能不能自动把降速节点踢出调度池?
不能。调度是生产动作,我们出「建议隔离清单」,执行由集群工程师确认 —— 踢错一个在跑任务的节点,损失比漏检更大。
利用率数字能对上调度平台的数吗?
两个口径并列展示并注明差异来源(在册卡定义不同)。硬凑一个数只会在客户面前穿帮,口径透明比数字漂亮重要。
历史数据要留多久?
降频判读需要至少 30 天基线。数据一直在自己手里,这也是为什么这个场景越跑越准。

想了解来龙去脉?

回到场景引入,看这个场景的痛点、做法与边界