监控里利用率一片绿 · 客户的训练任务正在以 1.6 倍的时间烧钱
本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)4 号楼,2026 年 8 月 22 日早晨。客户经理吴敏每天早上要一份利用率概况发重点客户;今天这份格外难写 —— 8 月 21 日星澜科技反馈「训练变慢」,今早又追问「你们的利用率报表一切正常,为什么任务慢了 63%」。调度平台和 DCGM 的利用率曲线当天确实全绿(星澜任务 89%)—— 利用率正常的集群和健康的集群是两回事。本演示出 8 月 21 日当天的利用率日报:利用率 × SM Clock × 温度三线交叉,把「假高」挑出来,把缩水卡时的账主动算给客户看。
注意标橙色那一份 —— 04_上月同期DCGM基线_7月.xlsx。它集群监控后台历史数据 · 按月归档、从未被翻过,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。
三线交叉(利用率/Clock/温度)的判读规则与卡时折算口径已内置,客户只需提供当日导出。
8 月 22 日早晨,吴敏的日报要回答星澜的质问:「报表全绿,任务为什么慢了 63%」。答案藏在三张平时没人一起看的表里:调度平台的利用率(89%,全绿)、DCGM 的 SM Clock(8 月 19 日起就在下探)、巡检台账里的空调报修记录(8 月 19 日 14:35)。单看任何一个数,这一天都「正常」。
| 客户/任务 | 节点 | 当日卡时 | 利用率 | SM Clock | 判定 |
|---|---|---|---|---|---|
| 星澜 · LLM 预训练 | 30 | 5126 | 89.0% | 4 节点降频 5.2 小时 | 假高 |
| 启明智驾 · 感知训练 | 50 | 5482 | 57.1% | 正常 | 健康 |
| 青禾生物 · 分子筛选 | 20 | 1613 | 42.0% | 正常 | 健康 |
| 市政务云 · 推理 | 30 | 1452 | 25.2% | 正常 | 健康 |
| 零散客户 · 短租 | 50 | 2150 | 22.4% | 正常 | 健康 |
| 合计 | 180 | 15,823 | 自营全口径 17.9% | — | 闲置 280 节点 |
两个口径并列:客户节点口径 45.8%(15,823 ÷ 34,560)是运营汇报习惯用的数;自营全口径 17.9%(15,823 ÷ 88,320)把闲置 280 节点算进分母 —— 差异来源是在册卡定义,写明不硬凑。
| 分类 | 节点数 | 判定标准 | 当日代表 |
|---|---|---|---|
| 真健康(满载满频) | 175 | 利用率高且 SM Clock 1.98 稳定 | 星澜其余 25 节点 / 启明 50 / 青禾 20 / 政务云 30 / 零散 50 |
| 假高(满载降频) | 5 | 利用率高但 SM Clock 被温度墙压低 | A12-R05~R08(1.21GHz)+ R09(1.69GHz) |
| 闲置 | 280 | 无任务调度 | 物理闲置 280 节点(闲置算力盘点与资金占用报告 盘点口径),其中 4 台 8/21 临时承接迁移 |
| 合计 460 节点 | 175 + 5 + 280 | 三分类全覆盖 | 假高 5 节点全部在 A12 区 |
三线交叉是本日报的核心动作:利用率 89% 的星澜任务里,5 个节点在降速跑 —— 监控大盘上它们和另外 25 个健康节点一样绿。
| 项目 | 数值 | 口径 |
|---|---|---|
| 当日星澜付费卡时 | 5,126 卡时 | 240 卡 × 24h × 89.0%(调度平台口径) |
| 受影响时段 | 8.2 小时 | 01:47-10:00:降频 5.2h + 迁移恢复 3.0h(客户可感知口径) |
| 受影响卡时 | 1,968 卡时 | 240 卡 × 8.2h(满载口径,占当日付费卡时 38%) |
| 缩水卡时金额 | ≈ 2.1 万 | 1,968 × 10.92 元(195 万 ÷ 178,560 合同卡时) |
| 其中 SM Clock 缺口 | ≈ 0.5 万 | 1,248 卡时 × 39% × 10.92 元(与工单 客户工单回复与进度通知 口径同源) |
| 给客户的账 | ≈ 2.1 万 | 工单口径 1,248 卡时 ≈ 1.4 万与本口径并列,差异来源写明 |
「缩水卡时」= 客户按满速付费、实际未跑在满频上的卡时。1,968 卡时里 1,248 卡时(30×8×5.2)发生在严重降频时段 —— 工单(客户工单回复与进度通知)当日就是按这个口径粗算的 1.4 万。
| 集群侧信号(DCGM) | 环境侧事件(巡检 / 动环) | 对齐 |
|---|---|---|
| 8/19 15:00 起 A12-R05~R09 SM Clock 轻度下探(1.98→1.82→1.69) | 8/19 14:35 巡检发现 CRAC-A12-03 送风温度 19.4℃ 并报修 | 下探始于报修后 25 分钟 |
| 8/20 全天 5 节点维持 1.69GHz | 8/20 16:20 冷凝压力高 2.5MPa(45 分钟未处置) | 持续恶化、无告警 |
| 8/21 01:47 4 节点 1.21GHz 严重降频 | 8/21 01:45-01:50 进风温度告警 30.5-33.2℃ | 前后相差 2 分钟 |
| 8/21 12:40 后恢复 1.98GHz | 8/21 12:40 空调修复(膨胀阀 + 水冷堵塞) | 同步恢复 |
| 环境问题两天定位到区 | 巡检台账(机房巡检记录结构化与巡检日报)× 集群指标(GPU 利用率日报)交叉 | 8/19 15:00 → 8/21 01:47 |
动环进风告警 8/21 凌晨才触发,DCGM 的 Clock 下探 8/19 15:00 就开始了 —— 数据在报警,只是没人同时看这两张表。
| 栏位 | 客户版(发星澜等重点客户) | 运营版(内部) |
|---|---|---|
| 当日口径 | 星澜任务利用率 89% + 利用率、频率、温度三项一起看的说明 | 自营全口径 17.9% / 客户节点口径 45.8% 并列 + 闲置 280 节点 |
| 异常说明 | A12 4 节点温度墙降频 8.2 小时,已迁移恢复;任务代码与显存问题已排除 | 假高 5 节点清单 + 根因指向制冷(联动 机房巡检记录结构化与巡检日报) |
| 影响账 | 缩水卡时 1,968 卡时 ≈ 2.1 万,主动披露 | 同左 + 工单口径 1,248 卡时 ≈ 1.4 万并列 |
| 调度建议 | — | A12 区修复验收前不再调度新任务(建议已生成,集群工程师确认后执行) |
| 签批栏 | 客户经理吴敏 / 集群组长陈骁 | 集群组长陈骁 / 运营经理周婷 |
| — | 签批栏:吴敏 ________ / 陈骁 ________ | 签批栏:陈骁 ________ / 周婷 ________ |
客户版不出现内部术语(「三线交叉」写成「利用率、频率、温度三项一起看」)—— 口径透明比数字漂亮重要。
答不上来的问题,比答得漂亮的问题更能决定这场演示的结果
回到场景引入,看这个场景的痛点、做法与边界