GPU 利用率日报 —— 利用率 93% 的集群正在变慢,这种病监控看不出来

监控里利用率一片绿 · 客户的训练任务正在以 1.6 倍的时间烧钱

一这件事现在是什么样

智算集群运维(GPU 与高速网络) · 真实业务触发

每天早上客户经理要一份利用率概况发给重点客户;8 月 21 日星澜科技反馈「训练变慢」,但调度平台和 DCGM 的利用率曲线一切正常 —— 利用率正常的集群和健康的集群是两回事。

二痛点 · 每条都有来源

不是流程描述,是调研出来的真痛点 —— 每条可点开核对出处

2
客户只认自己的训练速度与成本,不认你的利用率报表 —— 千卡训练曾中断在65% 进度,「任务白跑」的愤怒点不在机器坏了依据 · 千卡集群训练任务曾因故障中断在 65% 进度处 —— 客户对故障的愤怒点在「任务白跑」,不在「机器坏了」
3
行业 GPU 平均利用率不足 30% 的背景下,运营侧把「利用率数字」当 KPI 汇报,而集群侧知道这个数字口径混乱 —— 两边的口径差距迟早要在客户面前穿帮依据 · 腾讯云解决方案总经理在 MWC26 上海披露:国内智算中心 GPU 平均利用率不足 30%;信通院 2025 年统计国内智算用算占比仅 36.8% —— 利用率是行业级痛点
4
SM Clock 降频、NVLink 降速这类隐性劣化不中断任务、不触发告警 —— 等客户发现变慢再排查,证据已经没了依据 · 利用率 ≠ 健康:显存碎片、PCIe 带宽瓶颈会拖垮性能而利用率假高 —— 只看利用率的日报会漏掉真正的问题

三换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • 利用率 ≠ 健康:显存碎片、PCIe 带宽瓶颈会拖垮性能而利用率假高;实测 PSU 问题导致 SM Clock 从 2GHz 掉到 500MHz、性能降至 1/4 而监控无感
  • 客户只认自己的训练速度与成本,不认你的利用率报表 —— 千卡训练曾中断在65% 进度,「任务白跑」的愤怒点不在机器坏了
  • 行业 GPU 平均利用率不足 30% 的背景下,运营侧把「利用率数字」当 KPI 汇报,而集群侧知道这个数字口径混乱 —— 两边的口径差距迟早要在客户面前穿帮
  • SM Clock 降频、NVLink 降速这类隐性劣化不中断任务、不触发告警 —— 等客户发现变慢再排查,证据已经没了

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四场景闭环

5 步 · 每一步的产出都是下一步的输入

第 1 步
口径核算 · 当日卡时利用率自营 3,680 卡口径:实际消耗卡时 ÷(在册卡×自然小时);与调度平台口径并列展示,差异注明原因
第 2 步
三线交叉 · 利用率 × SM Clock × 温度逐节点交叉扫描:利用率高且 Clock 正常(真健康)、利用率高但 Clock 受限(假高)、利用率低(闲置)三分类
第 3 步
异常任务定位 · 谁在降速跑假高节点上的任务逐个点名:任务名、客户、卡时消耗、估算性能损失 —— 给客户经理一份能直接解释的清单
第 4 步
根因初判 · 降速从哪来温度墙(环境)/功耗墙(供电)/驱动(软件)三类初步归因,指向环境侧的直接关联动环数据(与 机房巡检记录结构化与巡检日报 的空调记录交叉)
第 5 步
成稿 · 利用率日报与异常清单客户版(口径+异常说明)与运营版(闲置与假高分布)双版,签批栏齐备

要准备什么

DCGM 指标导出(GR_ENGINE_ACTIVE / SM Clock / clock throttle / 温度)
利用率与降频的交叉口径
调度平台任务级卡时消耗(当日)
哪些任务在哪些节点上烧卡时
客户反馈记录(群消息/工单)
客户感知的「变慢」时间点
历史正常基线(上月同期)
判断异常的参照系

为什么这个场景值得做

痛感 4 × AI 适配 4 ÷ 落地难度 3 = 6.4

最大差异点 · 与调度平台自带报表的区别:平台报表看的是「资源被占用了多少」,本场景多看一层「占用了却在降速跑」—— 利用率与 SM Clock、温度墙、NVLink 宽度三线交叉,假高一眼现形。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」; AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」; 落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

正式件本体
GPU利用率日报.xlsx
正式件 · 客户版与运营版 · 签批栏
可派发清单
异常任务清单.xlsx
可派发 · 每条带节点/客户/性能损失估算

这套东西不承诺什么

不替客户调整任务、不做调度决策。日报只点名异常与证据,处置是集群工程师的判断。利用率口径(卡时/在册卡×自然小时)与调度平台口径的差异如实标注,不硬凑对齐。不承诺「利用率提升」。

想看具体怎么跑?

Live Demo 里有一个完整案例的每一步,包括 Agent 在哪一步拦住了