客户 POC 测试报告 —— 测试跑完那天出报告,而不是跑完两周后

POC 测试数据散在微信截图和个人电脑里 · 拼报告的功夫比跑测试还长

!
演示模式 · 可视化预演

本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)8 月 27 日,启明智驾 8 台 POC 样机测试当天跑完。启明现用本中心 50 节点 H800 集群训练自动驾驶模型,计划再扩 40 节点,先以 8 台样机做 POC:nccl-tests 总线带宽、ib_write_bw、矩阵乘吞吐、Llama-7B 训练 MFU 各跑一轮。客户技术负责人当天就要看结论 —— 而去年 9 月另一家客户的 POC 里,一台 NVLink 降速的样机没查出来,交付验收扯皮 2 个月、保证金暂扣 60 万、尾款拖了一个季度。这次的报告必须当天成稿,且逐台查透。

输入素材
5 份(环境说明 + 三类原始输出 + 基线与去年教训)
逐机检查
8 台 × 4 项,抓出 POC-03 NVLink 降速(x1 而非 x4)
数据影响
POC 数据整体低估约 6%(MFU 44.2% vs 剔除异常 46.9%)
结论
暂缓终版 · 换线缆复测后再出验收级报告
输入

算力基础设施企业手上能拿到的东西

不需要整理格式、不需要改文件名 · 直接拖进对话框
01_POC环境说明_8台样机.xlsx
8 台 POC 样机的配置与软件栈说明。启明现用本中心 50 节点训练自动驾驶模型,计划扩 40 节点,先 8 台 POC;参考集群为启明在用 90 台(本中心 50 节点 + 客户自带 40 台)
交付工程师李岩整理 · POC 专用
02_nccl-tests总线带宽_逐机原始输出.xlsx
nccl-tests all_reduce 总线带宽(busbw)逐机三轮原始输出,参考值 415 GB/s 取自启明在用 90 台集群同期测试均值
客户侧测试工程师导出、微信传回,李岩汇总 · 以往没人逐台看这张表
03_IB带宽与单卡算力_逐机输出.xlsx
ib_write_bw 逐机实测(参考值 49.0 GB/s,NDR 400G 线速)与单卡矩阵乘 FP16 吞吐(峰值 989 TFLOPS)—— 用于排除网络侧与计算侧
客户侧测试工程师导出 · 微信传回
04_Llama7B训练MFU_逐机记录.xlsx
Llama-7B 训练 POC 的逐机记录:并行配置 DP64(8 机×8 卡),基线要求 MFU ≥ 45.0%(启明技术负责人邮件口径,8 台整体)
李岩按逐机口径记录 · 以往的 POC 只记一个总数
05_客户基线要求与去年POC教训.xlsx
启明智驾的四项基线要求 + 去年 9 月另一客户 POC 事件的复盘纪要(含 60 万保证金与 0.2 万线缆备件)
售前共享盘 · 去年的复盘纪要压在文件夹最底层

注意标橙色那一份 —— 02_nccl-tests总线带宽_逐机原始输出.xlsx。它客户侧测试工程师导出、微信传回,李岩汇总 · 以往没人逐台看这张表,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。

提示词

就说这么几句

没有模板、没有表单 · 专业规则由 Skill 兜底
启明的 POC 测试跑完了,nccl-tests、IB 带宽和训练吞吐的原始输出都在,8 台机器的配置说明也在这。 帮我出验收级报告,逐台机器都要查一遍——上次有一台 NVLink 降速的没查出来,别再犯。 哪些数据能代表 40 台规模、哪些不能,说清楚。结论建议栏留给我们自己写。

POC 报告的栏位标准与基准对照口径已内置,客户只需提供原始测试输出与环境说明。

触发

事情是这么来的

商机窗口期里,报告拖两周等于把窗口让出去

启明智驾现用本中心 50 节点训练自动驾驶模型,计划再扩 40 节点,先以 8 台样机做 POC:nccl-tests 总线带宽、ib_write_bw、矩阵乘吞吐、Llama-7B 训练 MFU 各跑一轮。8 月 27 日测试当天跑完,客户技术负责人当天就要看结论 —— 而往常这种报告要拖两周。更要紧的是:去年 9 月另一家客户的 POC 里有一台 NVLink 降速没查出来,交付验收扯了 2 个月皮、保证金暂扣 60 万、尾款拖了一个季度。这次 8 台每台都得查。

1

数据核验 · 测试输出完整可信才出报告

轮次、离散度、环境信息逐项过一遍
检查项结果覆盖范围处理
8 台样机环境说明通过机型/驱动/镜像/上电日期齐全可继续
nccl-tests 三轮原始输出通过8 机 × 3 轮 all_reduce可继续
ib_write_bw 与单卡矩阵乘通过8 机各 1 项可继续
Llama-7B MFU 逐机记录通过8 机 iter 时间与 MFU可继续
客户基线要求部分4 项基线中 MFU 为整体口径基线表随附报告
合计—5/5 份可用—

覆盖度 5/5。唯一要留意的是 MFU 基线为「8 台整体口径」—— 整体口径与逐台口径的差别,正是第 3 步的关键。

这一步的看点 · 排除性结论补测可以排除 —— nccl 三轮 × 8 台齐全,轮次间离散度最大 1.8%(POC-03 轮次间),其余 7 台均小于 0.5%,数据可信度足够出报告。不用等客户再跑一轮,当天成稿的前提在这一步就锁定了。
2

基准对照 · 8 台均值口径先过一遍

对照启明在用 90 台集群基线与客户要求
测试项8 台均值基线要求均值判定逐台极值
nccl all_reduce busbw380.1 GB/s≥373.5 GB/s达标最低 109(POC-03)
ib_write_bw49.2 GB/s≥44.1 GB/s达标最低 49.1
单卡矩阵乘 FP16748.9 TFLOPS≥742 TFLOPS达标最低 746
Llama-7B MFU44.2%≥45.0%不达标最低 25.6%(POC-03)
4 项对照——3 达标 / 1 不达标—

均值口径下 busbw「达标」—— 但逐台极值列已经露馅:最低值只有均值的 28.7%。均值会掩盖单机异常,这就是必须逐台下钻的原因。

这一步的看点 · 该拦的地方拦住了「只报 8 台均值」这个口径先拦下来 —— busbw 均值 380.1 达标,是 7 台正常机把 1 台异常机平均过的假象;MFU 均值 44.2% 不达标,同样是异常机拖累的整体误判。均值口径的结论一个都不能直接用,逐台口径先于均值口径 —— 这条规则在出数据之前就定下来。
3

逐节点下钻 · 8 台 × 4 项一台台对

这是去年 POC 没做的一步
样机busbw(GB/s)busbw/参考值ib(GB/s)单卡(TFLOPS)MFU(%)
POC-01418100.7%49.374846.8
POC-02421101.4%49.275147.1
POC-0310926.3%49.274625.6
POC-04416100.2%49.174946.9
POC-05420101.2%49.375247.2
POC-06418100.7%49.274746.6
POC-07422101.7%49.475047.0
POC-08417100.5%49.274846.5
8 台均值380.191.6%49.2748.944.2

8 台里 7 台四项全部正常;只有 POC-03 在 busbw(26.3%)与 MFU(25.6%)两项异常,而 IB 与单卡算力正常 —— 异常集中在机内互联,不在网络也不在计算。

这一步的看点 · 从历史里想起了公司踩过的坑去年 9 月另一家客户的 POC:同样是一台 NVLink 跑在 x1 而不是 x4,当时没做逐台下钻、没查出来,客户把 POC 数据当生产预期,交付验收时性能对不上 —— 扯皮 2 个月、性能保证金暂扣 60 万、尾款拖了一个季度。

这次逐台下钻把同款问题当场抓出来:POC-03 的 busbw 只有参考值的 26.3%,与 x1/x4 的理论比例 25% 吻合(实测 26.3%,含链路层波动)。这个发现不靠碰运气 —— 8 台 × 4 项每个格子都过了一遍。
4

排除与定位 · 问题锁定在一根线缆

四个嫌疑方向排除三个,整改动作跟着定位走
嫌疑方向证据结论动作
驱动 / 软件栈8 台同一镜像同一驱动,仅 POC-03 异常可以排除—
IB 网络POC-03 ib_write_bw 49.2 达标(基线 44.1)可以排除—
GPU 计算能力POC-03 单卡 746 达标(基线 742)可以排除—
NVLink 物理链路busbw 109 = 参考值 26.3%,吻合 x1 降速锁定更换线缆后复测
结论—3 排除 / 1 锁定复测范围从整机缩小到一根线缆

POC-03 的 iter 时间 2.81 s ≈ 其他机器(1.53 s)的 1.84 倍,与 MFU 反比关系(46.8 ÷ 25.6 ≈ 1.83)吻合 —— 慢在通信不在计算,交叉印证物理链路定位。

这一步的看点 · 排除性结论「驱动与软件栈问题可以排除 —— 8 台机器同一镜像,仅 3 号机异常;问题锁定在 3 号机的物理链路」。

复测范围从「整机返厂排查」缩小到「换一根线缆重跑一轮」—— 客户侧配合项也只需保留 3 号机一个机位,报告里的整改建议精确到这一根线缆(备件 0.2 万,与去年整改同款)。
5

代表性声明 · 哪些数据不能外推到 40 台

8 台 POC 到 40 台规模的边界,把丑话说在前面
口径MFU对比基线 45.0%结论
8 台含 POC-0344.2%差 0.8 个百分点整体口径不达标
剔除 POC-03(7 台)46.9%超 1.9 个百分点达标
两口径差异(46.9−44.2)÷46.9≈5.8%整体低估约 6%被 3 号机拖低
判定——当前版本不作报价性能依据

外推边界:单机结论(busbw / 单卡 / 机内互联检查方法)可外推到 40 台;多机扩展(40 台跨机 allreduce 走 IB)受拓扑影响,需在交付验收阶段单独验证 —— POC 数据不冒充生产承诺。

这一步的看点 · 把技术动作翻译成钱「POC 阶段换线缆复测的代价是 1 个工作日、备件 0.2 万;交付验收阶段才发现的代价是:40 台规模性能争议 + 保证金暂扣 60 万 + 尾款延期一个季度 —— 去年那家客户的现金流占用就是 60 万」。

报告里专门留一页给销售总监:复测 1 个工作日 vs 60 万现金流占用,这笔账五分钟就能看完。
6

成稿 · 验收级 POC 报告

客户技术负责人直接可用,签批栏齐备
#栏位内容
1当日摘要8 台 POC 四项测试完成;POC-03 NVLink 异常已定位(x1 降速),待换线缆复测
2基准对照4 项中 3 项均值达标;MFU 整体口径 44.2% 未达基线 45.0%(含异常机拖累)
3异常与整改POC-03 更换 NVLink 线缆复测(备件 0.2 万,复测窗口 1 个工作日)
4代表性声明单机结论可外推 40 台;多机扩展待交付验收阶段验证
5商务建议栏留空 —— 性能依据以复测版为准,报价是销售的事
—签批栏测试负责人 ________ / 售前负责人 ________

报告当天成稿 —— 商机窗口期内交付专业度,这本身就是竞争力;上一个客户的教训变成了本次的检查项,每做一次 POC,检查规则就厚一层。

这一步的看点 · 该拦的地方拦住了报告结论:「本版数据不建议作为商务报价的性能依据 —— POC-03 NVLink 异常已定位,建议更换线缆后复测;当前数据整体低估约 6%」。

带着已知缺陷的数据去报价,就是把谈判筹码送给对方 —— 客户拿 44.2% 的 MFU 压价,而剔除异常机的真实水平是 46.9%。
这份报告现在还不能以终版出
3 号样机 NVLink 异常虽已定位到线缆,但换线复测未完成,当前数据整体低估约 6% —— MFU 整体口径 44.2% 会误判「不达标」,而剔除异常机后的真实水平 46.9% 是达标的。带着这个已知缺陷出终版,要么低估自己被压价,要么日后性能对不上扯皮 —— 去年那家客户 60 万保证金占用就是下场。方案一:先复测再出终版 —— 更换 POC-03 NVLink 线缆(备件 0.2 万)、复测窗口 1 个工作日,复测后四项全部以干净数据出验收级终版(预期 MFU 整体口径回到约 46.9%)—— 报价以复测版为性能依据,多花的代价是报告晚一个工作日。方案二:今天先出「异常声明版」—— 客户版如实标注 POC-03 异常、定位与整改时间表(展示的是检查能力,不藏着掖着),MFU 以「剔除异常机 46.9% / 含异常机 44.2%」双口径并列;内部版给销售总监附一页账:复测 1 个工作日 vs 交付后才发现的 60 万保证金占用 —— 报价口径等复测版再锁。
之后

这一次跑完,公司多了什么

不讲省了多久 · 讲少了几个隐患、沉淀了什么
✓
验收级报告当天成稿 —— 商机窗口期内交付专业度,这本身就是竞争力
✓
逐节点下钻的检查规则固化了 —— NVLink 降速这类隐性缺陷在 POC 阶段就现形
✓
「哪些数据不可外推」的代表性声明成为报告标配 —— 交付验收的预期管理从 POC 就开始
✓
上一个客户的教训变成了本次的检查项 —— 每做一次 POC,检查规则就厚一层

追问现场可能被问到的

答不上来的问题,比答得漂亮的问题更能决定这场演示的结果

报告能不能写「性能承诺」?
不能。报告写的是「本环境下实测 + 与基准的差距 + 扩展性声明」,承诺是合同条款的事 —— POC 数据当承诺用,上一个客户的扯皮就是下场。
复测要客户配合怎么办?
异常清单里写明了定位与建议动作,客户侧配合项也列了 —— 这份清单本身就能直接发给客户技术负责人。
历史基准数据不全的机型呢?
公开基准(如 MLPerf)作参照并标注来源;自家无基线的项目在报告里标「首次建立基线」—— 这也是资产。

想了解来龙去脉?

回到场景引入,看这个场景的痛点、做法与边界