POC 测试数据散在微信截图和个人电脑里 · 拼报告的功夫比跑测试还长
本页展示的是「应该怎么跑、每一步看什么、交付什么」,用的是真实业务格式的脱敏构造数据, 不宣称已接入客户生产系统,也不承诺任何效率提升百分比。 案例设定:云枢智算数据服务有限公司(虚构 · 河北张家口 · 186 人)8 月 27 日,启明智驾 8 台 POC 样机测试当天跑完。启明现用本中心 50 节点 H800 集群训练自动驾驶模型,计划再扩 40 节点,先以 8 台样机做 POC:nccl-tests 总线带宽、ib_write_bw、矩阵乘吞吐、Llama-7B 训练 MFU 各跑一轮。客户技术负责人当天就要看结论 —— 而去年 9 月另一家客户的 POC 里,一台 NVLink 降速的样机没查出来,交付验收扯皮 2 个月、保证金暂扣 60 万、尾款拖了一个季度。这次的报告必须当天成稿,且逐台查透。
注意标橙色那一份 —— 02_nccl-tests总线带宽_逐机原始输出.xlsx。它客户侧测试工程师导出、微信传回,李岩汇总 · 以往没人逐台看这张表,平时压根不在核对范围里。这个场景的价值,很大一部分就来自把它读进来。
POC 报告的栏位标准与基准对照口径已内置,客户只需提供原始测试输出与环境说明。
启明智驾现用本中心 50 节点训练自动驾驶模型,计划再扩 40 节点,先以 8 台样机做 POC:nccl-tests 总线带宽、ib_write_bw、矩阵乘吞吐、Llama-7B 训练 MFU 各跑一轮。8 月 27 日测试当天跑完,客户技术负责人当天就要看结论 —— 而往常这种报告要拖两周。更要紧的是:去年 9 月另一家客户的 POC 里有一台 NVLink 降速没查出来,交付验收扯了 2 个月皮、保证金暂扣 60 万、尾款拖了一个季度。这次 8 台每台都得查。
| 检查项 | 结果 | 覆盖范围 | 处理 |
|---|---|---|---|
| 8 台样机环境说明 | 通过 | 机型/驱动/镜像/上电日期齐全 | 可继续 |
| nccl-tests 三轮原始输出 | 通过 | 8 机 × 3 轮 all_reduce | 可继续 |
| ib_write_bw 与单卡矩阵乘 | 通过 | 8 机各 1 项 | 可继续 |
| Llama-7B MFU 逐机记录 | 通过 | 8 机 iter 时间与 MFU | 可继续 |
| 客户基线要求 | 部分 | 4 项基线中 MFU 为整体口径 | 基线表随附报告 |
| 合计 | — | 5/5 份可用 | — |
覆盖度 5/5。唯一要留意的是 MFU 基线为「8 台整体口径」—— 整体口径与逐台口径的差别,正是第 3 步的关键。
| 测试项 | 8 台均值 | 基线要求 | 均值判定 | 逐台极值 |
|---|---|---|---|---|
| nccl all_reduce busbw | 380.1 GB/s | ≥373.5 GB/s | 达标 | 最低 109(POC-03) |
| ib_write_bw | 49.2 GB/s | ≥44.1 GB/s | 达标 | 最低 49.1 |
| 单卡矩阵乘 FP16 | 748.9 TFLOPS | ≥742 TFLOPS | 达标 | 最低 746 |
| Llama-7B MFU | 44.2% | ≥45.0% | 不达标 | 最低 25.6%(POC-03) |
| 4 项对照 | — | — | 3 达标 / 1 不达标 | — |
均值口径下 busbw「达标」—— 但逐台极值列已经露馅:最低值只有均值的 28.7%。均值会掩盖单机异常,这就是必须逐台下钻的原因。
| 样机 | busbw(GB/s) | busbw/参考值 | ib(GB/s) | 单卡(TFLOPS) | MFU(%) |
|---|---|---|---|---|---|
| POC-01 | 418 | 100.7% | 49.3 | 748 | 46.8 |
| POC-02 | 421 | 101.4% | 49.2 | 751 | 47.1 |
| POC-03 | 109 | 26.3% | 49.2 | 746 | 25.6 |
| POC-04 | 416 | 100.2% | 49.1 | 749 | 46.9 |
| POC-05 | 420 | 101.2% | 49.3 | 752 | 47.2 |
| POC-06 | 418 | 100.7% | 49.2 | 747 | 46.6 |
| POC-07 | 422 | 101.7% | 49.4 | 750 | 47.0 |
| POC-08 | 417 | 100.5% | 49.2 | 748 | 46.5 |
| 8 台均值 | 380.1 | 91.6% | 49.2 | 748.9 | 44.2 |
8 台里 7 台四项全部正常;只有 POC-03 在 busbw(26.3%)与 MFU(25.6%)两项异常,而 IB 与单卡算力正常 —— 异常集中在机内互联,不在网络也不在计算。
| 嫌疑方向 | 证据 | 结论 | 动作 |
|---|---|---|---|
| 驱动 / 软件栈 | 8 台同一镜像同一驱动,仅 POC-03 异常 | 可以排除 | — |
| IB 网络 | POC-03 ib_write_bw 49.2 达标(基线 44.1) | 可以排除 | — |
| GPU 计算能力 | POC-03 单卡 746 达标(基线 742) | 可以排除 | — |
| NVLink 物理链路 | busbw 109 = 参考值 26.3%,吻合 x1 降速 | 锁定 | 更换线缆后复测 |
| 结论 | — | 3 排除 / 1 锁定 | 复测范围从整机缩小到一根线缆 |
POC-03 的 iter 时间 2.81 s ≈ 其他机器(1.53 s)的 1.84 倍,与 MFU 反比关系(46.8 ÷ 25.6 ≈ 1.83)吻合 —— 慢在通信不在计算,交叉印证物理链路定位。
| 口径 | MFU | 对比基线 45.0% | 结论 |
|---|---|---|---|
| 8 台含 POC-03 | 44.2% | 差 0.8 个百分点 | 整体口径不达标 |
| 剔除 POC-03(7 台) | 46.9% | 超 1.9 个百分点 | 达标 |
| 两口径差异 | (46.9−44.2)÷46.9≈5.8% | 整体低估约 6% | 被 3 号机拖低 |
| 判定 | — | — | 当前版本不作报价性能依据 |
外推边界:单机结论(busbw / 单卡 / 机内互联检查方法)可外推到 40 台;多机扩展(40 台跨机 allreduce 走 IB)受拓扑影响,需在交付验收阶段单独验证 —— POC 数据不冒充生产承诺。
| # | 栏位 | 内容 |
|---|---|---|
| 1 | 当日摘要 | 8 台 POC 四项测试完成;POC-03 NVLink 异常已定位(x1 降速),待换线缆复测 |
| 2 | 基准对照 | 4 项中 3 项均值达标;MFU 整体口径 44.2% 未达基线 45.0%(含异常机拖累) |
| 3 | 异常与整改 | POC-03 更换 NVLink 线缆复测(备件 0.2 万,复测窗口 1 个工作日) |
| 4 | 代表性声明 | 单机结论可外推 40 台;多机扩展待交付验收阶段验证 |
| 5 | 商务建议栏 | 留空 —— 性能依据以复测版为准,报价是销售的事 |
| — | 签批栏 | 测试负责人 ________ / 售前负责人 ________ |
报告当天成稿 —— 商机窗口期内交付专业度,这本身就是竞争力;上一个客户的教训变成了本次的检查项,每做一次 POC,检查规则就厚一层。
答不上来的问题,比答得漂亮的问题更能决定这场演示的结果
回到场景引入,看这个场景的痛点、做法与边界