客户 POC 测试报告 —— 测试跑完那天出报告,而不是跑完两周后

POC 测试数据散在微信截图和个人电脑里 · 拼报告的功夫比跑测试还长

一这件事现在是什么样

售前方案与交付工程 · 真实业务触发

启明智驾想扩 40 个节点,先做 8 台的 POC:nccl-tests 总线带宽、IB 带宽、训练吞吐各跑一轮。测试当天跑完,客户的技术负责人当天就要看结论 —— 而往常这种报告要拖两周,商机窗口就是这么没的。

二痛点 · 每条都有来源

不是流程描述,是调研出来的真痛点 —— 每条可点开核对出处

1
POC 测试数据散落在客户侧产出 + 微信传回的截图与日志里 —— 「测试跑完报告拖两周」直接拖死商机依据 · 上架交付全流程:到货验收(SN 码/硬件配置/外观状态/配件清单、各方签字)、上架通电、压测烤机、出具机房测试报告
2
验收级报告的栏位(测试环境/测试项/基准对比/瓶颈分析/结论)与 MLPerf 等公开基准的对照口径,每次都是现搭 —— 前一个 POC 的模板找不到了依据 · 智算中心验收方案目录:设备清单核对、到货检验、安装检查、系统联调、性能测试、稳定性验证、安全检查、网络连通性验证 —— 交付件的栏位清单
4
中小企业售前与交付一两个人挑全流程,POC 支持挤在商机中间的缝隙里 —— 没有专职方案经理,报告质量全看加班依据 · 上架交付全流程:到货验收(SN 码/硬件配置/外观状态/配件清单、各方签字)、上架通电、压测烤机、出具机房测试报告

三换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • POC 测试数据散落在客户侧产出 + 微信传回的截图与日志里 —— 「测试跑完报告拖两周」直接拖死商机
  • 验收级报告的栏位(测试环境/测试项/基准对比/瓶颈分析/结论)与 MLPerf 等公开基准的对照口径,每次都是现搭 —— 前一个 POC 的模板找不到了
  • 隐性性能问题(NVLink 降速、PCIe 带宽瓶颈)在 POC 阶段不查出来,就会在交付验收阶段变成扯皮 —— 「隐性降速不中断任务最难查」
  • 中小企业售前与交付一两个人挑全流程,POC 支持挤在商机中间的缝隙里 —— 没有专职方案经理,报告质量全看加班

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四场景闭环

5 步 · 每一步的产出都是下一步的输入

第 1 步
数据核验 · 测试输出是不是完整可信逐项检查测试输出:轮次是否齐全、结果是否离散度过大、环境信息是否记录完整 —— 不可信的数据不出报告
第 2 步
基准对照 · 与自家历史与公开基准对标总线带宽/IB 带宽/训练吞吐逐项对照启明现有集群与公开基准 —— 差距逐项量化
第 3 步
瓶颈定位 · 慢在哪、为什么逐节点下钻:发现某台机器 NVLink 降速 —— 定位到线缆与拓扑,给出复测建议
第 4 步
代表性声明 · 哪些数据不能外推8 台 POC 对 40 台规模的扩展性声明:哪些结论可外推、哪些要留到交付验收再验 —— 把丑话说在前面
第 5 步
成稿 · 验收级 POC 报告客户技术负责人直接可用:环境/数据/对照/瓶颈/结论与商务建议,签批栏齐备

要准备什么

nccl-tests / ib_write_bw 原始输出(终端日志/截图)
POC 的原始证据
POC 环境说明(8 台机器配置/拓扑/软件栈)
数据代表什么的前提
自家历史基准(启明现有 90 台集群的同期数据)
增量对比的参照系
客户提供的基线要求(启明智驾的性能预期)
过不过线的判定标准

为什么这个场景值得做

痛感 4 × AI 适配 5 ÷ 落地难度 3 = 6.7

最大差异点 · 与「性能测试工具」的区别:工具跑出数字,本场景把数字变成甲方技术负责人能直接用的验收级报告 —— 含与历史基线(自家与公开基准)的对照、瓶颈定位、以及「哪些数据因环境限制不具代表性」的诚实声明。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」; AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」; 落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

正式件本体
POC测试报告_启明智驾.xlsx
正式件 · 验收级 · 签批栏
可派发清单
异常与复测清单.xlsx
可派发 · 逐项带定位与建议动作

这套东西不承诺什么

不替客户下「验收通过」的结论(验收是甲乙双方签字动作,报告只呈现数据与差距)。测试环境与生产环境的差异如实声明 —— POC 数据不冒充生产承诺。商务建议栏只列数据支撑的选项,报价与承诺是销售的事。

想看具体怎么跑?

Live Demo 里有一个完整案例的每一步,包括 Agent 在哪一步拦住了