历史观点回顾验证 —— 当年推的票到底对了没

全市场每年约二十万份研报 · 几乎没有一份被回头验证过

一这件事现在是什么样

投资与组合岗 · 真实业务触发

投决会季度复盘。投资总监要在会上回答董事的问题:「你们的研究到底准不准?」过去两个季度内部底稿的关键预测里,华晟智造海外营收预测 +15%~20% 对上实际 −12.6% 是最大的一次翻车。验证需要把历史底稿的预测值、假设、当时的证据逐条翻出来对上后来的公告——这个活大家都知道该做,但从来排不进任何一个研究员的日程表。

二痛点 · 每条都有来源

不是流程描述,是调研出来的真痛点 —— 每条可点开核对出处

1
双随机检查批评「研报依据不充分、结论缺乏审慎性」,但几乎没有机构系统性回头验证自己的预测——监管问研究质量,机构拿不出任何回顾性数据依据 · 证监会 2022 年研报「双随机」检查通报(覆盖 45 家公司 300 篇):点名「数据未标明出处、引自非权威渠道」「工作底稿留存不完整」「未建立舆情监测和应对机制、分析师公开发表言论前内部报备制度」
2
通用大模型幻觉率超 25%,靠它「回忆」历史观点必然出错——验证只能基于自家底稿库的真实留档依据 · 某头部券商内测:通用大模型在证券专业问题上幻觉率超过 25%(涉及财务数据、监管规则、产品信息);金融微调模型复杂问题幻觉率仍有 8%-10%
3
「部分研究报告无人问津」是行业常态,写完即沉底;预测对了没人记功、错了没人追责,研究质量的改进无从谈起依据 · 泰信基金投资经理自述「每天收到的研报多达 400 份,即便什么都不做也看不完」,重点覆盖 80 多家上市公司、平均每家 20 个点评,「邮箱提醒系统都失灵了」
4
投决会成员兼任、频次低(周度/半月度),复盘议题永远排在新标的讨论之后——知道该做但永远排不上,是中小机构的结构性问题依据 · 机构投资个股流程:研究员只有推荐权没有交易权→基金经理决定仓位→投决会审核入池并接受风控质询→合规风控每天检查、超限直接拦截交易

三换个做法之后

变化不在「快」,在「参与的角色」和「覆盖的范围」

✕ 现在的做法

  • 双随机检查批评「研报依据不充分、结论缺乏审慎性」,但几乎没有机构系统性回头验证自己的预测——监管问研究质量,机构拿不出任何回顾性数据
  • 通用大模型幻觉率超 25%,靠它「回忆」历史观点必然出错——验证只能基于自家底稿库的真实留档
  • 「部分研究报告无人问津」是行业常态,写完即沉底;预测对了没人记功、错了没人追责,研究质量的改进无从谈起
  • 投决会成员兼任、频次低(周度/半月度),复盘议题永远排在新标的讨论之后——知道该做但永远排不上,是中小机构的结构性问题

✓ 交给 Agent 之后

  • 多来源文件一次读入,先做口径与完整性校验,再开始算
  • 每条结论绑定来源文件、字段或条号,可以被审
  • 产出是企业真会流转的正式件(带签批栏),不是一张展示用的表
  • 该拦的地方给出「现在还不能提交」,并给不用干等的替代方案

四场景闭环

6 步 · 每一步的产出都是下一步的输入

第 1 步
预测清单提取 · 把要验证的观点列全从底稿库提取验证期内全部关键预测:标的、指标、预测值、假设、证据等级
第 2 步
实际值匹配 · 对上披露数据逐条匹配公告/财报实际值,出处绑定到页码
第 3 步
偏差拆解 · 错在哪一层假设错/数据错/时机错分层归因——华晟智造案例归到「假设层:单一渠道证据」
第 4 步
分档统计 · 研究质量的全貌按证据等级分档统计命中率——证据等级高的预测是否真的更准
第 5 步
对照投决记录 · 当时的决策环境预测与投决会决议对照:哪些错误预测实际影响了仓位
第 6 步
留证签批 · 生成投决会验证报告验证报告供投决会复盘,编制/审核签批栏留空

要准备什么

内部研究底稿库(历史预测值+假设+证据等级——可溯源研究底稿 产出)
被验证的主体——星标素材,离开这个库验证无从谈起
已披露财报与公告(验证期内的全部标的公告 PDF)
实际值的权威来源,自动标页码
Wind/Choice 终端导出的行情与财务数据(验证期)
用于区间涨跌与业绩的量化对照
覆盖池清单与历史投决会决议
验证范围与「当时是否入池」的对照

为什么这个场景值得做

痛感 4 × AI 适配 5 ÷ 落地难度 3 = 5.7

最大差异点 · 市面上没有针对「自家历史观点」的验证工具——研报平台验证卖方研报有第三方做过,机构内部底稿的验证没人做。本场景的价值恰恰在于内部底稿库(可溯源研究底稿 留档)是独占数据:预测值、假设、证据等级都在库里,验证时逐条对上公告实际值,偏差拆解自动完成。

评分口径:痛感看「这事没做好谁会生气、生气到什么程度」; AI 适配看「输入是否非结构化、是否要跨部门取数、错了能不能当场看出来」; 落地难度是分母 —— 需要客户先做数据治理的场景,分数会被压得很低。

五会产出什么

判断标准只有一个:这份东西能不能直接进企业的流程

正式件本体
历史观点验证报告.xlsx
投决会主件 · 预测/实际/偏差/分层归因 · 含签批栏
可派发清单
预测对照明细.xlsx
可派发 · 逐条预测→实际值→出处页码
可派发清单
证据等级分档统计.xlsx
按证据等级×命中率交叉表 · 供议事规则修订参考

这套东西不承诺什么

不做对错的价值评判(对错是事实,责任与管理是投决会的事)、不验证外部机构研报(只验证自家底稿库)、不据此生成考核结论(考核制度是公司治理问题)。验证报告供投决会与合规查阅。

想看具体怎么跑?

Live Demo 里有一个完整案例的每一步,包括 Agent 在哪一步拦住了