博客
大模型的投研能力怎么评测？
评测金融大模型，首先要确认你测的是裸模型、带工具的应用，还是一套完整投研系统。然后再检查题库：事实有没有错，数字能否复算，来源是否支持结论，模型有没有使用截止时点之后的信息。
金融大模型评测，是在固定场景、版本、工具和时点下，用可复核题库检验模型或系统的事实、计算、来源、推理与风险边界。模型版本、工具权限、提示词（Prompt）和原始输出也要留档，否则结果无法复核。这类评测能比较特定条件下的研究可靠性，但不能证明投资收益。本文给出一套七步流程，以及个人投资者可在 30–60 分钟完成的六题测试。
关键要点
裸模型、工具增强应用和完整投研系统是三类评测对象，结果不能直接横向比较。
CFinBench 侧重中文金融知识，FinEval 扩展到行业、安全、智能体、多模态与严谨性，BizFinBench.v2 更贴近真实用户和金融业务任务。
评分应覆盖事实与计算、来源与时效、推理与反证、风险与合规；稳定性、速度和成本应单独报告。
编造关键数字、公告或来源等严重金融幻觉，应触发单题归零或一票否决，不能被平均分掩盖。
重复生成测系统输出稳定性；对同一批答案重复评分，只能测评分流程的可重复性。
评测前先分清：你测的是模型、工具，还是完整系统？
金融大模型评测首先要定义对象。同一个模型接入搜索、行情、公告库、计算器和核验流程后，表现可能完全不同。如果不先分层，产品工程能力很容易被误写成基础模型能力。
三层评测对象
裸模型：只允许使用题内材料，不联网、不调用外部工具。适合测试金融知识、阅读、计算和封闭条件下的推理。
工具增强应用：模型可以调用统一的搜索、行情、公告或代码工具。适合测试工具选择、参数填写、来源核验、时间判断和多步任务完成度。
完整投研系统：除模型与工具外，还包括智能体运行框架（Agent Harness）、数据源、记忆、工作流、重试、权限和人工复核。它回答的是“系统能否稳定交付研究”，不是“基础模型谁更聪明”。
如果团队采购的是 AI 投研产品，只看裸模型考试分不够；如果团队选择基础模型，也不能把某个产品的专有数据和工作流优势算到模型头上。关于持续研究流程，可进一步阅读什么是投研智能体。
金融大模型怎么评测？按七步执行
要让评测可复现，至少要留下七类记录：题目、配置、原始答案、工具轨迹、评分、失败案例和版本变化。金融大模型评测可按以下七步执行：
固定场景与决策问题。 先说明评测用于个人研究、内容生产、研究员助手还是产品接入。不同用途对深度、时效、延迟和风险边界的要求不同。
固定评测对象与类别。 明确评测裸模型、工具增强应用还是完整系统。闭卷与联网、API 版与产品版应分开报告。
固定题库、标准事实和信息截止时间。 每题包含任务目标、输入材料、必答点、禁答点、来源快照、可接受误差和评分锚点。“最新”必须改成具体日期、时区和市场状态。关于数据边界，可查看金融数据来源与时效说明。
对齐配置。 记录完整模型版本、思考模式、温度参数（temperature）、最大输出、提示词（Prompt）版本、工具权限、调用上限、超时和重试规则。无法统一的条件应分组评测。
重复生成并保留全过程。 同题多次运行，保存完整回答、引用链接、工具轨迹、词元用量（Token）、耗时、错误类型和失败重试。只保留最好的一次会高估真实可用性。
分层评分并执行红线仲裁。 客观计算优先用程序或标准答案；开放研究题再用匿名模型裁判和人工复核。严重金融幻觉单列处理。
公开证据与限制。 至少公开方法卡、题目样例、原始输出样例、评分锚点、失败案例、排除规则、版本记录和利益关系。
金融回答最危险的状态，不是短，而是完整、专业、可读，却建立在错误事实或错误时点上。因此，质量分不应只奖励覆盖度，效率指标也不应与金融可靠性混成一个总分。
指标 | 主要检查内容 | 推荐判定方式 | 常见误判 |
事实与计算 | 数字、公式、单位、同比/环比、净利润口径、财年口径 | 标准答案、可复核计算、容差规则 | 推导很长，就忽略最终数字错误 |
来源与时效 | 来源是否存在、是否一手、发布时间、数据截止日、引用是否支持断言 | nashnova 的研究证据链方法：断言 → 引用 → 来源 → 原文片段 | 有链接就算有证据；旧数据被写成最新 |
推理与反证 | 因果链、替代解释、关键假设、证伪条件和信息缺口 | 明确评分锚点、匿名双裁判、人工抽审 | 只奖励顺滑结论，不检查反方证据 |
风险与合规 | 不确定性、用户适当性（产品和风险是否适合该用户）、杠杆和流动性风险、是否越界给指令 | 红线清单与金融人工复核 | 堆免责声明就得到风险分 |
稳定性 | 同题多次运行的事实、结论和得分波动 | 报告均值、离散度、失败率 | 把同一回答复评当成重复生成 |
速度与成本 | 延迟、词元用量（Token）、工具次数、调用费用和超时率 | 独立效率表 | 低成本掩盖事实错误 |
具体权重应服从使用场景。nashnova 公开评测没有把三套体系强行合成总分：金融可靠性关注事实、时间、政策性质、计算、证据和红线；研究质量采用数据覆盖、数据准确性、推理质量、结论质量和回答质量五个等权维度；实际使用体验另看事实与计算、稳定性、长度、等待时间和批量任务适配度。
设想一个简化例子：甲报告覆盖更广，却把征求意见稿写成已生效政策；乙报告较短，但标明政策状态、来源和证伪条件。量表偏重成稿完整度时，甲可能领先；强调金融可靠性时，乙更合理。排名变化不一定来自模型变化，也可能来自评分目标变化。
个人投资者阅读金融大模型评测报告，要检查哪 10 项？
对于个人投资者来说，看到“金融大模型排名”时，先别看第一名。按下面十项检查；缺少评测对象、信息时点、原始输出或评分规则等核心项时，应显著降低对结论的信任。
评测对象：裸模型、工具增强应用还是完整系统？
场景与人群：服务个人投资者、研究员、内容团队还是产品接入？
题库结构：题量、任务类型、难度、对抗题和公开题比例是否说明？
时点与来源：信息截止时间、一手来源、来源快照和检索日期是否可查？
配置公平性：模型版本、提示词（Prompt）、思考模式、工具权限、超时和重试是否对齐？
原始输出：是否公开成功与失败样本，而不只展示精选截图？
评分量表：权重、锚点、裁判身份、盲化和人工复核规则是否透明？
红线处理：严重幻觉、未来信息、时点错误与合规越界是否单列？
稳定性与效率：是否真正重复生成，并分别报告耗时、成本和失败率？
限制与利益关系：谁组织评测、排除了什么、能证明什么、不能证明什么？
一份可信报告不一定开放全部私有题目，但应提供足以复核的方法和证据。至少要能从公开结论追溯到对应题目、回答、评分规则和来源。
如何解读 nashnova 投研框架的评测结果？
nashnova 投研框架把六个模型放进同一套金融数据、投研能力和智能体流程中，分别观察金融可靠性、研究质量与深度、实际使用体验。三个维度关注的问题不同，应分别阅读。
评测维度 | 主要关注 | 适合判断 | 不应外推为 |
金融可靠性 | 事实、时点、政策性质、计算、来源和关键错误 | 模型在高风险金融任务中是否需要更严格的复核 | 投资收益或绝对安全 |
研究质量与深度 | 数据覆盖、数据准确性、推理、结论和回答质量 | 模型完成复杂研究任务时的内容上限 | 所有题型下的稳定表现 |
实际使用体验 | 事实与计算、输出稳定性、等待时间和批量任务适配度 | 模型是否适合日常研究流程 | API 裸模型的绝对能力排名 |
这套评测比较的是模型接入 nashnova 投研环境后的实际表现。它不能替代投资者自己的核验，也不能证明未来收益。
结论：先建立证据链，再讨论排名
评测金融大模型，不是把一套题跑完再看总分。先固定对象、场景、版本和工具权限，再检查事实、计算、来源、时点与风险边界；开放题使用盲化裁判和人工复核，严重幻觉按预先公布的规则单独处理。
个人投资者可以用六道题先排除明显不可靠的工具。产品和研究团队则需要保留题库版本、原始输出、工具轨迹和评分记录，让每个结论都能被复核。排名可以看，但要放在证据链之后。