新AI评测方法出炉:中国开源模型与美国差距扩至12分

nashnova research
今天发布阅读约 3 分钟

AI评测机构Artificial Analysis将测试题目转为保密后,开源模型与闭源领先者的差距从3分骤扩至12分——中国AI模型的竞争威胁,可能被市场严重高估。

01

题目一保密,分数差距为什么突然拉大了?

Artificial Analysis改革了评测体系,把大量测试题目从公开转为保密,防止AI公司"刷题"——提前拿到考题、专门训练。
旧体系下,最强开源模型只落后整体冠军3分;新体系下差距直接扩大到12分。
这意味着→ 此前开源模型展示的"接近追平",有很大一部分靠的是对公开考题的针对性训练,而非真实能力的提升。
02

闭源模型到底领先多少?

新体系下开源权重模型最高分仅32分,而Anthropic的Claude Opus 5.5拿到58分。
更关键的是,Anthropic旗下的小型模型Claude Haiku 5.5也超越了所有公开权重模型,包括月之暗面的Kimi K3.1 Pro。
用大白话说= 不是最强打最强才赢——闭源阵营连"二队选手"都能压过开源的头号种子。
03

"基准测试作弊"是怎么回事?

雪花CEO拉马斯瓦米在社交平台发问:"究竟是开源在追赶,还是考题在泄露?"
微软CEO纳德拉等业内人士称这种现象为"基准测试作弊"——模型提前看到考题、专项训练后跑出高分,但换到真实场景就表现不了那么好。
这反映出 行业此前引用的许多"开源接近闭源"的对比数据,评测基础本身就有水分。
04

开源模型的实际用量有多大?

OpenCode联合创始人拉德分析了模型聚合平台OpenRouter的流量,估算全部DeepSeek流量仅需一个机架的英伟达高性能服务器即可承载,硬件成本约600万至700万美元。
与之形成对照:仅ChatGPT月活用户就超过10亿,用的全是OpenAI的闭源模型。
这意味着→ 中国开源模型获得的市场关注度,与它的实际算力消耗规模严重不成比例。
05

对投资者来说,这件事为什么重要?

评测差距加上用量落差,共同指向一个结论:"中国AI正在快速追平美国"的叙事,需要重新审视。
这一判断直接关系到OpenAI和Anthropic的估值——尤其是Anthropic正在筹备IPO、OpenAI未来也可能上市。
用大白话说= 如果竞争威胁被高估了,那这两家公司的护城河可能比市场目前定价的更宽。

市场有风险,内容仅供研究参考,不构成投资建议。