Claude最强模型Mythos在METR评测中"爆表"

Claire Weston
Published 2026-05-11About 4 min read

一张趋势图,正在AI圈引发广泛讨论——不是因为数据有多惊人,而是因为评测机构坦承:现有工具已经跟不上模型的进化速度。

METR给出的结论:16小时,但置信区间极宽

2026年3月,AI安全评测机构METR对Anthropic的Claude Mythos Preview早期版本进行了风险评估,给出的"50%任务完成时间线"为至少16小时,95%置信区间为8.5至55小时。

这一指标的含义是:在人类专家需要耗费X小时才能完成的任务上,模型有50%的概率能够独立完成。METR的228个测试任务中,仅有5个被归类为16小时及以上,这使得该区间的测量结果"不稳定且缺乏意义"。

METR随即在其网站上注明:"16小时以上的测量结果,在当前任务集下不可靠。"换句话说,这个数字本身的精确性存疑,但它所揭示的方向性信号是真实的:现有评测框架已触及上限。

能力跃升是真实的,但需要正确解读

从历史轨迹看,GPT-4o在2024年中的50%时间线约为7分钟,Claude Opus 4.6和GPT-5.2聚集在5至6小时区间,Mythos Preview则落在16小时以上,超过所有可公开比较的模型。前沿模型任务完成时间线的翻倍周期约为105天,年增速超过1000%。

在软件工程基准SWE-bench Verified上,Mythos得分93.9%,领先其他公开模型逾13个百分点;在难度更高的SWE-bench Pro上,领先GPT-5.4达20个百分点。

不过,认知科学家Gary Marcus提醒,这一数字需要审慎解读。50%的成功率是一个相对宽松的门槛——若将要求提高至80%或95%,当前评测集仍有相当的区分空间。此外,METR的任务高度集中于软件工程领域,与真实职场中涉及沟通协调、组织知识和模糊目标的工作存在本质差异。

安全领域:防守与进攻能力同步提升

网络安全公司Palo Alto Networks在获得Mythos等前沿模型的早期访问权限后发现,AI系统已越来越能够自主识别软件漏洞,并将分散的低危漏洞串联成完整的攻击路径。其测试显示,AI辅助下三周完成的漏洞分析工作,相当于一支顶级渗透测试团队整整一年的工作量。

防御端同样有据可查。Mozilla使用Mythos Preview扫描Firefox浏览器,仅2026年4月一个月就修复了423个安全漏洞,远超此前每月17至31个的平均水平,其中包括一个存在20年的XSLT漏洞和一个可能导致沙盒逃逸的竞争条件。

评测基础设施的滞后,才是更深层的问题

METR本次评测更大的意义,或许不在于Mythos本身能力有多强,而在于它揭示了一个系统性问题:前沿模型的进化速度,已经开始超过第三方评测工具的建设速度。METR表示正在开发包含更长周期任务的新评测方法,但目前尚未完成。

能力在加速,尺子却还没造好——这或许是当前AI发展阶段最值得关注的现实。

Content is for reference only, not financial advice.

Claude最强模型Mythos在METR评测中"爆表" · nashnova