英伟达GB300每兆瓦并发智能体数领先H200达20倍
Taylor Wilson
为什么旧的跑分标准不够用了？
传统推理基准测的是"单次对话"——用户问一句、模型答一句，像百米冲刺。
但AI智能体的工作方式是接力跑：一个任务被拆成几十甚至上百步，大模型调用和工具调用交替推进，上下文像滚雪球越滚越大。
这意味着→ 用"每秒吐多少token"来评价智能体算力，就像用百米成绩评价马拉松选手——量错了维度。
AA-AgentPerf到底测什么？
AA-AgentPerf回放的是真实编程智能体轨迹，覆盖12种以上编程语言，单次会话最长可达200轮，上下文可超过10万token。
核心指标是"每兆瓦并发智能体数"——用大白话说＝一度电能同时养活多少个正在干活的智能体，直接对应数据中心的电费账单和服务密度。
测试先锁定服务质量底线（响应速度、首字延迟），再看系统在达标前提下最多能撑住多少个同时在线的智能体，并全程监控输出质量，不允许用牺牲回答质量换并发数。
GB300凭什么领先20倍？
不是单纯靠芯片制程更先进。GB300 NVL72把72块GPU通过NVLink连成一整个机架，让MoE模型(混合专家模型——把一个大模型拆成多个"专家"模块，每次只激活需要的几个)的各模块可以分布在整片GPU上并行跑，不再受单卡显存限制。
CUDA层面把跨专家的通信和计算重叠执行，协调开销被藏进算力里；TensorRT-LLM则在并发不断增加时，把输入处理和输出生成分开部署来维持效率。
这反映出一个趋势：从Hopper到Blackwell的跨代升级，并发能力提升是台阶式跃升，不是小步迭代。机架级系统在纯算力与能效上均优于单节点。
竞争对手和行业标准前景如何？
榜单同时收录了AMD MI355X，从单卡、整机到机架维度同台对比。
Artificial Analysis自述这是一份"前沿快照"——各家系统仍有未释放的优化空间，成绩会随软件迭代持续更新。
AA-AgentPerf能否成为类似MLPerf的行业公认标准目前尚无定论，但它提出的"每兆瓦智能体数"这一效率维度，已开始重塑市场对算力系统的评估框架。
Content is for reference only, not financial advice.