輝達GB300每兆瓦並發智能體數領先H200達20倍
Taylor Wilson
獨立評測機構Artificial Analysis發布首個AI智能體推理基準AA-AgentPerf，英偉達GB300 NVL72每兆瓦可支撐61400個並發智能體，較上一代H200的約2600個領先近20倍——算力的量度正從「每秒吐多少字」轉向「一度電能同時跑多少個智能體」。
為甚麼舊的跑分標準不夠用了？
傳統推理基準測的是「單次對話」——用戶問一句、模型答一句，像百米衝刺。
但AI智能體的工作方式是接力跑：一個任務被拆成幾十甚至上百步，大模型調用和工具調用交替推進，上下文像滾雪球越滾越大。
這意味著→ 用「每秒吐多少token」來評價智能體算力，就像用百米成績評價馬拉松選手——量錯了維度。
AA-AgentPerf到底測甚麼？
AA-AgentPerf回放的是真實編程智能體軌跡，覆蓋12種以上編程語言，單次會話最長可達200輪，上下文可超過10萬token。
核心指標是「每兆瓦並發智能體數」——簡單來說＝一度電能同時養活多少個正在幹活的智能體，直接對應數據中心的電費賬單和服務密度。
測試先鎖定服務質量底線（響應速度、首字延遲），再看系統在達標前提下最多能撐住多少個同時在線的智能體，並全程監控輸出質量，不允許犧牲回答質量換並發數。
GB300憑甚麼領先20倍？
不是單靠晶片製程更先進。GB300 NVL72把72塊GPU通過NVLink連成一整個機架，讓MoE模型（混合專家模型——把一個大模型拆成多個「專家」模組，每次只激活需要的幾個）的各模組可以分布在整片GPU上並行跑，不再受單卡顯存限制。
CUDA層面把跨專家的通信和計算重疊執行，協調開銷被藏進算力裡；TensorRT-LLM則在並發不斷增加時，把輸入處理和輸出生成分開部署來維持效率。
這反映出一個趨勢：從Hopper到Blackwell的跨代升級，並發能力提升是台階式躍升，不是小步迭代。機架級系統在純算力與能效上均優於單節點。
競爭對手和行業標準前景如何？
榜單同時收錄了AMD MI355X，從單卡、整機到機架維度同台對比。
Artificial Analysis自述這是一份「前沿快照」——各家系統仍有未釋放的優化空間，成績會隨軟件迭代持續更新。
AA-AgentPerf能否成為類似MLPerf的行業公認標準目前尚無定論，但它提出的「每兆瓦智能體數」這一效率維度，已開始重塑市場對算力系統的評估框架。
Content is for reference only, not financial advice.