英伟达Vera Rubin内存仅增3%,推理吞吐量最高提升30倍

nashnova research
今天发布阅读约 3 分钟

英伟达披露Vera Rubin NVL72平台单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增约3%——算力效率的重心正从堆内存转向软硬件协同设计,HBM供应链的需求逻辑可能因此改变。

01

内存只多了3%,性能怎么翻了30倍?

Vera Rubin NVL72对比GB300 NVL72,单GPU的HBM(高带宽内存,GPU专用的超快显存)容量仅增约3%,但单位成本推理吞吐量最高提升30倍。
这意味着→ 英伟达这一代的性能飞跃几乎不靠多装内存,而是靠把现有内存"用得更聪明"。
用大白话说= 以前是"买更大的水箱装更多水",现在是"水箱大小几乎不变,但水流速度快了30倍"。
02

为什么不继续堆内存?

英伟达指出,AI模型规模扩大、上下文窗口变长、智能体(Agent)应用普及,GPU内存压力持续上升。
与此同时HBM供应趋紧、价格上涨——继续靠加内存提性能,成本曲线已经不划算。
这意味着→ 英伟达主动选择了一条"省内存"的路线:不是买更多HBM,而是通过GPU、CPU、网络、存储和软件的协同设计来提升内存使用效率。
03

具体用了哪三招省内存?

第一招:低精度压缩——用NVFP4格式(一种把数据精度降低但保留关键信息的格式)压缩模型权重和KV Cache(模型记忆上下文的临时数据),直接缩小内存占用。
第二招:冷热分层——把暂时不活跃的上下文数据搬到成本更低的存储层,给HBM腾出空间。
第三招:多GPU分布式部署——把任务分散到多块GPU上,每块GPU承担的内存压力降低,整体HBM空间得到释放。
04

性能数据怎么验证的?

在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量已达H200平台的最高10倍。
Vera Rubin NVL72在此基础上再提升,最高达30倍。
这反映出英伟达的效率路线不是从零开始——GB300已经验证了方向,Vera Rubin是在这条路上再推一步。
05

对HBM供应链意味着什么?

如果这条"省内存"路径被市场验证,投资者对下一代平台HBM容量扩张幅度的预期可能需要下调。
这意味着→ 推理性能的大幅跃升未必需要同比例的内存堆叠,HBM供应链的需求弹性判断将被重新校准。
用大白话说= 英伟达告诉市场:"我不需要买那么多HBM也能让性能翻倍"——这对HBM厂商(如SK海力士、三星)的出货量预期是一个潜在的冷水信号。

市场有风险,内容仅供研究参考,不构成投资建议。

英伟达Vera Rubin内存仅增3%,推理吞吐量最高提升30倍 · nashnova