輝達Vera Rubin記憶體僅增3%，推理吞吐量最高提升30倍
nashnova research
英偉達披露Vera Rubin NVL72平台單位成本推理吞吐量最高提升30倍，而單GPU HBM容量僅增約3%——算力效率重心正從堆記憶體轉向軟硬件協同設計，HBM供應鏈的需求邏輯或因此改寫。
記憶體只多了3%，性能點解翻了30倍？
Vera Rubin NVL72對比GB300 NVL72，單GPU的HBM（高頻寬記憶體，GPU專用的超快顯存）容量僅增約3%，但單位成本推理吞吐量最高提升30倍。
這意味著→ 英偉達今代的性能飛躍幾乎唔靠加記憶體，而是靠將現有記憶體「用得更聰明」。
簡單來說＝ 以前係「買個更大水缸裝更多水」，而家係「水缸大細幾乎唔變，但水流速度快咗30倍」。
點解唔繼續堆記憶體？
英偉達指出，AI模型規模擴大、上下文窗口延長、智能體（Agent）應用普及，GPU記憶體壓力持續上升。
同時HBM供應趨緊、價格上漲——繼續靠加記憶體提性能，成本曲線已經唔划算。
這意味著→ 英偉達主動揀咗一條「慳記憶體」嘅路線：唔係買更多HBM，而係透過GPU、CPU、網絡、存儲同軟件嘅協同設計來提升記憶體使用效率。
具體用咗邊三招慳記憶體？
第一招：低精度壓縮——用NVFP4格式（一種降低數據精度但保留關鍵信息嘅格式）壓縮模型權重同KV Cache（模型記住上下文嘅臨時數據），直接縮細記憶體佔用。
第二招：冷熱分層——將暫時不活躍嘅上下文數據搬去成本更低嘅存儲層，為HBM騰出空間。
第三招：多GPU分布式部署——將任務分散到多塊GPU，每塊GPU承受嘅記憶體壓力降低，整體HBM空間得以釋放。
性能數據點樣驗證？
喺SemiAnalysis AgentX測試中，GB300 NVL72喺特定工作負載下嘅單位成本推理吞吐量已達H200平台嘅最高10倍。
Vera Rubin NVL72喺此基礎上再提升，最高達30倍。
這反映出英偉達嘅效率路線唔係從零開始——GB300已經驗證咗方向，Vera Rubin係喺呢條路上再推一步。
對HBM供應鏈意味著咩？
如果呢條「慳記憶體」路徑獲市場驗證，投資者對下一代平台HBM容量擴張幅度嘅預期可能需要下調。
這意味著→ 推理性能嘅大幅躍升未必需要同比例嘅記憶體堆疊，HBM供應鏈嘅需求彈性判斷將被重新校準。
簡單來說＝ 英偉達話畀市場聽：「我唔使買咁多HBM都可以令性能翻倍」——對HBM廠商（如SK海力士、三星）嘅出貨量預期係一個潛在嘅冷水信號。
市场有风险，内容仅供研究参考，不构成投资建议。