SemiAnalysis點讚輝達vLLM優化，AMD軟體生態差距凸顯
0xBroomberg
半導體研究機構SemiAnalysis高度評價英偉達在vLLM推理引擎上的性能優化，同時指出AMD在部分模型支持上仍有明顯差距。這意味著→ AI晶片競爭的決定性戰場正從硬件參數轉向軟件生態的深度與廣度。
vLLM測試裡，英偉達和AMD差在哪？
vLLM（當前最主流的大語言模型開源推理引擎）是SemiAnalysis這次評測的基準。簡單來說＝ 誰在這個引擎上跑得好，誰就在真實部署中更有競爭力。
以千億參數級MoE模型（混合專家模型，將一個大模型拆成多個「專家」分工協作）Kimi K2.5為例：英偉達GB200 NVL72透過機架級NVLink將72張GPU高速互聯，每GPU吞吐量可達12,000 token/s以上。
AMD MI355X在同一測試中表現明顯遜色——核心原因是它難以實現同等規模的專家並行與機架級互聯。這反映出硬件互聯架構的差距，而非僅僅是單卡算力的問題。
軟件層面，英偉達做了甚麼、AMD缺了甚麼？
英偉達推出的Dynamo分布式推理框架將vLLM深度集成，專門為MoE模型做了預填充與解碼分離、高效KV緩存傳輸、雙批次重疊三項優化。簡單來說＝ 英偉達不只是賣GPU，還將「如何把GPU用到極致」做成了配套軟件。
AMD目前仍主要依賴標準版vLLM，針對超大MoE模型與寬並行場景的深度優化尚未跟上。
這意味著→ 即便AMD硬件參數追上來，若軟件棧不能讓客戶「開箱即用」，實際部署體驗仍會落後。
「部分模型落後」這個說法，到底意味著甚麼？
SemiAnalysis用了「部分模型」這個限定詞，說明AMD並非全面落後——在通用計算場景中MI系列GPU已有競爭力，Meta近期簽署的巨額採購訂單就是佐證。
但「部分」這個詞恰恰暴露了真正的短板：全面性軟件生態覆蓋的缺失。企業客戶要的是所有主流模型都能穩定跑通，而非「這幾個模型行、那幾個不行」。
說白了＝ 維護兩套軟件棧來覆蓋不同模型的隱性成本，往往才是採購決策的決定性因素。
英偉達的軟件護城河到底有多深？
英偉達的軟件壁壘由三層疊加構成：約400萬開發者的CUDA工具鏈及二十年積累；對所有主流機器學習框架的優先適配；cuDNN、TensorRT、NCCL等優化庫形成的深度綁定。
這意味著→ 三層疊加產生的遷移成本，遠超任何單一硬件參數的差距。客戶換晶片，要連整個軟件工具鏈一起換，這筆賬很難算得過來。
AMD要完成從「部分領先」到「全面可用」的跨越，所需的軟件工程投入可能比硬件迭代更為耗時——要在數以千計的模型架構和分散的開發者社區中建立廣泛兼容性與信任。
兩週前說CUDA被侵蝕，現在又點讚——矛盾嗎？
SemiAnalysis兩週前剛指出，Anthropic已形成由谷歌TPU、亞馬遜Trainium和英偉達GPU共同構成的多平台算力架構，英偉達GPU份額正被自研ASIC緩慢侵蝕。
而此次對vLLM性能的正面評價說明：英偉達在推理軟件棧深度優化上的領先幅度，並未隨硬件競爭格局的演變而同步收窄。
這反映出一個關鍵信號：硬件端的份額鬆動和軟件端的護城河加深，可以同時發生。對AMD而言，後者可能才是真正難以快速追趕的壁壘。
Content is for reference only, not financial advice.