SemiAnalysis点赞英伟达vLLM优化，AMD软件生态差距凸显
0xBroomberg
半导体研究机构SemiAnalysis高度评价英伟达在vLLM推理引擎上的性能优化，同时指出AMD在部分模型支持上仍有明显差距。这意味着→ AI芯片竞争的决定性战场正从硬件参数转向软件生态的深度与广度。
vLLM测试里，英伟达和AMD差在哪？
vLLM（当前最主流的大语言模型开源推理引擎）是SemiAnalysis这次评测的基准。用大白话说＝ 谁在这个引擎上跑得好，谁就在真实部署中更有竞争力。
以千亿参数级MoE模型（混合专家模型，把一个大模型拆成多个"专家"分工协作）Kimi K2.5为例：英伟达GB200 NVL72通过机架级NVLink将72张GPU高速互联，每GPU吞吐量可达12,000 token/s以上。
AMD MI355X在同一测试中表现明显逊色——核心原因是它难以实现同等规模的专家并行与机架级互联。这反映出硬件互联架构的差距，而不仅仅是单卡算力的问题。
软件层面，英伟达做了什么、AMD缺了什么？
英伟达推出的Dynamo分布式推理框架将vLLM深度集成，专门为MoE模型做了预填充与解码分离、高效KV缓存传输、双批次重叠三项优化。用大白话说＝ 英伟达不只是卖GPU，还把"怎么把GPU用到极致"这件事做成了配套软件。
AMD目前仍主要依赖标准版vLLM，针对超大MoE模型与宽并行场景的深度优化尚未跟上。
这意味着→ 即便AMD硬件参数追上来，如果软件栈不能让客户"开箱即用"，实际部署体验仍会落后。
"部分模型落后"这个说法，到底意味着什么？
SemiAnalysis用了"部分模型"这个限定词，说明AMD并非全面落后——在通用计算场景中MI系列GPU已有竞争力，Meta近期签署的巨额采购订单就是佐证。
但"部分"这个词恰恰暴露了真正的短板：全面性软件生态覆盖的缺失。企业客户要的是所有主流模型都能稳定跑通，而不是"这几个模型行、那几个不行"。
用大白话说＝ 维护两套软件栈来覆盖不同模型的隐性成本，往往才是采购决策的决定性因素。
英伟达的软件护城河到底有多深？
英伟达的软件壁垒由三层叠加构成：约400万开发者的CUDA工具链及二十年积累；对所有主流机器学习框架的优先适配；cuDNN、TensorRT、NCCL等优化库形成的深度绑定。
这意味着→ 三层叠加产生的迁移成本，远超任何单一硬件参数的差距。客户换芯片，要连整个软件工具链一起换，这个账很难算得过来。
AMD要完成从"部分领先"到"全面可用"的跨越，所需的软件工程投入可能比硬件迭代更为耗时——要在数以千计的模型架构和分散的开发者社区中建立广泛兼容性与信任。
两周前说CUDA被侵蚀，现在又点赞——矛盾吗？
SemiAnalysis两周前刚指出，Anthropic已形成由谷歌TPU、亚马逊Trainium和英伟达GPU共同构成的多平台算力架构，英伟达GPU份额正被自研ASIC缓慢侵蚀。
而此次对vLLM性能的正面评价说明：英伟达在推理软件栈深度优化上的领先幅度，并未随硬件竞争格局的演变而同步收窄。
这反映出一个关键信号：硬件端的份额松动和软件端的护城河加深，可以同时发生。对AMD而言，后者可能才是真正难以快速追赶的壁垒。
Content is for reference only, not financial advice.