Computing Power Isn’t the Bottleneck, Memory Is - Micron Executive Explains the True Bottleneck in AI Inference

内存行业正在经历一场结构性变革，这一判断来自美光科技数据中心业务部门高级副总裁Jeremy Werner。

Werner在近期一档播客访谈中提出一个颠覆常规认知的判断：在AI推理场景中，真正的瓶颈不是GPU算力，而是内存带宽和容量。

"如果你能提供足够快、足够大的内存，理论上可以从GPU中榨取出平方倍的算力。"反过来，一旦内存跟不上，GPU的算力利用率将急剧下降，算力投入大打折扣。

他直言，AI对内存的需求增速已超出美光自身的预判，而全球产能扩张的速度同样跟不上。"我们已经无法跟上需求了，其他所有人也一样。"

Werner用一个简洁的逻辑解释了为何AI推理对内存如此敏感。

训练完成后内存即可释放，但推理需要持续调用历史上下文——也就是所谓的KV缓存——来生成更准确的答案。一旦内存不足以存下这些历史状态，模型就必须从头重新计算，而每一轮重算所需的算力大约等于此前所有轮次的总和，呈指数级膨胀。

反过来，如果内存充足，每一轮只需线性增加一步计算量。这一机制意味着，足够大的内存可以将GPU的有效算力提升至"平方级别"。

推动KV缓存需求快速膨胀的因素有三：上下文窗口长度目前以每年约30倍的速度增长、模型参数量持续扩大、以及同时并发使用AI的用户数量不断攀升。

在产品层面，美光正在两个方向同步发力。

HBM4已经发布，带宽是上一代HBM3e的两倍以上，主要针对推理对内存带宽的极高要求。

另一张牌是245TB超大容量SSD——体积约与一副扑克牌相当——主要解决数据中心电力和空间两大约束。

Werner解释，目前数据中心普遍部署的硬盘容量约在30TB出头，245TB的集成度意味着同等存储量所需的网络连接、电源和散热设备大幅减少，存储占地面积可压缩逾80%，功耗效率也随之显著提升。

产能方面，美光目前在全球同步推进五座晶圆厂建设，包括爱达荷州博伊西和纽约州北部的两座美国本土工厂、弗吉尼亚州现有工厂扩建、新加坡南部晶圆厂，以及日本DRAM设施扩建，此外还从台湾PSMC收购了一座工厂。

Werner坦言，整个行业目前受制于洁净室空间，这一状况短期内难以改变。

对于市场担忧云厂商资本开支能否持续的问题，Werner持不同看法。

他认为智能体AI（Agentic AI）和物理AI（Physical AI）尚未真正大规模落地，推理时代刚刚开始，AI潜力仍超出大多数人的想象。他也承认硅谷与外部世界之间存在认知落差——很多人看到的还只是ChatGPT生成表情包，而非一场正在重塑未来二十年的技术革命。

对投资者而言，这场访谈传递出的核心信号是：内存短缺不是周期性现象，而是结构性供需错位，且在新产能大规模投产前，这一缺口难以迅速弥合。

高通财报中提及的内存涨价压力、以及四大科技巨头合计7250亿美元的资本开支计划，都在印证同一个方向。