英伟达：AI芯片竞争转向数据中心整体效率，内存与互联成两大瓶颈
nashnova research
英伟达首席科学家达利指出，内存带宽与芯片互联已成为制约AI性能的两大核心瓶颈，行业竞争正从单芯片算力转向整个数据中心的系统级效率。
单芯片再快，为什么整体还是卡？
AI模型太大，一颗GPU装不下，任务必须拆到多颗GPU并行处理，设备之间不停交换数据。
这意味着→ 瓶颈不在单颗芯片算得多快，而在芯片之间、芯片与内存之间搬数据的速度和能耗。
英伟达、博通、高通高管在应用材料EPIC中心开幕式上一致认同：内存带宽、芯片互联、功耗与散热，是当前AI基础设施的核心卡点。
内存瓶颈到底卡在哪？
高带宽内存(HBM，紧贴GPU的高速存储芯片)里的数据，从存储单元到GPU计算核心要穿过多个传输层。
读取一个比特的原始能耗约200–300飞焦，但经过基板、物理层接口等中转后，能耗飙升到4–5皮焦——涨了十几倍。
用大白话说＝ 数据本身不重，但"搬运费"极高；搬运过程既慢又耗电，在AI推理的解码阶段尤其明显。
达利的结论：行业需要把内存带宽提升约一个数量级，同时把每比特能耗降低同等幅度，这必须内存厂商与芯片设计商深度协作才能实现。
互联瓶颈：为什么延迟比带宽更要命？
传统通信工程追求的是带宽(一次能搬多少数据)，但AI系统对延迟(每次搬运要等多久)更敏感。
这意味着→ 用户等第一个token出来的时间、后续token的输出间隔，都部分取决于每次芯片间跳转的传输时延。
用大白话说＝ 带宽像公路车道数，延迟像每个收费站的等待时间——车道再多，收费站慢照样堵。
这一优先级转变正在重塑系统架构的设计逻辑：延迟而非带宽，成了互联设计的首要优化目标。
英伟达打算怎么解？
晶圆级系统集成(system-on-wafer，把多颗GPU做在同一片晶圆上)——物理距离缩短，能耗与延迟同时降低。
共封装光学(CPO，用光信号替代电信号在芯片间传数据)——针对更长距离传输，降低每比特功耗并提升速率。
达利坦承，CPO仍面临梳状激光器可靠性、光调制器设计、热稳定性等多项挑战，跨学科的早期协作是压缩开发周期的关键。
"Token工厂"——达利怎么看整条处理链？
达利把数据中心比作一座"token工厂"：用户请求进入 → 预填充 → 注意力计算 → 前馈计算 → 解码 → 输出。
预填充阶段主要吃算力，解码阶段主要吃内存带宽与延迟——两段瓶颈完全不同。
这意味着→ 孤立地把单颗芯片做得更快，并不必然让整条链路变快；英伟达的目标是提升每焦耳能量、每美元成本所能生成的token数量。
对供应链意味着什么？
这反映出行业竞争维度正在切换：从"谁的芯片算力最强"变成"谁能在整个数据中心层面实现协同优化"。
高带宽内存、先进封装、光互联三条供应链的战略价值将持续提升。
用大白话说＝ 下一阶段AI基础设施的赢家，不是单项冠军，而是能把芯片、内存、封装、互联拧成一个系统的整合者。
市场有风险，内容仅供研究参考，不构成投资建议。