SemiAnalysis:Kimi K3 KDA机制不减反增AI算力需求

0xBroomberg
Published todayAbout 3 min read

半导体研究机构SemiAnalysis判断,Kimi K3的2.8万亿参数与大规模推理架构不仅不会削弱高端AI硬件需求,反而可能进一步强化——但争议焦点已从"要不要买GPU"转向"谁的GPU"。

01

K3到底有多大?为什么硬件需求不降反升?

K3参数规模超过2.8万亿,模型权重需要超过1.5TB的HBM(高带宽内存,专为AI芯片设计的超快显存)来装载。
即便用户并发量不算高,KV缓存(模型推理时暂存的中间数据)仍需大量卸载到CPU内存和硬盘,HBM空间并不富余。
这意味着→ 模型越大,对高端显存和存储的刚需越强,不是"省了一点带宽"就能绕过去的
02

KDA省下的带宽,被什么吃掉了?

K3采用KDA机制(Kimi Delta Attention,一种线性注意力方案),可将KV缓存的网络传输需求最高降低约10倍——这是市场担忧硬件需求下降的源头。
但K3同时采用WideEP策略(Wide Expert Parallelism,把896个专家模块分散到多颗GPU上并行运算),专家之间频繁交换数据,对网络互联的要求反而更高。
用大白话说= KDA省下的"路费",被WideEP额外增加的"货运量"部分抵消,整体基础设施压力并没有明显下降
03

64颗芯片的需求,一定指向英伟达吗?

月之暗面透露K3高效推理至少需要64颗芯片组成的扩展域,这与英伟达GB200/GB300 NVL72机架级系统高度匹配。
但知情人士指出,华为昇腾950 SuperPod同样是64颗芯片配置,具备类似NVLink的总线扩展能力,可跨16个机架扩展至1024颗NPU
这反映出 K3带来的硬件需求增长是真实的,但受益者不一定只有英伟达——华为同样具备竞争力。
04

效率越高,需求反而越大?杰文斯悖论怎么看?

SemiAnalysis援引杰文斯悖论(Jevons' Paradox):当技术提升效率、降低单位成本后,总需求往往不降反升——因为更多企业会因此部署AI应用。
这意味着→ 线性注意力降低了推理成本,但可能推动GPU、HBM、高速网络设备的总需求增长
但知情人士保持谨慎:K3采用4bit量化加高度稀疏化设计,实际内存压力可能低于市场直觉。
05

真正的关键变量是什么?

知情人士认为,核心问题不在K3本身,而在于OpenAI、Anthropic、谷歌DeepMind这些全球推理需求最大的AI公司,是否会大规模采用KDA或类似的线性注意力方案。
若头部公司全面转向此类架构,长上下文推理对内存和互联的需求可能出现明显下降
用大白话说= 判断AI硬件长期需求的核心变量只有一个:应用规模扩张带来的新增需求,能不能持续跑赢架构效率提升省下来的资源?

Content is for reference only, not financial advice.