SemiAnalysis：Kimi K3 KDA機制不減反增AI算力需求
0xBroomberg
半導體研究機構SemiAnalysis判斷，Kimi K3的2.8萬億參數與大規模推理架構不僅不會削弱高端AI硬件需求，反而可能進一步強化——但爭議焦點已從「要不要買GPU」轉向「買誰的GPU」。
K3到底有多大？點解硬件需求不跌反升？
K3參數規模超過2.8萬億，模型權重需要超過1.5TB的HBM（高帶寬記憶體，專為AI晶片設計的超快顯存）來裝載。
即使用戶並發量不算高，KV緩存（模型推理時暫存的中間數據）仍需大量卸載到CPU記憶體和硬盤，HBM空間並不寬裕。
這意味著→ 模型越大，對高端顯存和存儲的剛需越強，不是「省了少少帶寬」就繞得過去的。
KDA慳到的帶寬，被甚麼食掉了？
K3採用KDA機制（Kimi Delta Attention，一種線性注意力方案），可將KV緩存的網絡傳輸需求最高降低約10倍——這是市場擔憂硬件需求下降的源頭。
但K3同時採用WideEP策略（Wide Expert Parallelism，將896個專家模組分散到多顆GPU上並行運算），專家之間頻繁交換數據，對網絡互聯的要求反而更高。
簡單來說＝ KDA省下的「路費」，被WideEP額外增加的「貨運量」部分抵消，整體基礎設施壓力並冇明顯下降。
64顆晶片的需求，一定指向英偉達嗎？
月之暗面透露K3高效推理至少需要64顆晶片組成的擴展域，與英偉達GB200/GB300 NVL72機架級系統高度匹配。
但知情人士指出，華為昇騰950 SuperPod同樣是64顆晶片配置，具備類似NVLink的總線擴展能力，可跨16個機架擴展至1024顆NPU。
這反映出 K3帶來的硬件需求增長是真實的，但受益者不一定只有英偉達——華為同樣具備競爭力。
效率越高，需求反而越大？杰文斯悖論點睇？
SemiAnalysis援引杰文斯悖論（Jevons' Paradox）：當技術提升效率、降低單位成本後，總需求往往不跌反升——因為更多企業會因此部署AI應用。
這意味著→ 線性注意力降低了推理成本，但可能推動GPU、HBM、高速網絡設備的總需求增長。
但知情人士保持審慎：K3採用4bit量化加高度稀疏化設計，實際記憶體壓力可能低於市場直覺。
真正的關鍵變量係甚麼？
知情人士認為，核心問題不在K3本身，而在於OpenAI、Anthropic、Google DeepMind這些全球推理需求最大的AI公司，是否會大規模採用KDA或類似的線性注意力方案。
若頭部公司全面轉向此類架構，長上下文推理對記憶體和互聯的需求可能出現明顯下降。
簡單來說＝ 判斷AI硬件長期需求的核心變量只有一個：應用規模擴張帶來的新增需求，能唔能夠持續跑贏架構效率提升省下來的資源？
Content is for reference only, not financial advice.