輝達：AI晶片競爭轉向數據中心整體效率，記憶體與互連成兩大瓶頸
nashnova research
英偉達首席科學家達利指出，內存帶寬與晶片互聯已成為制約AI性能的兩大核心瓶頸，行業競爭正從單晶片算力轉向整個數據中心的系統級效率。
單顆晶片再快，為甚麼整體仍然卡？
AI模型規模太大，一顆GPU裝不下，任務須拆分至多顆GPU並行處理，設備之間持續交換數據。
這意味著→ 瓶頸不在單顆晶片算得多快，而在晶片之間、晶片與內存之間搬數據的速度和能耗。
英偉達、博通、高通高管在應用材料EPIC中心開幕式上一致認同：內存帶寬、晶片互聯、功耗與散熱，是當前AI基礎設施的核心卡點。
內存瓶頸到底卡在哪裡？
高帶寬內存（HBM，緊貼GPU的高速存儲晶片）裡的數據，從存儲單元到GPU計算核心要穿過多個傳輸層。
讀取一個比特的原始能耗約200–300飛焦，但經過基板、物理層接口等中轉後，能耗飆升至4–5皮焦——漲了十幾倍。
簡單來說＝ 數據本身不重，但「搬運費」極高；搬運過程既慢又耗電，在AI推理的解碼階段尤其明顯。
達利的結論：行業須將內存帶寬提升約一個數量級，同時將每比特能耗降低同等幅度，這必須內存廠商與晶片設計商深度協作。
互聯瓶頸：為甚麼延遲比帶寬更要命？
傳統通訊工程追求的是帶寬（一次能搬多少數據），但AI系統對延遲（每次搬運要等多久）更敏感。
這意味著→ 用戶等第一個token出來的時間、後續token的輸出間隔，都部分取決於每次晶片間跳轉的傳輸時延。
說白了＝ 帶寬像公路車道數，延遲像每個收費站的等候時間——車道再多，收費站慢照樣塞車。
這一優先級轉變正在重塑系統架構的設計邏輯：延遲而非帶寬，成了互聯設計的首要優化目標。
英偉達打算怎樣解決？
晶圓級系統集成（system-on-wafer，將多顆GPU做在同一片晶圓上）——物理距離縮短，能耗與延遲同時降低。
共封裝光學（CPO，用光信號替代電信號在晶片間傳數據）——針對較長距離傳輸，降低每比特功耗並提升速率。
達利坦承，CPO仍面臨梳狀激光器可靠性、光調制器設計、熱穩定性等多項挑戰，跨學科的早期協作是壓縮開發周期的關鍵。
「Token工廠」——達利怎樣看整條處理鏈？
達利把數據中心比作一座「token工廠」：用戶請求進入 → 預填充 → 注意力計算 → 前饋計算 → 解碼 → 輸出。
預填充階段主要吃算力，解碼階段主要吃內存帶寬與延遲——兩段瓶頸完全不同。
這意味著→ 孤立地將單顆晶片做得更快，並不必然令整條鏈路變快；英偉達的目標是提升每焦耳能量、每美元成本所能生成的token數量。
對供應鏈意味著甚麼？
這反映出行業競爭維度正在切換：從「誰的晶片算力最強」變為「誰能在整個數據中心層面實現協同優化」。
高帶寬內存、先進封裝、光互聯三條供應鏈的戰略價值將持續提升。
簡單來說＝ 下一階段AI基礎設施的贏家，不是單項冠軍，而是能把晶片、內存、封裝、互聯擰成一個系統的整合者。
市场有风险，内容仅供研究参考，不构成投资建议。