SK海力士推進PIM、HBF和SALT-KV，HBM戰略向推理工作負載延伸
nashnova research
SK海力士在AI基礎設施峰會上發佈三條面向推理場景的新技術路線——PIM、HBF、SALT-KV，標誌着其記憶體戰略從單純配套GPU訓練，正式向推理側的延遲、容量與成本三角難題延伸。
PIM到底解決甚麼問題？
AI推理的「解碼」環節需要反覆在記憶體和加速器之間搬運數據，搬運本身就是瓶頸。
PIM（存內計算，把簡單運算直接放在記憶體晶片內部或旁邊做）的思路是：數據不動，計算過去，從而大幅減少搬運次數。
這意味著→ 和傳統方案裡常用的SRAM相比，PIM在相同晶片面積下容量約為SRAM的300倍，同時保持較高的內部頻寬。
簡單來說＝ SRAM像一張小桌子，速度快但放不了多少東西；PIM像把倉庫改造成自帶流水線的車間，東西不用搬出去就能加工。
新架構和「機架級PIM」是怎麼回事？
SK海力士提出把記憶體晶片與計算晶片物理分開，再通過混合鍵合（一種令兩塊晶片直接面對面貼合的工藝）垂直連接。
這意味著→ 計算單元不再擠佔記憶體晶片的面積，既省空間又讓算力離數據更近。
更長遠的構想是把PIM從單顆晶片擴展到整個伺服器機架層面，呼應行業向機架級計算演進的趨勢。
HBF為甚麼被稱為「新的記憶體層級」？
當前記憶體體系裡，HBM快但貴且容量有限，SSD便宜大容量但慢——中間存在一段空白。
HBF（高頻寬快閃記憶體）把3D NAND（一種高密度快閃記憶體結構）的大容量與TSV（矽通孔，晶片之間垂直打孔互連的技術）結合，用接近快閃記憶體的成本提供接近HBM的頻寬。
這意味著→ 對於長上下文推理、大批量服務等容量優先、成本敏感的場景，HBF提供了一個此前不存在的性價比選項。
SALT-KV在軟件層面解決甚麼？
隨着對話輪次增加和多步驟推理變多，KV緩存（模型用來記住上下文的臨時數據）體積持續膨脹，全部放在最貴的HBM裡不現實。
SALT-KV是一套軟件調度方案：把緩存數據切塊，評估每塊的複用概率與存儲成本，然後按特性分配到HBM、DRAM或SSD不同層級。
說白了＝ 相當於給緩存數據做了一次「冷熱分揀」——常用的留在快車道，不常用的挪到便宜倉庫，整體成本下降而服務不中斷。
這些技術背後的系統級邏輯是甚麼？
SK海力士本月在台灣SEMICON展上已將數據搬運定性為計算領域的下一個主要瓶頸。
從HBM4代起，基礎晶片可用邏輯製程製造，為在DRAM堆疊附近增加功能留出空間——不必每項操作都回傳加速器。
這反映出一個更深層的信號：記憶體廠商正從「賣元器件」轉向與客戶協同設計系統，PIM、HBF與SALT-KV能否按時量產並通過客戶認證，將是這條路線商業可行性的關鍵驗證節點。
市场有风险，内容仅供研究参考，不构成投资建议。