SK海力士发布内存中心化AI机架架构MARS
nashnova research
SK海力士在OCP全球峰会上发布MARS架构，用CXL总线把DRAM从单台服务器的固定配件变成整个机架共享的内存池——直指当前AI基础设施最大的瓶颈：内存不够用，扩容又太贵。
现在的AI服务器，内存到底卡在哪？
GPU上的高带宽内存(HBM)受物理空间和成本限制，想加内存就得加整台服务器，连带买入一堆用不上的GPU。
这意味着→ 运营商为了多一点内存容量，被迫过度配置昂贵的GPU集群，钱花在了不需要的算力上。
多台服务器之间通过RDMA网络搬运KV缓存(大语言模型记住上下文的数据)，还会产生重复拷贝和不可预测的延迟毛刺。
MARS架构做了什么不一样的事？
核心思路：把内存的分配、扩展和回收，与CPU/GPU算力彻底解耦。
用大白话说＝ 以前内存像焊在每台机器上的固定水箱，现在变成一根公共水管——哪台GPU渴了，直接从管子里取水，不用每台都配一个大水箱。
多个GPU和NPU(神经网络处理器)可以共享同一池子里的模型权重和上下文缓存；流水线任务中，前一颗芯片的输出直接写入共享内存，后一颗直接读取，省掉了跨网络搬数据的步骤。
性能数据说了什么？
多轮智能体AI：KV缓存卸载到MARS共享池后，首token生成时间(TTFT)比重新计算方案快3.5–5.2倍，尾延迟毛刺基本消除。
语音智能体流水线(与AI合作伙伴Pickles联合测试)：中间输出走共享CXL内存而非RDMA网络，首音频生成时间从0.67秒降至0.46秒，端到端延迟从8.08秒降至5.73秒。
万亿级图神经网络训练：图采样速度较RDMA方案提升17.57倍——共享池提供恒定延迟的直接访问，消除了频繁的RDMA同步等待。
软件栈和合作网络有多大？
SK海力士正与产业界、政府及学术机构联合开发包含16个工具的MARS软件栈，覆盖内存分配器、节点间锁机制、KV缓存分层、内存内存储及Graph RAG引擎。
合作方包括洛斯阿拉莫斯国家实验室、斯坦福大学、卡内基梅隆大学、加州大学伯克利分校等十余家顶级机构。
这反映出 SK海力士不只是卖硬件，而是试图用软件生态把MARS变成行业标准——硬件好复制，生态不好复制。
HBF是什么？为什么要多一个内存层级？
高带宽闪存(HBF)是SK海力士提出的介于HBM与企业级SSD之间的新层级：带宽约为HBM的一半，容量是HBM的10–14倍，每比特能效比传统企业存储高3.7倍。
用大白话说＝ HBM像一小碗很贵的快速内存，SSD像一大桶便宜但慢的存储；HBF就是一个中号水桶——速度接近小碗，容量接近大桶。
在Llama 3 70B和DeepSeek R1 671B演示中，HBF支持每用户最高1900万token的上下文窗口。OCP HBF规范v0.7已发布，1.0版计划明年完成，硬件样品预计2028年前后供货。
投资者该怎么看这件事？
MARS架构如果兑现，最直接的影响是：数据中心扩容内存不再需要同比例扩容GPU，这会改变AI基础设施的采购逻辑和资本支出结构。
这意味着→ 内存厂商(SK海力士本身)在AI供应链中的话语权可能上升，而纯卖GPU算力的逻辑会被稀释。
关键验证节点有两个：MARS能否在实际数据中心部署中复现上述性能增益，以及HBF能否在2028年如期量产——在此之前，这仍是一份技术路线图，不是已落地的商业现实。
市场有风险，内容仅供研究参考，不构成投资建议。