英偉達RTX Spark筆記型電腦開售，740億參數模型壓縮至22.1GB本地運行
nashnova research
英偉達10月16日同步開售RTX Spark筆記本並開放Nemotron 3.5 Bolt模型權重，將740億參數大模型從148GB壓縮至22.1GB，令大模型首次可在筆記本上本地運行——這意味著AI推理正從雲端向個人設備遷移。
RTX Spark到底是甚麼？
RTX Spark是一顆超級晶片，將Blackwell架構GPU與Grace CPU集成於一體，CPU與GPU共用最高128GB統一內存。
這意味著→ GPU不再受獨立顯存瓶頸限制，整顆晶片可將全部內存當作一個池子使用，為本地跑大模型提供硬件基礎。
首批筆記本由聯想、微軟等廠商同步發售，微軟Surface Laptop Ultra搭載128GB統一內存，運行Bolt模型時推理速度約達84 token/秒。
740億參數怎樣塞進22.1GB？
壓縮分兩步：先將父模型Nemotron 3.5 Super VL的1200億參數結構削減至740億，再用量化（將模型權重從高精度數字壓成低精度數字，體積縮小但會損失精度）將權重從約148GB壓至22.1GB，降幅約85%。
量化方案中，佔比較大的專家權重被壓至約2bit精度，其餘部分保留不同精度，並用「量化感知蒸餾」（一邊壓縮一邊讓小模型向大模型學習，補償精度損失）來彌補。
簡單來說＝ 就像把一本厚書翻譯成濃縮精華版，關鍵內容盡量保留，次要部分大幅簡寫。
視覺能力壓縮後還剩多少？
視覺能力在壓縮中幾乎歸零：父模型在ScreenSpot Pro測試中得分41.6%，壓縮後Bolt驟降至0。
團隊其後用每輪約660萬張圖像訓練視覺適配器並微調，最終將得分恢復至39.79%——接近父模型水平，但並未完全追平。
這反映出當前量化技術的一個現實矛盾：文本能力相對耐壓縮，而視覺能力對精度損失更加敏感。
22.1GB就夠了嗎？內存門檻到底多高？
22.1GB僅是模型權重體積，實際部署還需為緩存、視覺模組及加速小模型預留空間。Unsloth建議32GB內存為短上下文場景起點，48至64GB更為寬裕。
第三方測試顯示，量化後權重達77GB的Ling 3.0 Flash模型在64GB內存的MacBook Pro及32GB顯存的RTX 5090上均無法加載，而128GB統一內存的RTX Spark筆記本可正常運行。
這意味著→ 對於真正的大參數模型本地部署，內存容量才是決定性門檻，不是算力、不是頻寬，而是「裝不裝得下」。
推理速度靠甚麼加快？
Bolt引入名為LiLiCorr的小模型先行預生成草稿，主模型批量驗收，以減少逐token生成的等待時間。
簡單來說＝ 類似「先讓助手擬初稿，老闆只做批改」——省掉了老闆從零寫每一個字的時間。
在Agent基準測試中，Bolt在終端操作測試Terminal-Bench 2.1得分50.98%，網絡信息檢索測試BrowseComp得分66.75%。
英偉達的軟硬協同棋局走到哪一步了？
英偉達同步將OpenClaw和Hermes兩個Agent框架納入應用生態並提供引導安裝，Ollama已列出接入入口，開發者可將本地Bolt模型接入Agent工作流。
10月23日還將推出Nemotron 3.5 Bolt E4B 4GB版本，面向語音助手、交互角色等輕量場景。Super VL、Bolt與E4B構成從企業到消費端的三級產品矩陣。
這反映出英偉達的真正意圖不只是賣硬件——RTX Spark放量後能否形成持續的軟件生態黏性，才是驗證這條軟硬協同路線的關鍵變量。
市场有风险，内容仅供研究参考，不构成投资建议。