小米發布1T參數大模型，推理速度超1000 Tokens/s
Alina Collins
小米發佈MiMo-V2.5-Pro-UltraSpeed，1T參數、推理速度突破1000 TPS，官方稱刷新旗艦模型全球最快紀錄——關鍵在於它跑在通用GPU上，毋須定制晶片。
1000 TPS到底有幾快？
量子位實測：要求模型生成一個500多行代碼的網頁應用，思考加輸出前後約7秒完成。
同一任務，Claude最輕量版本Haiku在最低負載模式下，最快仍需40多秒。
這意味著→ 速度差距並非「快少少」，而是接近6倍的量級差別。
點解「用通用GPU跑」咁重要？
市面上追求極致推理速度的玩家（如Groq）通常依賴定制晶片（專門為推理設計的硬件），速度快但只能在自家晶片上運行。
小米今次用的是通用GPU——即市面上買得到的標準顯示卡。
簡單來說＝ 如果速度只能在「特供硬件」上實現，其他人無法複製；但通用硬件就能跑出這個速度，代表這套方案任何人都可以用，擴展門檻大幅降低。
小米將此定位為「從模型到引擎的全鏈路優化」——這反映出它要證明的是軟件工程能力，而非硬件獨佔優勢。
1T參數、1M上下文窗口——這些數字代表甚麼？
1T（1萬億）參數：目前公開的最大規模旗艦模型之一，參數愈多，模型能「記住」和「理解」的模式愈豐富。
1M上下文窗口（100萬個token的輸入長度）：可以一次過讀入相當於幾本書的內容量，再給出回答。
這意味著→ 這並非一個「細而快」的模型，而是又大又快——通常兩者互相矛盾，參數愈大推理愈慢，小米試圖同時解決兩端。
推理速度點解正變成獨立賽道？
當大模型被用於智能體工作流（AI agent，讓AI自動執行多步驟任務），一個任務可能觸發幾十甚至上百次模型調用。
每次調用慢幾秒，累積起來延遲會被放大數百倍——由「體驗唔好」變成「根本跑唔動」。
說白了＝ 單次快唔快係體驗問題，但在高頻調用場景中，速度直接決定了這個方案在架構上能唔能成立。
小米能否將實測速度轉化為開發者和企業客戶的規模化採用，是這條技術路線商業價值的核心驗證點。
Content is for reference only, not financial advice.