OpenAI推斷成本減半，毛利率改善路徑提速
Alina Collins
OpenAI工程師發現一套新優化方案，可將推斷成本砍掉超過一半——這意味著公司年底52%毛利率目標從「很難夠到」變成「有路可走」，也令競爭對手Anthropic的定價壓力驟然升級。
推斷成本砍半，到底點做到？
OpenAI工程師本月向內部披露一套新方案，可將推斷（inference，模型回答用戶問題時的實際運算過程）成本削減逾一半。
具體技術細節未有公開，但可能涉及的手段包括：量化（將模型參數從高精度數字壓縮成低精度，慳算力）、鍵值緩存（令模型複用之前算過的結果，毋須重複運算）、批量處理查詢，以及將簡單問題分流至更細的子模型。
簡單來說＝好比一間餐廳同時改了三樣嘢——用更慳火的爐頭、將切好的餸提前備好、簡單菜式交畀幫廚做——每樣慳一啲，加埋就砍咗一半成本。
毛利率由39%到52%，條路而家行唔行得通？
推斷成本是OpenAI毛利率的核心變量——模型每答一條問題都要燒GPU，呢筆錢直接食掉毛利。
截至今年一季度末，OpenAI毛利率為39%，一年前係33%，年底目標係52%。這意味著→餘下時間毛利率平均要維持在56%左右先達標，缺口唔細。
今次推斷成本砍半直接改善呢條路徑：同樣的收入，GPU開支少咗一大截，毛利率自然向上行。
慳落嘅錢，畀用戶定留畀自己？
OpenAI面前有兩條路：一係將節省的成本轉化為用戶權益——提高ChatGPT訂閱用戶的查詢配額，或下調面向開發者的API定價；二係直接計入毛利率改善。
這意味著→如果OpenAI揀降價，Anthropic將首當其衝。Anthropic近期因模型定價偏高受到市場批評，OpenAI一旦降價，價格差距會進一步拉大。
這反映出AI行業正進入一個新階段：成本優化能力本身成為競爭武器，而唔淨係技術指標。
呢個優勢可以維持幾耐？
推斷優化並非OpenAI獨有的課題。Anthropic CEO達里奧·阿莫代伊至少自2023年中起已公開談過「算力乘數」概念，並表示公司會刻意限制知悉具體乘數的人員範圍，防止競爭對手複製。
不確定性在於：更大參數量的新模型可能食掉今次優化的紅利。OpenAI計劃今年稍後推出更大模型，而更大的模型通常推斷成本更高——當前優化手段效果可能打折扣。
OpenAI同時與博通合作開發自研推斷晶片，目標係在硬件層面減少對英偉達GPU的依賴。簡單來說＝軟件層面先慳咗一半，硬件層面仲想再慳一輪，兩條路並行推進。
自研晶片嘅18億美元融資，仲係咁急嗎？
OpenAI正推進一筆18億美元的自研晶片融資交易，與博通合作開發專用推斷晶片。
這意味著→今次軟件優化的突破可能降低咗呢筆交易的迫切性——如果軟件層面已經可以砍掉一半推斷成本，硬件替代方案的「必須馬上到位」壓力就細咗。
但調轉睇，軟件優化的效果可能隨模型變大而衰減，自研晶片仍係長期降本的關鍵棋子。市場下一步會盯住呢筆融資的節奏變化。
Content is for reference only, not financial advice.