AWS、谷歌推開源工具挑戰輝達CUDA生態
nashnova research
AWS和谷歌先後發佈開源工具TorchNeuron與TorchTPU，令開發者可將現有PyTorch應用遷移至自研晶片而毋須重寫代碼——目標直指降低從英偉達GPU切換出去的工程成本。
兩家雲巨頭到底在做甚麼？
AWS推出TorchNeuron，谷歌緊隨發佈TorchTPU，兩個工具都基於PyTorch（目前約85%的AI應用用它開發），令已有代碼可直接跑在各自的自研晶片上。
這意味著→ 開發者毋須為換一塊晶片就重寫一遍程式——遷移成本被壓到最低。
簡單來說＝ 以前想離開英偉達，要把代碼從頭翻一遍；現在兩家說「你直接搬過來就得」。
性能數據好看，但能直接比嗎？
Inferact在16塊谷歌第七代Ironwood TPU上跑月之暗面Kimi K3模型，啟用推測解碼（一種令晶片提前猜下一個詞從而加速的技巧）後，單用戶吞吐量超過每秒700個token。
公開數據中，16塊英偉達GB200的同類指標為每秒452個token。
但谷歌自己強調：兩組測試所用模型、解碼方式和優化條件均不相同，不能直接用來衡量整體性能差距。這反映出晶片廠商在性能宣傳上正變得更謹慎——數字好看不等於可以一對一比較。
已經有誰在用了？
AWS稱已有逾30家早期客戶採用TorchNeuron；語音AI公司Deepgram切換至Trainium後，每投入1美元可處理的音頻量提升70%，同時維持生產級精度。
谷歌方面，TorchTPU已與Meta、Hugging Face、Inferact、RadixArk合作，Meta的生產環境已在用TPU跑AI推理。
這意味著→ 自研晶片不再只是實驗室產品——大型外部客戶的真實工作負載已經開始切換。
CPU陣營也在動？
AMD和英特爾正把各自的PyTorch優化技術整合進開源庫oneDNN（一個統一不同處理器底層計算的軟件庫），減少開發者為不同x86晶片維護獨立代碼的負擔。
AMD還將以治理成員身份加入統一加速基金會，兩家公司同時在聯合開發AI計算擴展並計劃集成至PyTorch。
簡單來說＝ GPU陣營在爭着令你「搬家容易」，CPU陣營也在做同一件事——整個行業都在試圖把開發者從英偉達的軟件圍牆裡拉出來。
CUDA的護城河真的會被削弱嗎？
英偉達CUDA的優勢不僅是編程接口，還包括成熟的工具鏈、函數庫、人才儲備和部署經驗——這些不是一個開源工具就能替代的。
開源工具的出現並不意味著客戶會即時大規模遷移；但如果更多模型和推理引擎在新晶片發佈時便提供支持，開發者的切換成本會逐步下降。
這反映出AI晶片競爭正從硬件性能延伸至軟件標準與開發者體驗——這一趨勢能否最終動搖CUDA的結構性優勢，將是觀察本輪競爭走向的關鍵節點。
市场有风险，内容仅供研究参考，不构成投资建议。