谷歌開源 TorchTPU：PyTorch 原生跑在 TPU 上，挑戰英偉達生態

全文

谷歌雲官方博客（AI 與計算基礎設施副總裁 Mark Lohmeyer、工程副總裁 Bill Jia 署名）宣布，在 PyTorch 大會 2026 上，谷歌的 TPU 原生 PyTorch 技術棧 TorchTPU 正式在 GitHub 開源。TPU 由此與 GPU、CPU 一起，成為 PyTorch 的原生選項，涵蓋訓練、推理與部署。

TorchTPU 由谷歌與 Meta 的 PyTorch 團隊共同開發，取代了開發者過去依賴的 PyTorch/XLA 路線：先在 eager 模式下調試，再用 torch.compile 達到生產級性能；現有代碼只需把 model.to("cuda") 改成 model.to("tpu")，即可在 TPU 上運行。

TorchTPU 與開發者常用的工具鏈兼容，包括 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face 與 LiteRT。谷歌還發布了 vLLM 與 SGLang 的 TPU 原生後端（分別與 Inferact、RadixArk 合作），不再經由 JAX 運行；原有的 JAX 版本繼續維護。

Meta 的 PyTorch 工程總監 Jana van Greunen 在公告中表示，TorchTPU 讓 Meta 能把大語言模型、廣告與推薦系統等 PyTorch 負載部署到谷歌 TPU 上，同時把一線反饋直接交給工程團隊，建立生態所需的彈性。