Відкритий вихідний код Google TorchTPU, впровадження рідного PyTorch до TPU

Повний звіт

У блозі Google Cloud (авторами Марка Ломайера, віце-президента та генерального директора з питань штучного інтелекту та обчислювальної інфраструктури, та Білла Джіа, віце-президента з інженерних питань) було оголошено на конференції PyTorch 2026, що TorchTPU, рідний стек Google PyTorch для TPU, тепер є відкритим кодом на GitHub. TPU тепер приєднуються до GPU та CPU як рідний варіант для PyTorch, охоплюючи навчання, обслуговування та розгортання.

TorchTPU було розроблено спільно з командою PyTorch у Meta та замінює маршрут PyTorch/XLA, на який розробники покладалися раніше: налагодження в режимі очікування, а потім використання torch.compile для продуктивності на робочому рівні. Існуючий код має лише змінити model.to("cuda") на model.to("tpu") для роботи на TPU.

TorchTPU працює з інструментами, які вже використовують розробники, зокрема vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face і LiteRT. Google також випустив рідні серверні модулі TPU для vLLM і SGLang (створені за допомогою Inferact і RadixArk відповідно), які більше не працюють через JAX; версії JAX залишаються підтримуваними.

Яна ван Греунен, директор PyTorch Engineering у Meta, сказала в повідомленні, що TorchTPU дозволяє Meta розгортати робочі навантаження PyTorch — LLM, рекламу та системи рекомендацій — на Google TPU, водночас надаючи відгуки безпосередньо командам інженерів, створюючи гнучкість екосистеми, яка потрібна всім.