N環球 N GLOBE
Teknolohiya ng US

Google Open-Sources TorchTPU, Nagdadala ng Native PyTorch sa mga TPU

· N GLOBE

Inanunsyo ng Google sa PyTorch Conference 2026 na ang TorchTPU, ang katutubong PyTorch stack nito para sa mga TPU na binuo kasama ng PyTorch team ng Meta, ay open source na ngayon sa GitHub. Gumagana ang kasalukuyang PyTorch code sa mga Google TPU na may kaunting pagbabago.

Bakit ito mahalaga

Ang PyTorch ay ang nangingibabaw na framework ng pagpapaunlad ng AI -- sinasabi ng ilang pagtatantya na halos 85% ng mga AI application ang gumagamit nito -- at matagal na itong na-optimize para sa mga Nvidia GPU. Ginagawa ng TorchTPU ang mga TPU ng Google na isang katutubong opsyon para sa PyTorch, na makabuluhang nagpapababa sa gastos ng paglipat at potensyal na lumuwag sa CUDA ecosystem lock-in ng Nvidia.

Buong ulat

Ang Google Cloud blog (ni Mark Lohmeyer, VP at GM ng AI & Computing Infrastructure, at Bill Jia, VP of Engineering) ay inihayag sa PyTorch Conference 2026 na ang TorchTPU, ang native na PyTorch stack ng Google para sa mga TPU, ay open source na ngayon sa GitHub. Sumasali na ngayon ang mga TPU sa mga GPU at CPU bilang isang katutubong opsyon para sa PyTorch, na sumasaklaw sa pagsasanay, paghahatid at pag-deploy.

Ang TorchTPU ay pinagsama-samang binuo kasama ang PyTorch team sa Meta at pinalitan ang PyTorch/XLA na mga developer ng ruta na dating umaasa sa: debug sa sabik na mode, pagkatapos ay gumamit ng torch.compile para sa pagganap sa antas ng produksyon. Kailangan lang baguhin ng kasalukuyang code ang model.to("cuda") sa model.to("tpu") para tumakbo sa mga TPU.

Gumagana ang TorchTPU sa mga tool na ginagamit na ng mga developer, kabilang ang vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face at LiteRT. Naglabas din ang Google ng mga native na backend ng TPU para sa vLLM at SGLang (built with Inferact at RadixArk ayon sa pagkakabanggit), na hindi na dumadaan sa JAX; ang mga bersyon ng JAX ay nananatiling pinananatili.

Sinabi ni Jana van Greunen, Direktor ng PyTorch Engineering sa Meta, sa anunsyo na hinahayaan ng TorchTPU ang Meta na mag-deploy ng mga workload ng PyTorch -- mga LLM, ad at system ng rekomendasyon -- sa mga Google TPU habang direktang nagbibigay ng feedback sa mga engineering team, na bumubuo ng flexibility ng ecosystem na kailangan ng lahat.

💬 Comments

No comments yet. Be the first!