Oracle Cloud na mag-alok ng mga Google TPU, ang unang hyperscaler sa labas ng Google na gumawa nito

Inanunsyo ng Oracle at Google noong Oktubre 27 sa Oracle AI World sa Las Vegas na ang Tensor Processing Units (TPUs) ng Google ay magiging available sa pamamagitan ng Oracle Cloud Infrastructure (OCI), sa unang pagkakataong iaalok ang mga Google TPU sa isang hyperscale cloud platform sa labas ng Google. Ibibigay ng OCI ang power, cooling at data-center networking para i-deploy ang mga TPU sa sukat, na may kakayahang magamit simula sa taong kalendaryo 2027 at rampa sa loob ng maraming taon.

Ang mga ikawalong henerasyong TPU ay naghahati sa pagsasanay at hinuha

Ang ikawalong henerasyong TPU ng Google ay may dalawang layuning binuo na arkitektura: TPU 8t para sa pagsasanay, na sinasabi ng mga kumpanya na naghahatid ng halos 3x ng compute performance bawat pod sa nakaraang henerasyon at binabawasan ang mga siklo ng pag-unlad ng frontier-model mula buwan hanggang linggo, at TPU 8i para sa inference, na idinisenyo para sa umuulit na gawain ng maraming dalubhasang ahente. Sinasabi ng mga kumpanya na maaaring suportahan ng mga TPU ang malalaking modelo ng pagsasanay at post-training, kabilang ang mga siksik at pinaghalong mga modelo ng mga eksperto, pati na rin ang hinuha sa produksyon para sa pangangatwiran, ahente at pang-context na mga aplikasyon.

Taya ng Oracle: ilang mga arkitektura sa isang ulap

Sinabi ni Mahesh Thiagarajan, presidente ng Oracle Cloud Infrastructure, na ang iba't ibang AI workload ay may iba't ibang pangangailangan sa pag-compute, at ang pagdadala ng mga Google TPU sa OCI ay nagbibigay sa mga customer ng access sa maraming nangungunang AI compute architecture sa isang cloud. Sinabi ni Amin Vahdat, ang senior vice president at chief technologist ng Google para sa AI at imprastraktura, na ang susunod na henerasyon ng AI ay mangangailangan ng magkakaibang hanay ng compute at ang mga TPU ay nagbibigay ng mas maraming organisasyon ng access sa teknolohiya.

Hiwalay sa parehong araw, iniulat ng Reuters na pinalawak din ng Oracle ang deal nito sa Nvidia sa multi-gigawatt scale gamit ang pinakabagong Vera Rubin AI server, habang nilalaktawan ang ilang Nvidia networking chips pabor sa mga in-house na Acceleron networking chips nito, at nagpaplanong mag-alok ng inference chips mula sa Cerebras at SambaNova. Hindi ibinunyag ng Oracle ang halaga ng mga deal na iyon, at hindi inihayag ang pagpepresyo ng OCI para sa mga TPU; Ang mga benepisyo sa totoong mundo ay depende sa mga detalye ng deployment at mga benchmark ng workload.