Oracle Cloud proposera les TPU de Google, une première hors du cloud de Google

Oracle et Google ont annoncé le 27 octobre, à l'Oracle AI World de Las Vegas, que les Tensor Processing Units (TPU) de Google seront disponibles via Oracle Cloud Infrastructure (OCI) — la première fois que les TPU de Google seront proposées sur une plateforme cloud hyperscale hors de Google. OCI fournira l'alimentation, le refroidissement et le réseau des centres de données pour déployer les TPU à grande échelle, avec une disponibilité à partir de l'année civile 2027, puis une montée en puissance sur plusieurs années.

Des TPU de huitième génération séparant entraînement et inférence

La huitième génération de TPU se décline en deux architectures : TPU 8t pour l'entraînement, qui offrirait près de 3 fois la performance de calcul par pod par rapport à la génération précédente et réduirait les cycles de développement des modèles de pointe de plusieurs mois à quelques semaines, et TPU 8i pour l'inférence, conçue pour le travail itératif de nombreux agents spécialisés. Selon les deux entreprises, les TPU peuvent prendre en charge l'entraînement et le post-entraînement de grands modèles, y compris les modèles denses et à mixture d'experts, ainsi que l'inférence en production pour le raisonnement, les agents et les longs contextes.

Le pari d'Oracle : plusieurs architectures dans un seul cloud

Mahesh Thiagarajan, président d'Oracle Cloud Infrastructure, a déclaré que les différentes charges de travail d'IA ont des besoins de calcul différents et que l'arrivée des TPU de Google dans OCI donne aux clients accès à plusieurs architectures de calcul d'IA de pointe au sein d'un même cloud. Amin Vahdat, vice-président principal et technologue en chef pour l'IA et l'infrastructure chez Google, a estimé que la prochaine génération d'IA exigera une diversité de calculs et que les TPU donneront à davantage d'organisations accès à cette technologie.

Le même jour, Reuters a rapporté qu'Oracle élargit aussi son accord avec Nvidia à une échelle de plusieurs gigawatts avec les nouveaux serveurs IA Vera Rubin, tout en remplaçant certaines puces réseau de Nvidia par ses propres puces Acceleron, et en prévoyant de proposer des puces d'inférence de Cerebras et SambaNova. Oracle n'a pas divulgué la valeur de ces accords, et les prix des TPU sur OCI n'ont pas été annoncés; les bénéfices réels dépendront des détails de déploiement et des tests de performance.