Oracle Cloud는 Google 외부 최초의 하이퍼스케일러인 Google TPU를 제공합니다.

오라클과 Google은 10월 27일 라스베이거스에서 열린 Oracle AI World에서 Google의 TPU(Tensor Process Unit)가 OCI(Oracle Cloud Infrastructure)를 통해 제공될 것이라고 발표했습니다. 이는 Google TPU가 Google 외부의 하이퍼스케일 클라우드 플랫폼에서 제공되는 최초의 사례입니다. OCI는 TPU를 대규모로 배포하기 위한 전력, 냉각 및 데이터 센터 네트워킹을 제공할 예정이며, 가용성은 2027년부터 시작하여 수년에 걸쳐 증가할 것입니다.

8세대 TPU는 훈련과 추론을 분리합니다.

Google의 8세대 TPU는 두 가지 목적으로 구축된 아키텍처로 제공됩니다. 이전 세대에 비해 포드당 컴퓨팅 성능이 거의 3배 향상되고 프론티어 모델 개발 주기를 몇 달에서 몇 주로 단축하는 교육용 TPU 8t와 많은 전문 에이전트의 반복 작업을 위해 설계된 추론용 TPU 8i입니다. 양사는 TPU가 밀도가 높고 전문가가 혼합된 모델을 포함한 대규모 모델 교육 및 사후 교육은 물론 추론, 에이전트 및 장기 컨텍스트 애플리케이션을 위한 생산 추론을 지원할 수 있다고 말합니다.

Oracle의 내기: 하나의 클라우드에 여러 아키텍처가 있음

Oracle Cloud Infrastructure의 사장인 Mahesh Thiagarajan은 AI 워크로드마다 컴퓨팅 요구 사항이 다르며 Google TPU를 OCI에 도입하면 고객이 하나의 클라우드에서 여러 주요 AI 컴퓨팅 아키텍처에 액세스할 수 있다고 말했습니다. Google의 AI 및 인프라 부문 최고 기술 전문가이자 수석 부사장인 Amin Vahdat는 차세대 AI에는 다양한 범위의 컴퓨팅이 필요하며 TPU를 통해 더 많은 조직이 이 기술에 액세스할 수 있다고 말했습니다.

이와 별도로 같은 날 로이터 통신은 오라클이 최신 Vera Rubin AI 서버를 통해 Nvidia와의 거래를 수 기가와트 규모로 확장하고 있으며 내부 Acceleron 네트워킹 칩을 위해 일부 Nvidia 네트워킹 칩을 건너뛰고 Cerebras 및 SambaNova의 추론 칩을 제공할 계획이라고 보도했습니다. 오라클은 해당 거래의 가치를 공개하지 않았으며 TPU에 대한 OCI 가격도 발표되지 않았습니다. 실제 이점은 배포 세부 정보 및 워크로드 벤치마크에 따라 달라집니다.