Google prepara TPUv8ax para el entrenamiento y TPUv8x para la inferencia.

La infraestructura de inteligencia artificial personalizada de Google está comenzando a atraer intereses externos, y la compañía ha desarrollado dos nuevas versiones de TPU: una diseñada para la inferencia de IA y otra optimizada para la capacitación. Con la octava generación de diseños de TPU, Google ha presentado el TPUv8ax "Sunfish" para entrenar modelos de IA como Gemini, y el TPUv8x "Zebrafish" para la inferencia del modelo a gran escala. Para "Sunfish", Google se ha asociado con Broadcom y su equipo de diseño personalizado, que maneja diseño de extremo a extremo, memoria, hardware de soporte y empaque, proporcionando a Google un producto terminado listo para la integración en su extensa infraestructura de servidores.

Para el "Zebrafish" centrado en la inferencia TPUv8x, Google ha solicitado la asistencia de MediaTek, pero solo en una capacidad limitada. Google está abasteciendo obleas y memoria directamente de los proveedores, mientras que MediaTek contribuye a apoyar los chips y los esfuerzos de empaque, áreas donde Google tiene una experiencia limitada. Esto significa que muchos esfuerzos de diseño de chips ahora se procesan internamente, lo que facilita la dependencia de los socios externos. Sin embargo, dado que Google aún no está al día con el diseño de chip de pila completa, todavía se necesita ayuda. Las cifras de rendimiento concretos y las capacidades de memoria aún se desconocen. Sin embargo, esperamos otro salto sobre el TPUv7 "Ironwood", que lleva 4.614 TeraFLOPS con precisión FP8 y 192 GB de memoria HBM.

 

La startup de Ilya Sutskever, Safe Superintelligence Inc. (SSI), tiene Según se informa, se asociaron Con Google Cloud para aprovechar la potencia de computación TPUv7. Además, Anthropic ha Ampliar su uso TPUv7 de Google Cloud, lo que resulta en algunas inferencias de modelos de Claude que se realizan en "Ironwood". La demanda de TPU de Google es tan alta que se estima que Google proporcionará millones de ellos a clientes externos, ya que están diseñados para un escalado masivo, una excelente inferencia y capacitación, y un buen costo total de propiedad. El modelo Gemini 3 de Google ha sido entrenado y ahora se sirve exclusivamente en TPUs, sin GPU NVIDIA o AMD involucradas.

Fuente: Semianálisis