(1).jpg)
AMD ha anunciado hoy que Oracle Cloud Infrastructure (OCI) ha elegido los aceleradores AMD Instinct MI300X con software abierto ROCm para alimentar su nueva instancia OCI Compute Supercluster llamada BM.GPU.MI300X.8. Para modelos de IA que pueden incluir cientos de miles de millones de parámetros, el supercluster OCI con AMD MI300X admite hasta 16.384 GPU en un único clúster aprovechando la misma tecnología de tejido de red ultrarrápida utilizada por otros aceleradores en OCI. Diseñadas para ejecutar las cargas de trabajo de IA más exigentes, como la inferencia y el entrenamiento de grandes modelos de lenguaje (LLM), que requieren un alto rendimiento con una capacidad de memoria y un ancho de banda líderes, estas instancias de OCI bare metal ya han sido adoptadas por empresas como Fireworks AI.
«Según Andrew Dieckmann, vicepresidente corporativo y director general del área de GPU para centros de datos de AMD, «AMD Instinct MI300X y el software abierto ROCm siguen ganando impulso como soluciones de confianza para alimentar las cargas de trabajo de IA OCI más críticas. «A medida que estas soluciones se expanden aún más en los crecientes mercados intensivos de IA, la combinación beneficiará a los clientes de OCI con alto rendimiento, eficiencia y mayor flexibilidad de diseño del sistema.»
«Las capacidades de inferencia de los aceleradores AMD Instinct MI300X se suman a la amplia selección de instancias bare metal de alto rendimiento de OCI para eliminar la sobrecarga del cómputo virtualizado comúnmente utilizado para la infraestructura de IA», dijo Donald Lu, vicepresidente senior de desarrollo de software de Oracle Cloud Infrastructure. «Estamos encantados de ofrecer más opciones a los clientes que buscan acelerar las cargas de trabajo de IA a un precio competitivo.»
Aportando rendimiento de confianza y opciones abiertas para el entrenamiento y la inferencia de IA
El AMD Instinct MI300X se sometió a pruebas exhaustivas que fueron validadas por OCI que subrayaron sus capacidades de inferencia y entrenamiento de IA para servir casos de uso de latencia óptima, incluso con tamaños de lote más grandes, y la capacidad de ajustar los modelos LLM más grandes en un solo nodo. Estos resultados de rendimiento de Instinct MI300X han llamado la atención de los desarrolladores de modelos de IA.
Fireworks AI ofrece una plataforma rápida diseñada para construir y desplegar IA generativa. Con más de 100 modelos, Fireworks AI está aprovechando las ventajas de rendimiento encontradas en OCI utilizando AMD Instinct MI300X.
.png)
Комментарии