Intel lanza el acelerador de IA Gaudi 3: entrenamiento un 70% más rápido, inferencia un 50% más rápida en comparación con NVIDIA H100, y promete también una mayor eficiencia

Durante el evento Vision 2024, Intel anunció su último acelerador de IA Gaudi 3, que promete mejoras significativas con respecto a su predecesor. Intel afirma que Gaudi 3 ofrece hasta un 70% de mejora en el rendimiento de entrenamiento, un 50% más de inferencia y un 40% más de eficiencia que los procesadores H100 de Nvidia. El nuevo acelerador de IA se presenta como una tarjeta complementaria PCIe Gen 5 de doble ranura con un TDP de 600 W o un módulo OAM de 900 W. La tarjeta PCIe tiene el mismo rendimiento pico de 1.835 TeraFLOPS de FP8 que el módulo OAM a pesar de un TDP 300 W inferior. La versión PCIe funciona como un grupo de cuatro por sistema, mientras que los módulos OAM HL-325L pueden ejecutarse en una configuración de ocho aceleradores por servidor. Esto probablemente se traducirá en un menor rendimiento sostenido, dado el menor TDP, pero confirma que se utiliza el mismo silicio, sólo que afinado con una frecuencia más baja. Fabricado en el nodo N5 de 5 nm de TSMC, el acelerador de inteligencia artificial cuenta con 64 núcleos sensores que duplican y cuadruplican el rendimiento FP8 y FP16 de la generación anterior de Gaudi 2.

El chip Gaudi 3 AI viene con 128 GB de HBM2E con 3,7 TB/s de ancho de banda y 24 NIC Ethernet de 200 Gbps, con NIC duales de 400 Gbps utilizadas para el escalado. Todo ello se distribuye en 10 mosaicos que conforman el acelerador Gaudí 3, que puedes ver en la siguiente imagen. Hay 96 MB de SRAM repartidos entre dos mosaicos de cálculo, que actúan como caché de bajo nivel que sirve de puente para la comunicación de datos entre los núcleos sensores y la memoria HBM. Intel también ha anunciado la compatibilidad con el nuevo formato de datos estandarizado MXFP4, que mejora el rendimiento, y está desarrollando un NIC ASIC de inteligencia artificial para redes conformes con el Consorcio Ultra Ethernet. Gaudi 3 admite clústeres de hasta 8192 tarjetas, procedentes de 1024 nodos compuestos por sistemas con ocho aceleradores. Su producción en serie está prevista para el tercer trimestre y ofrece una alternativa rentable a los aceleradores NVIDIA con la promesa adicional de un ecosistema más abierto. Encontrará más información y un análisis más detallado en el Whitepaper de Gaudi 3.

Fuentes: Intel, Tom's Hardware