Intel presenta los resultados de Gaudi 2 en el nuevo benchmark de MLCommons

Hoy, MLCommons ha publicado los resultados de su benchmark de rendimiento de IA del sector, MLPerf Training v4.0. Los resultados de Intel demuestran la capacidad de elección que los aceleradores de IA Intel Gaudi 2 ofrecen a empresas y clientes. El software basado en la comunidad simplifica el desarrollo de la IA generativa (GenAI) y la red Ethernet estándar del sector permite la ampliación flexible de los sistemas de IA. Por primera vez en el benchmark MLPerf, Intel presentó resultados en un gran sistema Gaudi 2 (1,024 aceleradores Gaudi 2) entrenado en Intel Tiber Developer Cloud para demostrar el rendimiento y la escalabilidad de Gaudi 2 y la capacidad de la nube de Intel para entrenar el modelo de benchmark de parámetros GPT-3 175B1 de MLPerf.

"El sector tiene una necesidad clara: abordar las carencias de la oferta empresarial actual de IA generativa con opciones de computación de alto rendimiento y eficiencia. Los últimos resultados de MLPerf publicados por MLCommons ilustran el valor único que Intel Gaudi aporta al mercado, ya que las empresas y los clientes buscan sistemas más rentables y escalables con redes estándar y software abierto, lo que hace que GenAI sea más accesible para más clientes", afirma Zane Ball, vicepresidente corporativo de Intel y director general de gestión de productos DCAI.

Cada vez más clientes quieren beneficiarse de GenAI pero no pueden hacerlo debido a los costes, la escala y los requisitos de desarrollo. El año pasado, sólo el 10% de las empresas consiguieron poner en producción proyectos de GenAI, por lo que las ofertas de Intel en IA abordan los retos a los que se enfrentan las empresas a la hora de ampliar las iniciativas de IA". Intel Gaudi 2 es una solución accesible y escalable que ha demostrado su capacidad para entrenar fácilmente grandes modelos de lenguaje (LLM) de 70.000 a 175.000 millones de parámetros. El acelerador Intel Gaudi 3, que se lanzará próximamente, aportará un salto en rendimiento, así como apertura y opciones a la GenAI empresarial.

Los resultados de MLPerf demuestran que Gaudí 2 sigue siendo la única alternativa a Nvidia H100 para la computación de inteligencia artificial. Entrenado en Tiber Developer Cloud, los resultados de GPT-3 de Intel para el tiempo de entrenamiento (TTT) de 66,9 minutos en un sistema de IA de 1.024 aceleradores Gaudi demuestran el sólido rendimiento de escalado de Gaudi 2 en LLM ultra grandes dentro de un entorno de nube de desarrollador.

El conjunto de pruebas comparativas incluyó una nueva medición: el ajuste fino del modelo de parámetros de Llama 2 70B mediante adaptadores de bajo rango (LoRa). El ajuste fino de los LLM es una tarea común para muchos clientes y profesionales de la IA, lo que la convierte en una prueba comparativa relevante para las aplicaciones cotidianas. La propuesta de Intel logró un tiempo de entrenamiento de 78,1 minutos en ocho aceleradores Gaudi 2. Intel utilizó software de código abierto de Optimum Habana para la presentación, aprovechando Zero-3 de DeepSpeed para optimizar la eficiencia de la memoria y el escalado durante el entrenamiento de grandes modelos, así como Flash-Attention-2 para acelerar los mecanismos de atención. El grupo de trabajo del benchmark -dirigido por los equipos de ingeniería de Intel Habana Labs y Hugging Face- es responsable del código de referencia y de las reglas del benchmark.

Cómo Intel Gaudi proporciona a los clientes valor en IA: Hasta la fecha, los elevados costes han dejado fuera del mercado a demasiadas empresas. Gaudi está empezando a cambiar esta situación. En Computex, Intel anunció que un kit de IA estándar que incluye ocho aceleradores Intel Gaudi 2 con una placa base universal (UBB) ofrecido a los proveedores de sistemas a 65.000 dólares se estima que cuesta un tercio de lo que cuestan las plataformas comparables de la competencia. Un kit que incluya ocho aceleradores Intel Gaudi 3 con una UBB se ofrece a 125.000 dólares, lo que se estima que supone dos tercios del coste de plataformas comparables de la competencia.

La prueba está en el creciente impulso. Los clientes utilizan Gaudi por el valor que aporta con ventajas de precio-rendimiento y accesibilidad, entre ellos:

Naver, un proveedor surcoreano de servicios en la nube y motor de búsqueda líder que atiende a más de 600 millones de usuarios, está construyendo un nuevo ecosistema de IA y reduciendo las barreras para permitir la adopción a gran escala de LLM al reducir los costes de desarrollo y los plazos de los proyectos para sus clientes.

AI Sweden, una alianza entre el gobierno sueco y empresas privadas, aprovecha Gaudí para el ajuste fino con contenido municipal específico del dominio para mejorar la eficiencia operativa y mejorar los servicios públicos para los electores de Suecia.

Cómo Intel Tiber Developer Cloud apoya a los clientes que acceden a Gaudí: Tiber Developer Cloud proporciona a los clientes una plataforma única, gestionada y rentable para desarrollar e implementar modelos, aplicaciones y soluciones de IA, desde nodos individuales hasta una gran capacidad informática a nivel de clúster. Esta plataforma aumenta el acceso a Gaudí para las necesidades de computación de IA. En Tiber Developer Cloud, Intel facilita el acceso a sus aceleradores, CPUs, GPUs, una pila abierta de software de IA y otros servicios. Seekr, cliente de Intel, ha lanzado recientemente su nuevo producto SeekrFlow, una plataforma de desarrollo de IA de confianza, para dar servicio a sus clientes desde la nube de desarrolladores de Intel.

Según CIO.com, Seekr citó un ahorro de costes de entre el 40% y el 400% de la nube de desarrolladores Tiber para determinadas cargas de trabajo de IA en comparación con los sistemas in situ con GPU de otro proveedor y con otro proveedor de servicios en la nube, junto con un entrenamiento de IA un 20% más rápido y una inferencia de IA un 50% más rápida que in situ.

Próximos pasos: Intel presentará los resultados de MLPerf basados en el acelerador Intel Gaudi 3 AI en el próximo benchmark de inferencia. Se prevé que los aceleradores Intel Gaudi 3 proporcionen un salto en el rendimiento para el entrenamiento y la inferencia de IA en LLM y modelos multimodales populares, y estarán disponibles de forma generalizada a través de los fabricantes de equipos originales en otoño de 2024.