El acelerador Intel Gaudi 2 AI potencia la generación de texto Llama 2

La campaña publicitaria de Intel "AI Everywhere" ha generado el mayor ruido en los segmentos mainstream y empresarial. Gaudi, la familia de aceleradores de aprendizaje profundo de Team Blue, no suele aparecer en los titulares. Su modelo de generación actual, Gaudi 2, se ve eclipsado por las alternativas Team Green y Red, según el discurso de marketing oficial de Intel: "rinde de forma competitiva en el entrenamiento y la inferencia de aprendizaje profundo, con un rendimiento hasta 2,4 veces más rápido que NVIDIA A100". Habana, una filial de Intel, lleva tiempo trabajando en la optimización de la inferencia de Large Language Model (LLM) en Gaudí 1 y 2. A finales de febrero, su cooperación con Hugging Face había dado resultados impresionantes. Siddhant Jagtap, científico de datos de Intel, ha demostrado: "lo fácil que es generar texto con la familia de modelos Llama 2 (7b, 13b y 70b) utilizando Optimum Habana y una clase de canalización personalizada".

Jagtap considera que la gente podrá: "ejecutar los modelos con unas pocas líneas de código" en los aceleradores Gaudi 2; además, el hardware de Intel es capaz de aceptar solicitudes únicas y múltiples. La clase de canalización personalizada "se ha diseñado para ofrecer una gran flexibilidad y facilidad de uso. Además, proporciona un alto nivel de abstracción y realiza la generación de texto de extremo a extremo, lo que implica preprocesamiento y postprocesamiento". Su artículo/blog esboza varios prerrequisitos y métodos para poner en marcha la generación de texto Llama 2 en Gaudí 2. Jagtap concluye que Habana/Intel ha: "presentado una canalización de generación de texto personalizada en el acelerador de IA Intel Gaudi 2 que acepta una o varias indicaciones como entrada. Este proceso ofrece una gran flexibilidad en cuanto al tamaño del modelo y a los parámetros que afectan a la calidad de la generación de texto. Además, es muy fácil de usar e integrar en tus scripts, y es compatible con LangChain". Hugging Face considera que Gaudi 2 ofrece aproximadamente el doble de velocidad de procesamiento que NVIDIA A100 80 GB tanto en escenarios de entrenamiento como de inferencia. Intel ha anunciado la tercera generación de aceleradores Gaudi y los expertos del sector creen que las soluciones de próxima generación están diseñadas para competir con las GPU de IA Team Green H100.

Fuentes: Hugging Face Blog, Wccftech, BNN Breaking