Intel no competirá pronto contra el dominio de la IA de gama alta de NVIDIA y comienza a despedir a más de 2.200 trabajadores en todo EE.UU.

Intel está tomando un camino diferente con sus chips aceleradores Gaudi 3. Se mantiene alejada del mercado de alta demanda para el entrenamiento de grandes modelos de IA, que tanto éxito ha dado a NVIDIA. En su lugar, Intel quiere ayudar a las empresas que necesitan soluciones de IA más baratas para entrenar y ejecutar modelos específicos más pequeños y opciones de código abierto. En un evento reciente, Intel habló de la «ventaja de rendimiento en precio» de Gaudi 3 sobre la GPU H100 de NVIDIA para tareas de inferencia. Intel afirma que Gaudi 3 es más rápida y rentable que la H100 cuando se ejecutan modelos Llama 3 y Llama 2 de diferentes tamaños.

Intel también afirma que Gaudi 3 es tan eficiente desde el punto de vista energético como la H100 para la inferencia de modelos lingüísticos de gran tamaño (LLM) con salidas de tokens pequeñas y lo hace incluso mejor con salidas más grandes. La compañía sugiere incluso que Gaudi 3 supera al más reciente H200 de NVIDIA en rendimiento de inferencia LLM para salidas de tokens grandes. Sin embargo, Gaudi 3 no está a la altura de la H100 en cuanto al rendimiento global de las operaciones de coma flotante en formatos de 16 y 8 bits. En matemáticas matriciales de precisión en coma flotante de 8 bits y bfloat16, Gaudí 3 alcanza los 1.835 TFLOPS en cada formato, mientras que el H100 alcanza los 1.979 TFLOPS en BF16 y los 3.958 TFLOPS en FP8.

 

En una entrevista con CRN, Anil Nanduri, responsable de la oficina de aceleración de IA de Intel, afirmó que las decisiones de compra de infraestructura de entrenamiento de IA se han centrado principalmente en el rendimiento más que en el coste.

"Y si se piensa en ese contexto, existe un beneficio para el titular, ya que toda la investigación de modelos de frontera, todas las capacidades se desarrollan en la plataforma de facto en la que se está construyendo, se está investigando y, en esencia, también se está optimizando inconscientemente. Y luego hacer esa migración [a una plataforma diferente] es un trabajo.

Lo que estamos empezando a ver es que la gente se cuestiona el [retorno de la inversión], el coste, la potencia y todo lo demás. Aquí es donde -no tengo una bola de cristal- pero la forma en que lo pensamos es, ¿quieres un modelo gigante que lo sepa todo?», Anil Nanduri, responsable de la oficina de aceleración de IA de Intel.

Intel cree que, para muchas empresas, la respuesta es «no» y que, en su lugar, optarán por modelos más pequeños basados en tareas con menos exigencias de rendimiento. Nanduri afirma que, si bien Gaudi 3 no puede «alcanzar» a las últimas GPU de NVIDIA, desde el punto de vista del rendimiento frente a frente, los chips Gaudi 3 son ideales para que los sistemas adecuados ejecuten modelos basados en tareas y de código abierto.

En otro orden de cosas, Intel ha anunciado importantes recortes de plantilla en varios estados como parte de su plan más amplio de reducción de plantilla. La empresa eliminará 1.300 puestos en Oregón, 385 en Arizona, 319 en California y 251 en Texas. Intel tiene más de 23.000 empleados en Oregón, 12.000 en Arizona, 13.500 en California y 2.100 en Texas. Los despidos tendrán lugar en un periodo de 14 días a partir del 15 de noviembre.

  Fuentes: CRN,Data Center Dynamics