Intel logra la primera y única compatibilidad total con NPU en el benchmark MLPerf Client v0.6

Intel ha anunciado hoy que es la única compañía que logra compatibilidad total con unidades de procesamiento neural (NPU) en el recién publicado benchmark MLPerf Client v0.6. El resultado marca la primera evaluación estandarizada del sector del rendimiento de los modelos de grandes lenguajes (LLM) en las NPU cliente. Las mediciones de Intel de MLPerf Client v0.6 muestran que los procesadores Intel Core Ultra Serie 2 pueden producir resultados tanto en la unidad de procesamiento gráfico (GPU) como en la NPU mucho más rápido de lo que puede leer una persona normal.

"Estamos orgullosos de liderar el sector en lo que respecta a la aceleración total de la NPU y el rendimiento de la GPU líder del sector para cargas de trabajo de IA en plataformas de PC cliente. Este éxito refleja la profunda cooptimización hardware-software de Intel y su compromiso con la democratización de la IA para los PC de todo el mundo", afirma Daniel Rogers, vicepresidente y director general de Marketing de Productos para PC de Intel.

Con sus procesadores Intel Core Ultra Serie 2, Intel está a la vanguardia de la evolución de la IA para PC, ofreciendo un rendimiento informático sin precedentes que abarca la unidad central de procesamiento (CPU), la GPU y la NPU".

MLPerf Client v0.6 mide cuatro casos de uso de generación y resumen de contenidos basados en el modelo Llama 2 7B. Intel demostró un desempeño líder en la NPU y la GPU Intel Arc incorporada.

Intel logró el tiempo de respuesta de la NPU más rápido, generando la primera palabra en sólo 1,09 segundos (latencia del primer token), lo que significa que empieza a responder casi inmediatamente después de recibir una solicitud. También obtuvo el mayor rendimiento de la NPU con 18,55 tokens por segundo, lo que se refiere a la rapidez con la que el sistema puede generar cada pieza adicional de texto, lo que permite una interacción de IA en tiempo real sin interrupciones. Además, en comparación con la competencia, Intel demostró el liderazgo de la GPU en tiempo hasta el primer token, comenzando más rápido que la competencia y reforzando su ventaja de aceleración de IA de extremo a extremo de NPU y GPU.

Acerca de las pruebas de NPU en MLPerf: Desarrollado en colaboración por los miembros del consorcio MLCommons (Intel, AMD, Microsoft, NVIDIA y Qualcomm), MLPerf Client v0.6 va más allá de las pruebas anteriores centradas en la GPU e incluye ahora pruebas de NPU específicas.

Gracias a la estrecha colaboración entre los equipos de hardware de NPU de Intel y de software de OpenVINO, los procesadores Intel Core Ultra siguen siendo las únicas NPU que logran la conformidad completa de NPU en la prueba de rendimiento final.