Las GPU Intel Arc Pro serie B y Xeon 6 brillan en MLPerf Inference v5.1

Hoy, MLCommons lanzó sus últimos puntos de referencia MLPerf Inference v5, mostrando resultados en 6 puntos de referencia clave para Intel's GPU Systems con Intel Xeon con P-cores e gráficos Intel Arc Pro B60, estaciones de trabajo de inferencia denominadas Project Battlematrix. En Llama 8B, Intel Arc Pro B60 resultados por dólar ventajas de hasta 1,25x y hasta 4x en comparación con NVIDIA RTX Pro 6000 y L40S respectivamente. Los resultados subrayan el rendimiento y la accesibilidad de una plataforma de todo Intel que aborda las nuevas cargas de trabajo de inferencia de IA en estaciones de trabajo de alta gama y aplicaciones de borde.

"Los resultados de MLPerf v5.1 son una poderosa validación de la estrategia de Intel GPU y IA. Nuestras GPUs de la serie B Arc Pro con una nueva pila de software optimizada para la inferencia permiten a los desarrolladores y empresas desarrollar e implementar aplicaciones impulsadas por IA con estaciones de trabajo de inferencia que son poderosas, simples de configurar, con un precio accesible y escalable". - Lisa Pearce, vicepresidenta corporativa de Intel y gerente general de Software, GPU y NPU IP Group.

 

Hasta ahora, existían opciones limitadas para los profesionales que priorizaban plataformas capaces de ofrecer un alto rendimiento de inferencia sin comprometer la privacidad de los datos o incurrir en costos de suscripción pesadas vinculados a los modelos de IA patentados, pero requerían capacidades para implementar grandes modelos de lenguaje (LLM).

Estos nuevos sistemas de GPU de Intel, con nombre en código Project Battlematrix, están diseñados para satisfacer las necesidades de la inferencia moderna de la IA y proporcionan una plataforma de inferencia todo en uno que combina hardware y software validados a toda pila.

Los sistemas de GPU de Intel tienen como objetivo simplificar la adopción y facilidad de uso con una nueva solución contenedorizada construida para entornos Linux, optimizada para ofrecer un rendimiento de inferencia increíble con escalado multi-GPU y transferencias de datos PCIe P2P, y diseñadas para incluir características de fiabilidad y manejabilidad de clase empresarial como ECC, SRIOV, telemetría y actualizaciones de firmware remoto.

Las CPU siguen desempeñando un papel vital en los sistemas de IA. Como centro de orquestación, la CPU maneja el preprocesamiento, la transmisión y la coordinación general del sistema. Las mejoras sostenidas de Intel en el rendimiento de IA basada en CPU en los últimos cuatro años han establecido Intel Xeon como la CPU preferida para hospedar y gestionar cargas de IA en sistemas impulsados por GPU.

Intel también sigue siendo el único proveedor que envía resultados de CPU de servidor a MLPerf, demostrando liderazgo y un profundo compromiso de acelerar las capacidades de inferencia de IA en arquitecturas de cómputo y acelerador. En particular, Intel Xeon 6 con P-cores logró una mejora del rendimiento de 1.9x gen-over-gen en MLPerf Inferencia v5.1.

Fuentes: Intel, MLCommons