La Intel Arc Pro B70 ofrece un aumento del 80 % en MLPerf Inference v6.0, mientras que las GPU Arc Pro B60 existentes registran un aumento del 18 % gracias a las optimizaciones de IA

Intel acaba de publicar sus últimos benchmarks de MLPerf Inference v6.0, mostrando un fuerte rendimiento con las GPU Arc Pro B70 y Arc Pro B60.

Las Continuas Optimizaciones De IA De Intel Ofrecen Un Aumento Del 18% Para Las GPU Arc Pro Existentes, Mientras Que Arc Pro B70 Ofrece Un 80% De Elevación Sobre Arc Pro B60.

MLCommons acaba de publicar sus últimos puntos de referencia en MLPerf Inference v6.0, que muestran el rendimiento de la inferencia de IA de varias GPU y CPU. Los resultados de hoy son especiales para Intel, ya que son el primer escaparate de sus últimas GPU Arc Pro, el Arc Pro B70 y el Arc Pro B65, que se dieron a conocer recientemente, y cuentan con el chip Big Battlemage.

Los resultados de hoy se llevaron a cabo en un sistema de cuatro GPU compuesto por las GPU Arc Pro B70 y Arc Pro B65 de Intel, que transportan hasta 128 GB de VRAM, que pueden ejecutar fácilmente modelos de parámetros 120B. El sistema utilizaba las últimas CPUs Xeon 6 de Intel y ofrecía un rendimiento de inferencia un 80% más alto que el buque insignia anterior, el Arc Pro B60 (24 GB por GPU).

Intel MLPerf v6.0 GPT-OSS-120B Inferencia Benchmark:

GPU Config	Offline (Tokens/s)	Servidor (Tokens/s)
4 x Arc Pro B70 (128 GB)	1536.90	951,67
4 x Arc Pro B60 Dual (192 GB)	1601.91	884.24
4 x Arc Pro B60 (96 GB)	841.04	452.19

Intel MLPerf v6.0 llama2-70b-99 Inferencia Benchmark:

GPU Config	Offline (Tokens/s)	Servidor (Tokens/s)
4 x Arc Pro B70 (128 GB)	2459.18	1698.57
4 x Arc Pro B60 Dual (192 GB)	3270.66	2199.50
4 x Arc Pro B60 (96 GB)	1697.66	1106.26

Intel MLPerf v6.0 llama3.1 8b Inferencia Benchmark:

GPU Config	Offline (Tokens/s)	Servidor (Tokens/s)
4 x Arc Pro B60 Dual (192 GB)	52.83	49.17
4 x Arc Pro B70 (128 GB)	36.07	32.58
4 x Arc Pro B60 (96 GB)	26.15	24.57
4 x Arc Pro B50 (64 GB)	13.45	9.27
2 x Xeon 6 (128 Núcleos)	9.61	3.68

Si bien la mejora del rendimiento de la GPU a la GPU es excelente, Intel también ha mostrado las optimizaciones de software de inteligencia artificial que ha realizado, lo que logra un aumento del 18% en las GPU existentes como el Arc Pro B60.

Además de las GPU, Intel también está enviando sus CPU Xeon 6 a MLPerf Inference v6.0. La última línea Xeon 6 con P-Cores ofrece una ganancia de rendimiento de generación del 90% con características incorporadas como AMX y AVX-512.

Los sistemas de GPU Intel, que cuentan con GPU Intel Arc Pro B70/B65 recientemente lanzadas, están diseñados para satisfacer las necesidades de la inferencia moderna de IA y proporcionan una plataforma de inferencia todo en uno que combina hardware y software validados de pila completa. Con una capacidad de memoria mejorada, su objetivo es simplificar la adopción y la facilidad de uso con una solución en contenedores diseñada para entornos Linux, optimizada para ofrecer un rendimiento de inferencia increíble con escalado multi-GPU y transferencias de datos PCIe P2P, y diseñada para incluir características de confiabilidad y capacidad de gestión de clase empresarial como ECC, SRIOV, telemetría y actualizaciones de firmware remotas. Por ejemplo, en comparación con las soluciones de GPU de la competencia comparable, el Intel Arc Pro B70 es capaz de manejar modelos y ventanas de contexto significativamente más grandes en configuraciones de múltiples GPU, alimentando hasta 1.6x tanta capacidad de caché KV cuando se ejecutan modelos más grandes. La inferencia de IA se define cada vez más no solo por el rendimiento de la GPU, sino también por el rendimiento acelerado por la CPU del sistema. La CPU, que da forma a la eficiencia general del clúster y el costo total de propiedad, también es responsable de funciones críticas como la gestión de la memoria, la orquestación de tareas y la distribución de la carga de trabajo, al tiempo que garantiza la seguridad, la confiabilidad y la continuidad operativa esenciales para la infraestructura de IA moderna. Intel continúa siendo el único proveedor de procesadores de servidor que presenta resultados de CPU independientes para los puntos de referencia de inferencia de MLPerf, subrayando su liderazgo y su fuerte compromiso con el avance de la inferencia de IA en plataformas centradas en computación y aceleradoras. Como la CPU host más utilizada en sistemas acelerados de IA, con más de la mitad de los envíos de MLPerf 6.0 impulsados por Xeon, Intel refuerza aún más su posición en el núcleo de la infraestructura de IA de la industria. Este liderazgo se extiende al silicio en sí: los procesadores Intel Xeon 6 con núcleos P entregados hasta una ganancia de rendimiento generacional de 1.9x en MLPerf Inference v5.1, mientras que las tecnologías de aceleración de IA incorporadas como AMX y AVX512 permiten que las cargas de trabajo como la inferencia LLM, el ajuste fino y el aprendizaje automático clásico funcionen de manera eficiente sin la necesidad de hardware de acelerador dedicado. Vía Intel

Es bueno ver a Intel continuar optimizando sus GPU y CPU existentes para la inferencia, y eso se muestra en los puntos de referencia de MLPerf Inference v6.0. El Arc Pro es una tarjeta muy potente para la IA, ya que trae 32 GB de VRAM y muchos cálculos de IA por menos de $ 1000 US. Se espera que la GPU alcance la disponibilidad de la venta al por menor pronto.

Fuente: Wccftech