MangoBoost logra resultados récord en MLPerf Inference v5.0 con AMD Instinct MI300X
4 abr 2025
3 min de lectura
MangoBoost, un proveedor de soluciones de sistema de vanguardia diseñadas para maximizar la eficiencia del centro de datos de IA, ha establecido un nuevo punto de referencia en la industria con su última presentación de MLPerf Inference v5.0. El software Mango LLMBoost AI Enterprise MLOps de la compañía ha demostrado un rendimiento sin precedentes en las GPU AMD Instinct MI300X, ofreciendo los resultados más altos jamás registrados para Llama2-70B en la categoría de inferencia offline. Este hito marca el primer resultado de inferencia MLPerf multinodo en las GPU AMD Instinct MI300X. Al aprovechar la potencia de 32 GPU MI300X distribuidas en cuatro nodos del servidor, Mango LLMBoost ha superado todos los resultados de inferencia MLPerf anteriores, incluidos los de competidores que utilizaban GPU NVIDIA H100.
Rendimiento y rentabilidad incomparables
La presentación de MLPerf de MangoBoost demuestra una ventaja de rendimiento del 24% sobre el mejor resultado de MLPerf publicado por Juniper Networks utilizando 32 GPU NVIDIA H100. Mango LLMBoost logró 103.182 tokens por segundo (TPS) en el escenario offline y 93.039 TPS en el escenario de servidor con GPU AMD MI300X, superando el mejor resultado anterior de 82.749 TPS con GPU NVIDIA H100. Además de un rendimiento superior, Mango LLMBoost + MI300X ofrece importantes ventajas económicas. El precio de las GPU AMD MI300X oscila entre 15.000 y 17.000 dólares, frente a los 32.000-40.000 dólares que cuestan las GPU NVIDIA H100 (fuente: Tom's Hardware-H100 vs. MI300X Pricing)-, por lo que Mango LLMBoost proporciona hasta un 62% de ahorro de costes al tiempo que mantiene el rendimiento de inferencia líder del sector.
En términos de rentabilidad, el sistema Mango LLMBoost + MI300X ofrece aproximadamente 2,8 veces más rendimiento de inferencia por cada 1.000 dólares gastados que el sistema basado en H100, lo que lo convierte en la opción más clara para implantaciones de alto rendimiento y presupuesto ajustado.
Mango LLMBoost: Una solución MLOps escalable y flexible desde el punto de vista del hardware
Mango LLMBoost es un software de inferencia de IA de nivel empresarial que proporciona escalabilidad sin fisuras y compatibilidad entre plataformas. Es compatible con más de 50 modelos abiertos, incluidos Llama, Qwen y DeepSeek, con implementación de una línea a través de Docker y API integradas compatibles con OpenAI. El software está preparado para la nube -disponible en AWS Marketplace, Microsoft Azure Marketplace y Google Cloud Platform- y también está disponible para su despliegue en las instalaciones de las empresas que requieran un control y una seguridad totales.
Entre las capacidades clave de Mango LLMBoost se incluyen:
Paralelización automática: distribuye de forma eficiente modelos de gran tamaño entre las GPU y los nodos.
Auto Config Tuning: optimiza los parámetros de ejecución en función de las características de la carga de trabajo.
Auto Context Scaling: adapta dinámicamente el uso de la memoria para maximizar la utilización de la GPU.
Despliegue automático desagregado: garantiza un despliegue flexible en múltiples etapas de inferencia.
Colaboración con AMD: liberar todo el potencial de las GPU MI300X
Los resultados récord de MangoBoost se han logrado gracias a la estrecha colaboración con AMD, que ha aprovechado la pila de software ROCm para maximizar el rendimiento de las GPU MI300X. Esta colaboración ha dado lugar a una solución de inferencia de IA escalable y eficiente que puede implantarse en clusters de uno o varios nodos con facilidad.
Extensión del liderazgo en rendimiento a AWS y más allá
Además de los resultados de MLPerf, Mango LLMBoost se ha probado exhaustivamente en varias configuraciones en la nube y en las instalaciones. En una configuración de 8 × GPU NVIDIA A100 de AWS, Mango LLMBoost logró una inferencia hasta 138 veces más rápida que Ollama y superó significativamente a HuggingFace TGI y vLLM en múltiples tamaños de modelos, incluidos LLaMA3.1-70B, DeepSeek-R1-Distill-Qwen-32B y LLaMA3.1-8B. En términos de rentabilidad, Mango LLMBoost también lidera el grupo con el menor coste de GPU por millón de tokens, reduciendo el coste de inferencia en más de un 99% en comparación con Ollama, y en más de un 30% incluso en comparación con vLLM en cargas de trabajo de alto rendimiento.
.png)
Comentarios