AMD lanza ROCm 7.0, con un aumento del rendimiento de hasta 3,8 veces con respecto a ROCm 6.0

AMD presentó hoy ROCm 7.0, una actualización masiva de su plataforma de software de GPU abierta para cargas de trabajo de IA a través de bastidores de centro de datos e incluso dispositivos de cliente. El lanzamiento se centra en el soporte de la nueva serie de acelerador Instinct MI350, construida en CDNA 4. Fija las refinaciones a nivel de hardware, incluyendo la utilización avanzada de HBM y el manejo ampliado de los datos, con mejoras de software diseñadas para mejorar el rendimiento tanto para entrenamiento como para inferencia. AMD clasifica esta versión como un paso generacional que amplía las opciones de despliegue para las empresas, desde servidores de un solo nodo hasta clústeres multirack. Los puntos de referencia de la compañía compartidos con los socios indican ganancias múltiples con respecto a versiones anteriores de ROCm 6.0 en tareas seleccionadas de gran modelo, y AMD muestra una integración más estrecha con pilas de servicio de código abierto para ayudar a los equipos a pasar de prototipo a producción más rápidamente.

Bajo el capó, ROCm 7.0 ofrece avances algorítmicos y de sistemas destinados a reducir costos y mejorar la utilización: mayor atención y razonamiento primitivos, técnicas escasas de mezcla de expertos, y soporte para los formatos de precisión FP4, V FP6, y FP8 que intercambian un poco de precisión para ahorros masivos de memoria. ROCm 7.0 también se centra en la escala y la manejabilidad mediante la habilitación de comunicaciones dirigidas por GPU, la inferencia distribuida entre los ganglios con compatibilidad con la compatibilidad de vLLM-d y DeepEP, y herramientas de clústeres como AMD Resource Manager y una nueva IA Workbench para la orquestación y el monitoreo. Para suavizar la adopción, AMD proporciona imágenes de Docker preconstruidas con ejemplos de modelos cuantificados y pilas llave en mano para marcos comunes. AMD también está ampliando el soporte de endpoints a procesadores de IA Ryzen y GPUs de la serie Radeon RX, por lo que los desarrolladores pueden desplegar tuberías consistentes desde dispositivos de borde hasta bastidores en la nube. ROCm 7 ya está disponible a través de los recursos de desarrolladores de AMD, con documentación, ejemplos y apoyo empresarial para ayudar a los equipos a empezar.

  

Fuente: AMD