AMD lanza ROCm 6.3 con SGLang, compilador Fortran, FFT multinodo, bibliotecas de visión y mucho más

AMD ha lanzado la nueva versión ROCm 6.3 que introduce varias nuevas características y optimizaciones, incluyendo la integración de SGLang para acelerar la inferencia de IA, un FlashAttention-2 rediseñado para optimizar el entrenamiento y la inferencia de IA, la introducción de la Transformada Rápida de Fourier (FFT) multi-nodo, un nuevo compilador Fortran, y librerías de visión por ordenador mejoradas como rocDecode, rocJPEG, y rocAL.

Según AMD, el SGLang, un tiempo de ejecución que ahora es compatible con ROCm 6.3, está diseñado específicamente para optimizar la inferencia en modelos como LLM y VLM en GPUs AMD Instinct, y promete un rendimiento 6 veces superior y un uso mucho más sencillo gracias a los contenedores ROCm Docker integrados en Python y preconfigurados. Además, AMD ROCm 6. 3 también aporta nuevas optimizaciones del transformador con FlashAttention-2, que debería aportar mejoras significativas en el paso hacia delante y hacia atrás en comparación con FlashAttention-1, un compilador Fortran de AMD completamente nuevo con descarga directa de la GPU, compatibilidad con versiones anteriores e integración con núcleos HIP y bibliotecas ROCm, un nuevo soporte de FFT multinodo en rocFFT, que simplifica el escalado multinodo y mejora la escalabilidad, así como librerías de visión por computador mejoradas, rocDecode, rocJPEG y rocAL, para soporte de códecs AV1, descodificación JPEG acelerada en la GPU y mejor aumento del audio.

AMD ha destacado que ROCm 6.3 sigue «ofreciendo herramientas de vanguardia para simplificar el desarrollo y mejorar el rendimiento y la escalabilidad de las cargas de trabajo de IA y HPC», además de seguir adoptando el espíritu del código abierto y evolucionando para satisfacer las necesidades de los desarrolladores. Puedes consultar más detalles en el centro de documentación de ROCm o en los blogs de ROCm de AMD.

Fuente: AMD