El rendimiento de la IA de NVIDIA H100 aumenta hasta un 54% gracias a las optimizaciones

El miércoles, el equipo de MLCommons publicó los números de MLPerf 3.0 Inference, y hubo una presentación interesante de NVIDIA. Según se informa, NVIDIA ha utilizado la optimización de software para mejorar el ya asombroso rendimiento de su última GPU H100 hasta en un 54%. Como referencia, la GPU H100 de NVIDIA apareció por primera vez en MLPerf 2.1 allá por septiembre de 2022. En solo seis meses, los ingenieros de NVIDIA trabajaron en las optimizaciones de IA para la versión MLPerf 3.0 y descubrieron que la optimización básica del software puede catalizar aumentos de rendimiento de entre el 7 y el 54%. Las cargas de trabajo para medir la velocidad de inferencia incluían el reconocimiento del habla RNN-T, la generación de imágenes médicas 3D U-Net, la detección de objetos RetinaNet, la clasificación de objetos ResNet-50, la recomendación DLRM y el procesamiento del lenguaje natural BERT 99/99,9%.

Lo interesante es que la propuesta de NVIDIA está un poco modificada. Hay categorías abiertas y cerradas en las que los proveedores tienen que competir, donde cerrada es el equivalente matemático de una red neuronal. En cambio, la categoría abierta es flexible y permite a los fabricantes presentar resultados basados en optimizaciones de su hardware. El objetivo de la categoría cerrada es proporcionar una comparación de hardware "de igual a igual". Dado que NVIDIA ha optado por la categoría cerrada, no se tienen en cuenta las optimizaciones de rendimiento de otros fabricantes como Intel y Qualcomm. Aun así, es interesante comprobar que la optimización puede dar lugar a un aumento del rendimiento de hasta el 54% en el caso de NVIDIA con su GPU H100. Otro dato interesante es que algunos equipos comparables, como Qualcomm Cloud AI 100, Intel Xeon Platinum 8480+ y ReccAccel N3000 de NeuChips, no pudieron completar todas las cargas de trabajo. Esto se muestra con una "X" en las diapositivas elaboradas por NVIDIA, lo que subraya la necesidad de un soporte adecuado del software del sistema ML, que es el punto fuerte de NVIDIA y un amplio reclamo de marketing.

Fuente: vía Tom's Hardware