NVIDIA y las fábricas de IA: Cuanto más compres, más fabricarás

Cómo la plataforma de fábrica de IA de NVIDIA equilibra el máximo rendimiento y la mínima latencia, optimizando la inferencia de IA para impulsar la próxima revolución industrial. Cuando pedimos a la IA generativa que responda a una pregunta o cree una imagen, grandes modelos de lenguaje generan tokens de inteligencia que se combinan para proporcionar el resultado. Una pregunta. Un conjunto de fichas para la respuesta. Esto se llama inferencia de IA. La IA agenética utiliza el razonamiento para completar tareas. Los agentes de IA no se limitan a dar respuestas de una sola vez. Desglosan las tareas en una serie de pasos, cada uno con una técnica de inferencia diferente. Una pregunta. Muchos conjuntos de fichas para completar la tarea.

• 

• 

• 

Los motores de la inferencia de IA se denominan fábricas de IA: infraestructuras masivas que sirven IA a millones de usuarios a la vez. Las fábricas de IA generan tokens de IA. Su producto es la inteligencia. En la era de la IA, esta inteligencia genera ingresos y beneficios. El aumento de los ingresos a lo largo del tiempo depende de la eficiencia de la fábrica de IA a medida que se amplía. Las fábricas de IA son las máquinas de la próxima revolución industrial.

• 

• 

Las fábricas de IA tienen que equilibrar dos exigencias contrapuestas para ofrecer una inferencia óptima: la velocidad por usuario y el rendimiento global del sistema. Las fábricas de IA pueden mejorar ambos factores mediante la ampliación a más FLOPS y mayor ancho de banda. Pueden agrupar y procesar cargas de trabajo de IA para maximizar la productividad. Pero, en última instancia, las fábricas de IA están limitadas por la potencia a la que pueden acceder.

En una fábrica de IA de 1 megavatio, NVIDIA Hopper genera 180.000 tokens por segundo (TPS) a máximo volumen, o 225 TPS para un usuario a la máxima velocidad. Pero el verdadero trabajo tiene lugar en el espacio intermedio. Cada punto a lo largo de la curva representa lotes de cargas de trabajo que la fábrica de IA debe procesar, cada uno con su propia mezcla de demandas de rendimiento. Las GPU NVIDIA tienen la flexibilidad necesaria para manejar todo este espectro de cargas de trabajo porque pueden programarse utilizando el software NVIDIA CUDA.

La arquitectura Blackwell de NVIDIA puede hacer mucho más con 1 megavatio que la arquitectura Hopper... y hay más en camino. La optimización de las pilas de software y hardware significa que Blackwell se vuelve más rápida y eficiente con el tiempo. Blackwell recibe otro impulso cuando los desarrolladores optimizan las cargas de trabajo de la fábrica de IA de forma autónoma con NVIDIA Dynamo, el nuevo sistema operativo para fábricas de IA.

Dynamo descompone las tareas de inferencia en componentes más pequeños, enrutando y redirigiendo dinámicamente las cargas de trabajo a los recursos de cálculo más óptimos disponibles en cada momento. Las mejoras son notables. En un solo salto generacional de la arquitectura de procesadores de Hopper a Blackwell, podemos conseguir una mejora de 50 veces en el rendimiento del razonamiento de IA utilizando la misma cantidad de energía.

Así es como la integración completa y el software avanzado de NVIDIA proporcionan a los clientes aumentos masivos de velocidad y eficiencia en el tiempo entre generaciones de arquitecturas de chips.

Esta curva se amplía con cada generación, desde el hardware hasta el software, desde la computación hasta las redes. Y con cada avance en el rendimiento, la IA puede generar billones de dólares de productividad para los socios y clientes de NVIDIA en todo el mundo, a la vez que nos acerca un paso más a la curación de enfermedades, la reversión del cambio climático y el descubrimiento de algunos de los mayores secretos del universo.

Esto es computación convertida en capital y progreso.

Fuente: NVIDIA