(1).jpg)
Hoy en Hot Chips 2024, FuriosaAI está descorriendo el telón sobre RNGD (pronunciado «Renegade»), nuestro nuevo acelerador de IA diseñado para modelos de gran lenguaje (LLM) de alto rendimiento y alta eficiencia e inferencia de modelos multimodales en centros de datos. Como parte de su presentación de Hot Chips, el cofundador y director ejecutivo de Furiosa, June Paik, comparte detalles técnicos y ofrece la primera visión práctica de la tarjeta RNGD en pleno funcionamiento.
Con un TDP de 150 vatios, una arquitectura de chip novedosa y una tecnología de memoria avanzada como HBM3, RNGD está optimizada para la inferencia con LLM exigentes y modelos multimodales. Se ha creado para ofrecer alto rendimiento, eficiencia energética y programabilidad en un solo producto, una trifecta que la industria ha tenido dificultades para lograr en las GPU y otros chips de IA.
Un hito clave para RNGD
Como sabrán los expertos del sector, el proceso de exprimir hasta la última gota de rendimiento de un chip requiere muchos pasos. Furiosa logró la plena puesta en marcha de RNGD apenas unas semanas después de obtener las primeras muestras de silicio, un plazo excepcionalmente rápido en la industria de los chips. TSMC entregó los primeros chips RNGD en mayo, arrancamos el hardware menos de una semana después y a principios de junio ya estábamos utilizando los modelos Llama 3.1 estándar del sector.
En julio empezamos a entregar el primer silicio de RNGD a los clientes de acceso anticipado y la semana pasada mostramos nuestra primera demostración privada. Aún queda mucho trabajo por hacer antes de que RNGD funcione en centros de datos de todo el mundo, pero hemos alcanzado un hito emocionante y nos complace poder compartir estas actualizaciones sobre nuestro progreso.
Próximas actualizaciones
Nuestra prioridad ahora es perfeccionar nuestra pila de software a medida que aumentamos la producción de RNGD. Esta hoja de ruta sigue nuestra exitosa trayectoria con el chip de primera generación de Furiosa, presentado en 2021.
Con nuestro producto de primera generación, destinado a aplicaciones de visión por ordenador en centros de datos e implantaciones de servidores periféricos, Furiosa presentó sus primeros resultados de referencia MLPerf tres semanas después de recibir el primer silicio. A continuación, utilizamos mejoras del compilador para lograr un aumento del rendimiento del 113% en la siguiente presentación de MLPerf seis meses después.
Esta es una trayectoria típica para el nuevo silicio. Por ejemplo, seis meses después de lanzar su potente chip H100 y enviarlo a MLPerf, NVIDIA anunció mejoras de rendimiento 2,4 veces superiores conseguidas íntegramente mediante mejoras de software.
El proceso será similar con RNGD. En estos momentos, un solo RNGD genera unas 12 consultas por segundo al ejecutar el modelo GPT-J 6B, pero esperamos que esa cifra aumente a medida que perfeccionemos nuestra pila de software en las próximas semanas y meses. También compartimos las cifras de rendimiento objetivo de los RNGD en varios LLM:
.png)
Commentaires