La startup de IA Etched presenta un ASIC Transformer que multiplica por 20 la velocidad de NVIDIA H100

Una nueva startup ha salido hoy del modo oculto para impulsar la próxima generación de IA generativa. Etched es una empresa que fabrica un circuito integrado de aplicación específica (ASIC) para procesar "Transformers". El transformador es una arquitectura para diseñar modelos de aprendizaje profundo desarrollada por Google y que ahora es el motor que impulsa modelos como el GPT-4o de OpenAI en ChatGPT, Antrophic Claude, Google Gemini y la familia Llama de Meta. Etched quiso crear un ASIC para procesar únicamente los modelos de transformador, fabricando un chip llamado Sohu. La afirmación es que Sohu supera a lo último y mejor de NVIDIA en todo un orden de magnitud. Mientras que una configuración de servidor con ocho clusters de GPU NVIDIA H100 procesa los modelos Llama-3 70B a 25.000 tokens por segundo, y el último cluster de ocho GPU B200 "Blackwell" procesa 43.000 tokens/s, los ocho clusters Sohu consiguen producir 500.000 tokens por segundo.

¿Por qué es importante? El ASIC no sólo multiplica por 20 el rendimiento de Hopper y por 10 el de Blackwell, sino que además sirve tantos tokens por segundo que permite una flota completamente nueva de aplicaciones de IA que requieren resultados en tiempo real. La arquitectura de Sohu es tan eficiente que puede utilizarse el 90% de los FLOPS, mientras que las GPU tradicionales cuentan con una tasa de utilización de FLOP del 30-40%. Esto se traduce en ineficiencia y desperdicio de energía, que Etched espera resolver construyendo un acelerador dedicado a los transformadores de potencia (la "T" de GPT) a escala masiva. Dado que el desarrollo del modelo de frontera cuesta más de mil millones de dólares estadounidenses, y los costes de hardware se miden en decenas de miles de millones de dólares, disponer de un acelerador dedicado a alimentar una aplicación específica puede ayudar a avanzar más rápido en la IA. Los investigadores de IA suelen decir que "escala es todo lo que necesitas" (parecido al legendario artículo "atención es todo lo que necesitas"), y Etched quiere basarse en ello.

Sin embargo, hay algunas dudas de cara al futuro. Aunque en general se cree que los transformadores son el "futuro" del desarrollo de la IA, tener un ASIC resuelve el problema hasta que cambien las operaciones. Por ejemplo, esto recuerda a la locura de la minería de criptomonedas, que trajo unos cuantos ciclos de mineros ASIC de criptomonedas que ahora son pedazos de arena sin valor, como los mineros de Ethereum solían minar la moneda ETH en la estaca de prueba de trabajo, y ahora que ETH ha hecho la transición a la prueba de estaca, los ASIC de minería de ETH no valen nada.

No obstante, Etched quiere que la fórmula del éxito sea sencilla: ejecutar modelos basados en transformadores en el ASIC de Sohu con un ecosistema de software de código abierto y escalarlo a tamaños masivos. Aunque los detalles son escasos, sabemos que el ASIC funciona con 144 GB de memoria HBM3E y que el chip se fabrica en el proceso de 4 nm de TSMC. Permitirá crear modelos de IA con 100 billones de parámetros, 8 veces más que el diseño de 1,8 billones de parámetros de GPT-4.

Fuente: Grabado