Tiny Corp. crea una plataforma de IA con seis GPU AMD RX 7900 XT

Tiny Corp., especialista en estructuras de redes neuronales, ha revelado detalles íntimos sobre el desarrollo y la construcción en curso de su sistema "tinybox": "No creo que el secreto tenga mucho valor. Tenemos las piezas para fabricar 12 cajas y una carcasa que está muy cerca de ser definitiva". Vencer todos los errores de PCI-E AER fue difícil, como sabe cualquiera que haya intentado construir un sistema como este. Nuestra lista de materiales cuesta unos 10.000 dólares y los vendemos por 15.000 dólares. Hemos invertido un año de ingeniería en esto, es mucho más difícil de lo que parecía al principio. Puedes creerme o no, pero a menos que construyas grandes cantidades, estás haciendo un gran negocio por 15.000 dólares". La startup ha dado el inusual paso de integrar la actual GPU de videojuegos insignia de Team Red en su plataforma de cálculo de IA. El fundador de Tiny Corp, George Hotz, ha documentado en las redes sociales su rechazo al hardware de IA de NVIDIA, pero TinyBox no utilizará los últimos aceleradores Instinct MI300X de AMD. RDNA 3.0 parece preferible a CDNA 3.0, quizá debido a la creciente demanda de GPU de nivel empresarial.

El TinyBox 12U montado en bastidor alberga un procesador AMD EPYC 7532 con 128 GB de memoria RAM de sistema. Cinco unidades SSD SN850X de 1 TB se encargan de las tareas de almacenamiento (4 en raid, 1 para arranque), y una ranura OCP 3.0 16x desocupada se destina a tareas de red. Dos fuentes de alimentación de 1600 W proporcionan la potencia eléctrica necesaria. Las imágenes de las redes sociales de Tiny Corp. indican que han adquirido un montón de tarjetas gráficas XFX Speedster MERC310 RX 7900 XTX: seis unidades conectadas dentro de cada sistema TinyBox. La joven startup de Hotz tiene planes ambiciosos: "La imagen del sistema que viene con la caja será Ubuntu 22.04. Sólo incluirá tinygrad. Sólo incluirá tinygrad, pero PyTorch y la compatibilidad con JAX en AMD han avanzado mucho, y tu hardware es tu hardware. Hacemos dinero de cualquier manera, eres bienvenido a comprarlo para cualquier propósito. El objetivo de tiny corp es mercantilizar el petaflop, y creemos que tinygrad es la mejor manera de hacerlo. Resolver problemas en software es más barato que en hardware. tinygrad dilucidará la estructura profunda de lo que son las redes neuronales. Tenemos 583 prepedidos, y la semana que viene haremos un pedido de 100 juegos de piezas. Esto supone un desembolso de 1 millón de dólares. También enviaremos cinco de las 12 cajas que tenemos a algunas de las primeras personas con las que me he comunicado. Para todos los demás, empezarán a enviarse en abril. La línea de producción empezó a funcionar ayer".

Fuentes: TinyGrad.org, Tom's Hardware, Wccftech, Tinygrad Tweet