El chip de IA Gelix 1 de una startup de Singapur —con CPU de 20 núcleos y un ancho de banda de 273 GB/s— superaría al M4 Pro en inferencia de IA y permitiría ejecutar modelos de lenguaje (LLM)

El Mac mini popularizó el pequeño factor de forma para ejecutar agentes de IA, gracias a los potentes chipsets y la memoria unificada adecuada. Al adoptar este enfoque, la startup singapurense Acrab cree que tiene el competidor perfecto en forma de un chip de IA llamado Gelix 1. Con una CPU ARM de 20 núcleos y fabricada en el proceso de 5 nm, la compañía afirma que puede vencer al M4 Pro más antiguo de Apple en inferencia de IA y ejecutar hasta 100 mil millones de modelos de parámetros.

Los propios puntos de referencia de Acrab revelan que el Gelix 1 logró una tasa de pre-llenado de 1.416 tokens por segundo cuando se ejecuta Gemma 26B

Las capacidades de inferencia de IA del Gelix 1 son alimentadas por su unidad de procesamiento neuronal multinúcleo, y su enfoque de memoria unificada permite que el chip de IA de Acrab obtenga un ancho de banda de 273GB/s. Curiosamente, esta figura coincide con el ancho de banda del M4 Pro y, al igual que el Mac mini, el Gelix 1 también está diseñado para funcionar en una carcasa compacta sin rendimiento ni limitaciones térmicas.

En el lado de referencia de las cosas, Acrab afirma que el Gelix 1 logró una tasa de pre-llenado de 1.416 tokens por segundo ejecutando un modelo Gemma 26B con una ventana de contexto de 40.000 tokens. En comparación, el M4 Pro Mac mini logró solo 188 tokens por segundo en la misma prueba. DigiTimes ha informado que las verificaciones independientes aún no se han hecho, por lo que es imperativo que los lectores traten estos datos con una pizca de sal por ahora.

Obviamente, hay varias preguntas evidentes, como la afirmación de Acrab de poder ejecutar modelos de IA de 100B. El M4 Pro Mac mini está actualmente limitado a 48GB de RAM unificada, que debería pasar por 35B LLMs. Sin embargo, un modelo 100B requerirá 128GB de memoria unificada, que podría ser la configuración máxima del Gelix 1. La CPU ARM de 20 núcleos suena extrañamente familiar para DGX Spark y RTX Spark de NVIDIA, por lo que estamos más que emocionados de ver si alberga el mismo procesador de MediaTek.

Los consumidores y las empresas con problemas de privacidad y latencia pueden impulsar el Gelix 1, lo que les permite ejecutar modelos de IA más grandes mientras ocupan una cantidad insignificante de espacio en el escritorio. Lamentablemente, los detalles de precios y disponibilidad son actualmente desconocidos, pero si alguien planea ejecutar modelos 100B localmente, su flujo de trabajo deseado no conducirá a una configuración asequible.

Fuente: Wccftech