ASUS Announces the UGen300 USB AI Accelerator

ASUS anunció hoy el acelerador de inteligencia artificial USB UGen300, el primer dispositivo USB AI de ASUS, que ofrece un rendimiento de inferencia directamente a cualquier dispositivo. Una versión M.2 también está disponible. Este delgado acelerador de IA mide 105 x 50 x 18 mm y cuenta con el procesador Hailo-10H AI que ofrece 40 TOPS de IA de potencia dedicada para soportar modelos de lenguaje grandes como LLM, VLM y más. UGen300 incluye 8 GB de memoria dedicada LPDDR4 y se conecta a otros dispositivos a través de una interfaz USB-C, consumiendo solo 2.5 vatios de potencia bajo cargas de trabajo típicas. El conveniente diseño plug-and-play garantiza la compatibilidad multiplataforma con Windows, Linux y Android. UGen300 también es compatible con los principales marcos de inteligencia artificial como TensorFlow, PyTorch y ONNX, desde el primer momento.

"Al integrar el Hailo-10H en un dispositivo USB ubicuo, ASUS trae toda la potencia de la IA y la IA generativa a todos", dijo Max Glover, Director de Ingresos de Hailo. "Estamos entusiasmados de ver cómo nuestra comunidad de desarrolladores utilizará este acelerador plug-and-play para ampliar los límites de la IA en el dispositivo. Así es exactamente como Hailo visualiza el futuro de la IA: accesible, asequible y diseñado para que cualquiera pueda construir con él".

Inigualable rendimiento de la IA de la generación de la ventaja

El Ascuedro ASUS UGen300 USB AI tiene un procesador Hailo-10H AI incorporado que ofrece 40 TOPS de IA de rendimiento dedicado y está optimizado para cargas de trabajo de IA generativas, incluidas la inferencia de LLM y las tareas de visión-lenguaje. Complementa la CPU y las NPU del dispositivo host y proporciona aceleración de la IA para liberar los recursos del sistema, lo que permite la inferencia de IA generativa en el dispositivo sin depender de la computación en la nube.

En comparación con la IA basada en la nube, los usuarios de UGen300 no pagan suscripción mensual, no experimentan latencia y disfrutan de una confiabilidad y privacidad sin igual. El UGen300 puede ejecutar exigentes aplicaciones de Gen AI, como generación de texto, resumen de video, activación de eventos, voz a acción y percepción en tiempo real. Su diseño de baja potencia consume solo 2,5 vatios de potencia para permitir una inteligencia artificial eficiente y de alto rendimiento en el borde.

8 GB de memoria LPDDR4

ASUS UGen300 ha integrado 8 GB de memoria dedicada LPDDR4 para cálculos de IA estables y grandes ejecuciones de modelos. Permite a los sistemas host que carecen de capacidades de inteligencia artificial para ejecutar herramientas de inteligencia artificial de manera efectiva, recogiendo cargas de trabajo de inteligencia artificial pesadas para garantizar un equilibrio óptimo del sistema al tiempo que maximiza la eficiencia y el potencial multitarea. A diferencia de las NPU típicas que comparten la memoria del sistema, la arquitectura de RAM dedicada de UGen300 evita cuellos de botella y garantiza un rendimiento constante para los desarrolladores y profesionales que ejecutan tuberías de IA complejas.

Comodidad plug-and-play

La interfaz USB 3.1 Gen 2 Type-C ofrece comodidad plug-and-play para proporcionar un verdadero acelerador de inteligencia artificial de borde agnóstico de la plataforma que es compatible con dispositivos industriales y de consumo. ASUS UGen300 ofrece soporte multiplataforma en los ecosistemas de Windows, Linux y Android, así como una amplia compatibilidad con los principales marcos de inteligencia artificial, incluidos TensorFlow, PyTorch y ONNX. UGen300 es ideal para desarrolladores, educadores y proveedores de soluciones integradas que necesitan una potencia informática escalable y portátil.

UGen300 está respaldado por un ecosistema optimizado diseñado para acelerar el desarrollo de la IA. La próxima UGen Utility permitirá una validación rápida utilizando más de 100 modelos preentrenados para un inicio fácil. Los usuarios también pueden conectarse a la Comunidad de Desarrolladores de Hailo para tutoriales, diseños de referencia e información compartida para ayudar a los desarrolladores a crear e implementar aplicaciones de inteligencia artificial de borde más rápido.

https://www.youtube.com/watch?v=Pg5hse3lfMs

Fuente: ASUS