Bosgame demuestra IA privada escalable con un clúster AI MAX+ 395 de 7 nodos.

Bosgame, una marca de productos electrónicos de base tecnológica, ha demostrado la inferencia distribuida del modelo DeepSeek-V3.1 671B-parameter en su AI MAX + 395 7-Node Cluster. Construido a partir de siete PC Bosgame M5 AI Mini conectados a través de USB4 Direct Connection, el sistema presenta un enfoque escalable para la implementación privada de IA y la inferencia del modelo local de lenguaje grande (LLM).

A medida que los modelos de IA continúan expandiéndose en tamaño y complejidad de parámetros, una sola PC AI puede carecer de la memoria y los recursos informáticos necesarios para cargas de trabajo avanzadas. Si bien los servidores de IA tradicionales pueden proporcionar la potencia de computación necesaria, sus altos costos de implementación y complejidad de infraestructura pueden limitar la adopción. Por lo tanto, las empresas y los desarrolladores están explorando arquitecturas de escalabilidad que admiten modelos más grandes al tiempo que proporcionan una mayor flexibilidad que las implementaciones de servidores de IA convencionales.

En este contexto, el Bosgame AI Cluster ofrece un enfoque modular y rentable que crece con las necesidades de los usuarios.

La demostración de Bosgame muestra cómo siete M5 AI Mini PCs pueden operar como un Clúster de IA unificado. Al distribuir el proceso de inferencia a través de múltiples nodos, el clúster soporta modelos que pueden exceder la capacidad de memoria de un sistema independiente. Su capacidad para ejecutar el modelo DeepSeek-V3.1 671B destaca el potencial de la computación distribuida para aplicaciones de IA generativa implementadas localmente.

A través de siete nodos, el clúster proporciona 896 GB de memoria unificada, con hasta 672 GB asignados como VRAM unificada, creando un grupo de recursos sustancial para cargas de trabajo de IA intensivas en memoria. La conexión directa USB4 permite que los nodos trabajen juntos sin requerir una arquitectura de servidor centralizada tradicional.

Diseñado en torno a una arquitectura modular de escalado, el Bosgame AI Cluster permite a las organizaciones y desarrolladores comenzar con un M5 AI Mini PC y ampliar la capacidad a medida que evolucionan los requisitos del proyecto. Este modelo de expansión flexible apoya el crecimiento basado en la carga de trabajo y ofrece una alternativa más simple a los servidores de IA tradicionales al tiempo que alinea la inversión en infraestructura con las necesidades informáticas reales.

Más allá de la inferencia de IA, la plataforma también admite el desarrollo de IA local a través de un servicio de API local impulsado por Llama.cpp. El clúster se puede utilizar para el desarrollo de software, la depuración, las operaciones de Kubernetes, las iniciativas de IA empresarial y las aplicaciones informáticas de inteligencia artificial de vanguardia. Al mantener las cargas de trabajo y los datos en la infraestructura local, las organizaciones pueden mantener un mayor control sobre la gestión de datos y los entornos de implementación.

La demostración refleja la creciente demanda de una infraestructura de IA privada escalable capaz de soportar modelos cada vez más grandes. A través de la inferencia distribuida, la expansión modular y la implementación local, Bosgame tiene como objetivo proporcionar opciones informáticas flexibles para empresas, desarrolladores y aplicaciones de inteligencia artificial de vanguardia.

Fuente: Bosgame