NVIDIA y Mistral AI se asocian para acelerar el desarrollo de una nueva familia de modelos abiertos

Ayer, Mistral AI La familia Mistral 3 anuncia De modelos multilingües, multimodales de código abierto, optimizados en plataformas de supercomputación y edge de NVIDIA. Mistral Large 3 es un modelo de mezcla de expertos (MoE): en lugar de encender cada neurona por cada token, solo activa las partes del modelo con el mayor impacto. El resultado es una eficiencia que ofrece una escala sin desperdicio, precisión sin compromiso y hace que la IA empresarial no solo sea posible, sino también práctica. Los nuevos modelos de Mistral AI ofrecen una precisión y eficiencia líderes en la industria para la IA empresarial. Estará disponible en todas partes, desde la nube hasta el centro de datos hasta el borde, a partir del martes, diciembre. 2.

Con parámetros activos 41B, parámetros totales 675B y una gran ventana de contexto de 256K, Mistral Large 3 ofrece escalabilidad, eficiencia y adaptabilidad para cargas de trabajo de IA empresariales. Combinando Sistemas NVIDIA GB200 NVL72 y la arquitectura MoE de Mistral AI, las empresas pueden implementar y escalar de manera eficiente modelos de IA masiva, beneficiándose del paralelismo avanzado y las optimizaciones de hardware. Esta combinación hace que el anuncio sea un paso hacia la era de lo que Mistral AI llama "inteligencia distribuida", lo que cierra la brecha entre los avances de la investigación y las aplicaciones del mundo real.

   

La arquitectura de MoE granular del modelo desbloquea los beneficios de rendimiento completo del paralelismo experto a gran escala al aprovechar el dominio de memoria coherente de NVIDIA NVLink y utilizar amplias optimizaciones de paralelismo de expertos. Estos beneficios se acumulan con optimizaciones de inferencia desglosadas por NVIDIA Dynamo y NVFP4 de baja precisión, lo que garantiza un rendimiento máximo para la capacitación e inferencia a gran escala. En el GB200 NVL72, Mistral Large 3 logró una ganancia de rendimiento de 10x en comparación con la generación anterior de NVIDIA H200. Esta ganancia generacional se traduce en una mejor experiencia de usuario, menor costo por token y mayor eficiencia energética.

Mistral AI no solo está impulsando el estado de la técnica para los modelos de lenguaje grandes fronterizos; también lanzó nueve modelos de lenguaje pequeños que ayudan a los desarrolladores a ejecutar la IA en cualquier lugar. La suite compacta Ministral 3 está optimizada para funcionar en las plataformas de borde de NVIDIA, incluidas NVIDIA Spark, PC y portátiles RTX y dispositivos NVIDIA Jetson. Para ofrecer el máximo rendimiento, NVIDIA colabora en los principales marcos de inteligencia artificial como Llama.cpp y Ollama para ofrecer el máximo rendimiento en las GPU NVIDIA en el borde. En este momento, los desarrolladores y entusiastas pueden probar la suite Ministral 3 a través de Llama.cpp y Ollama para una IA rápida y eficiente en el borde.

 

La familia de modelos Mistral 3 está abiertamente disponible, lo que permite a los investigadores y desarrolladores de todo el mundo experimentar, personalizar y acelerar la innovación de la IA al tiempo que democratizan el acceso a tecnologías de clase frontera. Al vincular los modelos de Mistral AI a las herramientas NVIDIA NeMo de código abierto para el desarrollo del ciclo de vida de los agentes de IA, Data Designer, Customizer, Guardrails y NeMo Agent Toolkit, las empresas pueden personalizar aún más estos modelos para sus propios casos de uso, lo que hace que sea más rápido pasar del prototipo a la producción.

Y para lograr la eficiencia de la nube a la vanguardia, NVIDIA ha optimizado los marcos de inferencia, incluidos NVIDIA TensorRT-LLM, SGLang y vLLM para la familia de modelos Mistral 3. Mistral 3 está disponible hoy en día en las principales plataformas de código abierto y proveedores de servicios en la nube. Además, se espera que los modelos se puedan implementar pronto como los microservicios NVIDIA NIM.

Dondequiera que la IA necesite ir, estos modelos están listos.

Fuente: Blog de NVIDIA