Micron ofrece el SOCAMM2 de mayor capacidad del sector para DRAM de bajo consumo en centros de datos de IA.

En una era de innovación y crecimiento de IA sin precedentes, todo el ecosistema de centros de datos se está transformando hacia una infraestructura más eficiente energéticamente para apoyar el crecimiento sostenible. Con la memoria jugando un papel cada vez más crítico en los sistemas de inteligencia artificial, las soluciones de memoria de baja potencia se han convertido en un elemento central de esta transformación. Micron Technology, Inc. anunció hoy el muestreo de clientes de 192 GB SOCAMM2 (pequeños módulos de memoria adjunta de compresión de contorno) para permitir una adopción más amplia de la memoria de baja potencia dentro de los centros de datos de IA. SOCAMM2 amplía las capacidades del primer LPDRAM SOCAMM de Micron, que ofrece un 50% más de capacidad en la misma huella compacta. La capacidad añadida puede reducir significativamente el tiempo hasta el primer token (TTFT) en más del 80% en cargas de trabajo de inferencia en tiempo real.

El SOCAMM2 de 192 GB utiliza la tecnología de proceso de DRAM de 1 gamma más avanzada de Micron para ofrecer una mejora superior al 20% en la eficiencia energética, lo que permite aún más la optimización del diseño de energía de grandes clústeres de centros de datos. Estos ahorros se vuelven bastante significativos en las instalaciones de inteligencia artificial de rack completo, que pueden incluir más de 40 terabytes de memoria principal de DRAM de baja potencia conectada a la CPU. El diseño modular de SOCAMM2 mejora la capacidad de servicio y sienta las bases para la futura expansión de la capacidad.

 

Sobre la base de una colaboración de cinco años con NVIDIA, Micron fue pionera en el uso de la memoria del servidor de baja potencia en el centro de datos. SOCAMM2 ofrece las ventajas inherentes de LPDDR5X, un consumo de energía excepcionalmente bajo y un alto ancho de banda, a la memoria principal de los sistemas de inteligencia artificial. Diseñado para satisfacer las demandas cambiantes de las plataformas de inteligencia artificial de contexto masivo, SOCAMM2 proporciona el alto rendimiento de datos requerido para las cargas de trabajo de IA al tiempo que ofrece nuevos niveles de eficiencia energética, estableciendo un nuevo estándar para la capacitación en inteligencia artificial y los sistemas de inferencia. Esta combinación de ventajas hará de SOCAMM2 una solución de memoria clave para las plataformas de inteligencia artificial de vanguardia en los próximos años.

"A medida que las cargas de trabajo de IA se vuelven más complejas y exigentes, los servidores de centros de datos deben lograr una mayor eficiencia, entregando más tokens para cada vatio de potencia", dijo Raj Narasimhan, vicepresidente senior y gerente general de la Unidad de Negocio de Memoria en la Nube de Micron. "El liderazgo probado de Micron en DRAM de baja potencia garantiza que nuestros módulos SOCAMM2 proporcionen el rendimiento de datos, la eficiencia energética, la capacidad y la calidad de clase de centro de datos esenciales para alimentar la próxima generación de servidores de centros de datos de IA".

A través de características de diseño especializadas y pruebas mejoradas, los productos Micron SOCAMM2 transforman la DRAM de baja potencia, inicialmente diseñada para teléfonos móviles, en soluciones de clase centro de datos. La amplia experiencia en memoria DDR de centro de datos de alta calidad ayuda a Micron a garantizar que SOCAMM2 cumpla con los estrictos requisitos de calidad y fiabilidad de nuestros clientes del centro de datos.

SOCAMM2 mejora la eficiencia energética en más de dos tercios en comparación con los RDIMM equivalentes, mientras que empaqueta su rendimiento en un módulo de un tercio del tamaño, optimizando la huella del centro de datos y maximizando la capacidad y el ancho de banda. El diseño modular de SOCAMM y la innovadora tecnología de apilamiento mejoran la facilidad de servicio y ayudan al diseño de servidores refrigerados por líquido.

Micron ha participado activamente en la definición de especificación JEDEC SOCAMM2 y está trabajando estrechamente con los socios de la industria para impulsar estándares que acelerarán la adopción de baja potencia en los centros de datos de inteligencia artificial para mejorar la eficiencia energética en toda la industria. Las muestras de clientes de SOCAMM2 se envían ahora en capacidades de hasta 192 GB por módulo y se aceleran hasta 9.6 Gbps, con una producción de alto volumen alineada con los horarios de lanzamiento del cliente.

Fuente: Micron