SK hynix presenta la solución AiMX mejorada en la AI Hardware and Edge AI Summit 2024

SK hynix ha presentado una tarjeta mejorada basada en Accelerator-in-Memory (AiMX) en la AI Hardware & Edge AI Summit 2024 celebrada del 9 al 12 de septiembre en San José, California. Organizada anualmente por Kisaco Research, la cumbre reúne a representantes del ecosistema de IA y aprendizaje automático para compartir avances y desarrollos del sector. El evento de este año se centró en explorar la eficiencia energética y de costes en toda la pila tecnológica. En su cuarta participación en la cumbre, SK hynix destacó cómo sus productos AiM pueden impulsar el rendimiento de la IA en centros de datos y dispositivos periféricos

Lo más destacado del stand: Conozca el AiMX actualizado

En la era de la IA, los productos de memoria de alto rendimiento son vitales para el buen funcionamiento de los LLM. Sin embargo, a medida que estos LLM se entrenan en conjuntos de datos cada vez más grandes y continúan expandiéndose, crece la necesidad de soluciones más eficientes. SK hynix responde a esta demanda con su producto PIM AiMX, una tarjeta aceleradora de IA que combina múltiples GDDR6-AiM para proporcionar un gran ancho de banda y una extraordinaria eficiencia energética. En la AI Hardware & Edge AI Summit 2024, SK hynix presentó su prototipo actualizado de AiMX de 32 GB, que ofrece el doble de capacidad que la tarjeta original presentada en el evento del año pasado. Para destacar las avanzadas capacidades de procesamiento de la nueva AiMX en un entorno multilote, SK hynix realizó una demostración de la tarjeta prototipo con el modelo Llama 3 70B, un LLM de código abierto. En concreto, la demostración subrayó la capacidad de AiMX para servir de acelerador de atención altamente eficaz en los centros de datos.

AiMX aborda los retos de coste, rendimiento y consumo de energía asociados a los LLM no sólo en centros de datos, sino también en dispositivos periféricos y aplicaciones de IA en dispositivos. Por ejemplo, cuando se aplica a aplicaciones móviles de IA en dispositivos, AiMX triplica la velocidad de los LLM en comparación con la DRAM móvil y mantiene el mismo consumo de energía.

Presentación destacada: Aceleración de los servicios LLM desde los centros de datos hasta los dispositivos periféricos

El último día de la cumbre, SK hynix ofreció una presentación en la que detalló cómo AiMX es una solución óptima para acelerar los servicios LLM en centros de datos y dispositivos periféricos. Euicheol Lim, investigador y director del equipo Solution Advanced Technology, compartió los planes de la empresa para desarrollar productos AiM para IA en dispositivos basados en DRAM móvil y reveló la visión de futuro de AiM. Para concluir, Lim destacó la importancia de colaborar estrechamente con las empresas dedicadas al desarrollo y la gestión de centros de datos y sistemas periféricos para seguir avanzando en los productos AiMX.

Mirando hacia el futuro: La visión de SK hynix para AiMX en la era de la IA

La AI Hardware & Edge AI Summit 2024 proporcionó una plataforma para que SK hynix demostrara las aplicaciones de AiMX en LLM en centros de datos y dispositivos edge. Como solución de memoria de alta velocidad y bajo consumo capaz de gestionar grandes cantidades de datos, AiMX está llamada a desempeñar un papel clave en el avance de los LLM y las aplicaciones de IA.

Fuente: SK hynix