SK hynix unveils innovative AiM solution to accelerate AI at AI Infra Summit 2025

SK Hynix mostró su solución de memoria de IA mejorada basada en AiM en la I Infra Summit 2025 en Santa Clara, California del 9 al 11 de septiembre, destacando su liderazgo tecnológico en futuros servicios de IA. Los líderes de la industria mundial de IA en la empresa y la investigación se reunieron en la cumbre para demostrar las últimas tecnologías de infraestructura de hardware y software. Anteriormente conocido como la AI Hardware & Edge AI Summit, el evento atrajo a más de 3.500 asistentes y más de 100 socios bajo el lema "Poderizar la IA Rápida, Efficient & Affordable".

En la cumbre, SK Hynix reveló los últimos acontecimientos en su solución AiM, AiMX, con sede en PIM. En su stand operado bajo el lema "Boost Your AI: AiM is What You All Need", la compañía publicó demostraciones en vivo de un sistema de servidor Supermicro (GPU SuperServer SYS-421GE-TNRT3) con dos GPUs NVIDIA H100 y cuatro de sus tarjetas AiMX. Los visitantes pudieron ver el rendimiento del sistema en condiciones del mundo real, presenciando de primera mano las capacidades tecnológicas y la competitividad de AiM.

    

La manifestación también destacó cómo escalar el muro de memoria en las inferencias de LLM. En los sistemas de GPU, tanto los procesos vinculados a la computación como los de memoria se manejan juntos, lo que puede llevar a ineficiencias a medida que aumentan las solicitudes de usuario o longitudes de contexto. En contraste, un sistema de inferencia desagregado basado en AiMX divide su carga de trabajo en dos fases distintas: la etapa de memoria ejecutada en el acelerador AiMX y la fase de ajuste de cómputo que se ejecuta en la GPU. Esta asignación de carga de trabajo permite al sistema procesar simultáneamente más solicitudes de los usuarios y mayores indicaciones de entrada.

SK hynix también introdujo las mejoras de software en su tarjeta AiMX. La aplicación del marco vLLM ampliamente utilizado en el desarrollo de servicios de IA no sólo aumentó la funcionalidad, sino que también proporcionó un apoyo estable durante una generación simbólica larga, incluso en modelos de razonamiento que implican procesos de inferencia complejos.

Con su arquitectura actualizada y su software mejorado, la nueva solución basada en AiM aborda los desafíos de costos, rendimiento y consumo de energía en la gestión de servicios de LLM, al tiempo que reduce los costos operativos en comparación con los sistemas de solo GPU.

En el segundo día del evento, el vicepresidente Euicheol Lim, jefe de Tecnología Avanzada de Solución, subió al escenario para una presentación. Titulado "Memory/Storage: Aplastar el Muro de Costo Token de LLM Service: Attention Offloading With PIM - GPU Heterogeneous System", la sesión de Lim esbozó métodos para reducir los costos de procesamiento simbólico en los servicios de LLM y destacó el impacto de la tecnología de memoria de IA en la transformación digital de las industrias.

 

La IA Infra Summit 2025 presentó el estado actual de la infraestructura de IA, que abarca desde hardware hasta centros de datos e industrias de IA de vanguardia. De cara al futuro, SK Hynix se ha comprometido a fortalecer su liderazgo tecnológico ofreciendo soluciones emergentes de memoria de IA que aborden los desafíos de los futuros servicios de IA.

Fuente:SK hynix