El presidente del Grupo SK advierte de que los clientes utilizarán menos memoria a menos que aumente la oferta de DRAM

Los fabricantes de memoria como Samsung, SK hynix y Micron se esfuerzan actualmente por encontrar el delicado equilibrio entre suministrar al mundo con suficiente DRAM y expandir su capacidad de producción mediante la colocación de grandes pedidos nuevos para las fábricas de semiconductores utilizadas para producir la memoria. Según el presidente de SK Group, Chey Tae-won, quien también supervisa SK hynix, si las empresas como SK hynix no aumentan su suministro de memoria, los clientes encontrarán formas de usar menos memoria optimizando su infraestructura y software para una utilización mucho menor. En la actualidad, los hiperescaladores y los fabricantes de aceleradores de IA como AMD, NVIDIA y otros están asegurando la mayor cantidad de memoria posible. Esto es parte de la expansión del centro de datos de IA, que requiere más GPU y CPU DRAM para admitir grandes carreras de entrenamiento y mantener la inferencia masiva del modelo, ahora alcanzando decenas de billones de parámetros y necesitando cientos de gigabytes de memoria del sistema para alojar un solo modelo para solo unos pocos usuarios.

Esta demanda ha creado un problema de la cadena de suministro en el que los fabricantes de memoria están vendiendo toda su DRAM disponible con meses de anticipación, pero dudan en expandir significativamente la capacidad de fabricación, a pesar de reconocer el aumento de la demanda hace años. Los fabricantes de memoria son los primeros en notar la creciente demanda, y su renuencia a aumentar la capacidad de fabricación está contribuyendo a la actual escasez de memoria. Sin embargo, también desconfían de la expansión de la capacidad de producción, ya que se necesitan años para construir nuevas fábricas de memoria, al igual que se espera que la demanda proyectada se estabilice. SK hynix ha ordenado acerca de 20 máquinas de bajo NA EUV de ASML para sus planes de expansión, que también apoyarán la producción futura de almacenamiento una vez que las herramientas estén operativas. Sin embargo, toda esta capacidad adicional todavía está a años de distancia, y permaneceremos en una situación difícil por un poco más de tiempo.

Finalmente, el presidente de SK Group, Chey Tae-won, destacó que los clientes están comenzando a usar técnicas de optimización para sus ejecuciones de capacitación en inteligencia artificial e inferencia, lo que conducirá a un menor uso de la memoria en general. Mediante el uso de formatos de datos de precisión más pequeños y mejores optimizaciones, los clientes pueden reducir significativamente la carga de memoria en su infraestructura. Sin embargo, un principio en la computación sugiere que siempre que hay un aumento en la eficiencia del hardware, el software se adapta rápidamente para consumir la diferencia y aumentar la carga. A medida que se realizan más optimizaciones para servir a los tokens de IA de manera eficiente, se producirá un mayor consumo de tokens. Ahora estamos esperando ver cómo este equilibrio entre la optimización del uso de la memoria, las mejoras de la cadena de suministro y otros factores se traducirá en futuras inversiones Fab de DRAM.

Fuente: @Jukan05 en X