Micron explora el uso de memoria flash NAND cercana a la GPU para ejecutar LLM de mayor tamaño.

Según los informes, Micron está explorando la idea de desarrollar módulos Flash NAND de alta resistencia que se colocarían más cerca de la GPU, en lugar de ubicarse muy lejos en la piscina de almacenamiento detrás de múltiples protocolos. Se dice que la compañía está investigando formas de acercar a NAND Flash para manejar cargas de trabajo que no requieren la latencia y el ancho de banda de los módulos tradicionales de HBM o DRAM regulares. Esta arquitectura, actualmente conocida como "NAND cercana a la GPU", serviría como un punto medio entre la densidad y la durabilidad. Este concepto permitiría a las GPU acceder a un grupo de Flash NAND que tiene una densidad más baja que el TLC convencional o QLC NAND, pero en su lugar se centra en mejorar las velocidades de E/S, el ancho de banda y los tiempos de lectura.

• 

• 

Por ejemplo, esto permitiría a una GPU acceder a un grupo de almacenamiento potencial con cientos de gigabytes de almacenamiento directamente en el paquete de GPU o PCB, similar a lo que ya hace DRAM como HBM o GDDR7/LPDDR6. Este nivel se situaría entre la memoria de la GPU y el almacenamiento regular del sistema, actuando como un búfer muy rápido, lo que sería ideal para la inferencia de LLMs masivos. En ese momento, los LLM no estarían ligados a la memoria y podrían ejecutarse en sistemas con menos GPU, pero con más niveles de almacenamiento y memoria para compensar el tamaño de inferencia requerido. Además, este NAND sería significativamente más barato que HBM o DRAM regular y se dimensionaría de acuerdo con las especificaciones del sistema. Las imágenes de abajo son diapositivas HBF de SK hynix y Sandisk.

Micron no es el único en explorar esta idea. Por ejemplo, SK hynix y Sandisk ya lo han hecho Estandarizado Flash de alto ancho de banda (HBF) como un concepto para ampliar la memoria del espacio HBM de una GPU al acercar a NAND y ofrecer NAND más duradero. Cada empresa que trabaje en esta idea tendría que superar la brecha de ancho de banda y durabilidad para que HBF o NAND casi GPU se convierta en un valioso complemento de la memoria HBM estándar.

Fuente: DigiTimes