SanDisk apuesta por integrar memoria NAND y capacidad de cálculo en un solo chip, mientras la escasez de HBM frena el auge de la IA

SanDisk está buscando soluciones más innovadoras para abordar las limitaciones de memoria, como apilar NAND Flash dentro de los chips.

Las limitaciones de memoria empujan al fabricante de DRAM/NAND para que sea más innovador, SanDisk propone el apilamiento de NAND Flash dentro de los chips

El rápido aumento de la IA y la demanda proporcional de computación ha llevado a la exposición de los cuellos de botella, que están empujando a los fabricantes de DRAM y NAND a ir con el enfoque listo para usar.

En el pasado, los fabricantes de chips lo llamaban un día mediante la introducción de nuevas tecnologías de memoria, y la DRAM era el componente principal. Pero el aumento de los costos, los inconvenientes de desarrollo / rendimiento y el aumento de la potencia han llevado a un enfoque en otras soluciones viables. HBM se estaba desarrollando a un ritmo constante, pero eso se está convirtiendo rápidamente en un cuello de botella debido a la escasez.

HBM también tiene otros inconvenientes, como capacidades más bajas, y mientras que los fabricantes de DRAM están bombeando velocidades más rápidas y más capacidades cada generación, hasta ahora no han podido mantenerse al día con la demanda. HBM también reside al lado del chip primario, lo que significa que hay inconvenientes entre latencias.

Luego está NAND, que ofrece más capacidades a un costo más barato, pero reside más lejos del chip, y la transferencia de datos es más lenta. NAND tampoco ha sido capaz de alcanzar los mismos niveles de velocidad que la DRAM (HBM).

Uniendo lo mejor de DRAM y NAND Juntos

Para superar esto, el fabricante de NAND SanDisk presentó sus planes para su solución HBF (High-Bandwidth Flash) hace un tiempo. Se dice que HBF utiliza una jerarquía arquitectónica similar a la de HBM, que consiste en apilar múltiples capas de NAND Flash una encima de la otra. Cada capa se conectará utilizando múltiples TSV (a través de vías de silicio), que fusionarán todos los paquetes NAND en una pila singular. Mientras que HBM ofrece capacidades de 32-64 GB por pila en este momento, HBF escalará hasta 4 TB de capacidades.

Si bien esto resuelve las preocupaciones de capacidad y velocidad, las demandas futuras de IA y HPC requieren algo más. Y ahí es donde entra la patente más reciente de SanDisk, "US 12.430.274 B2". La patente explora la idea de apilar 3D un mosaico NAND Flash utilizando CBA (CMOS Bonded Array) debajo del azulejo de computación principal, que podría ser un acelerador de IA o una GPU. La solución todavía utiliza HBM DRAM en el mismo interpositor, pero sirve para un propósito diferente.

Es como derribar dos pájaros de un tiro; el HBM hace el trabajo de memoria que debe ser atendido inmediatamente, mientras que el Flash NAND en el mosaico de memoria se utiliza para leer / escribir operaciones, y para conjuntos más grandes de datos. El NAND Flash ofrece conexiones más amplias entre el chip de cómputo y la ficha de memoria, lo que ofrece una reducción en la velocidad, el costo y la potencia.

Un núcleo de procesamiento incluye un procesador multinúcleo integrado directamente en una memoria no volátil de alto ancho de banda y alta capacidad. El procesador puede ser, por ejemplo, una gran unidad de procesamiento de gráficos (GPU) o un procesador de inteligencia artificial (AI). La memoria no volátil puede comprender un mosaico de memoria CBA (CMOS unido a la matriz) que tiene una única baldosa de memoria NAND grande acoplada junto con una baldosa de circuito lógico CMOS. El procesador integrado y la baldosa de memoria CBA pueden fijarse a un interpositor. El núcleo de procesamiento puede incluir además pilas de matrices semiconductoras de memoria de alto ancho de banda (HBM) fijadas al interpuestor alrededor de uno o más lados del procesador y la baldosa de memoria CBA.

Ahora, si bien este futuro puede darnos una idea de las metodologías futuras que superan los cuellos de botella de la memoria, cabe señalar que esto sigue siendo una patente. Muchas cosas, como el consumo de energía, el precio para el fabricante, un chip de este tipo (que alberga tanto NAND como DRAM en un solo paquete), y más, deben abordarse antes de que veamos algo cercano a esto convirtiéndose en una realidad.

La patente crea un foso real y examinado en torno a esta arquitectura de procesador sobre NAND, especialmente el enrutamiento de azulejos a través de la interfaz ancha que es difícil de duplicar. Sin embargo, el producto que avanza hacia la estandarización hoy en día sigue el enfoque más simple y listo para el mercado. La historia más interesante aún se está desarrollando: si SanDisk finalmente cierra la brecha entre lo que ha protegido y lo que está enviando. El anuncio es el titular; la patente es el mapa estratégico más profundo.

Fuentes de noticias: @seti_park , @jimmy_yoasobi