NVIDIA y AMD personalizan la memoria HBM4 para aceleradores de IA de próxima generación

Los aceleradores de nueva generación de NVIDIA y AMD también utilizarán una memoria HBM4 de próxima generación. Sin embargo, una noticia interesante, confirmada por SemiAnalysis, es que estos aceleradores utilizarán una memoria HBM personalizada por primera vez. En una pila de HBM, que consiste en DRAM apilada muere hasta un 12-alto, conectado con TSVs, existe la posibilidad de incrustar un troquel de base opcional con circuitos de lógica/acelerador personalizado adaptado a una necesidad específica. Parece que NVIDIA y AMD no sólo están explorando esta opción para obtener más rendimiento, sino que también están trabajando activamente en una implementación con una base personalizada que empujará a estos aceleradores por delante de cualquier solución ASIC de terceros por un tercio. Dado que todo el mundo está tratando de agarrar un poco de cuota de mercado en el mundo AI ASIC, NVIDIA y AMD tienen que innovar sus diseños para mantenerse por delante constantemente.

"Esperamos que NVIDIA y AMD salgan con sus implementaciones personalizadas de HBM con HBM4, con otros diseñadores de aceleradores que probablemente sólo tengan una implementación de matriz de base personalizada por HBM4E en el marco de tiempo de 2027", señala el post de SemiAnalysis. Esto significa que mientras que los diseñadores ASIC, como Broadcom y MediaTek, tendrán una solución de trabajo en chips de 2027, NVIDIA y AMD tendrán una plantilla de trabajo HBM4 en productos de 2026. Para NVIDIA, esta es la arquitectura "Rubin", que se supone supera la actual implementación de "Blackwell" por un amplio margen. Para AMD, esta es la serie Instinct MI400 de aceleradores, que viene por primera vez en un sabor a escala de estante.

  

Las empresas suelen optar por la memoria HBM off-the-shelf para el modelo de precios estandarizado implementado en proveedores como Samsung, Micron y SK Hynix. Sin embargo, al pedir cantidades tan grandes, como NVIDIA y AMD, pueden solicitar características especiales de alojamiento. Dado que el HBM está abierto a la modificación de la matriz de base, NVIDIA y AMD prepararon sus propias modificaciones. Si bien esto puede no ser necesariamente un dado de consumo que trae TeraFLOPS de energía, es probable que sea un tratamiento de datos / muerce lógico que ayuda a los paquetes de datos de ruta más eficientemente, cortando latencia y mejorando el rendimiento. Especialmente durante la inferencia, donde la latencia es el factor más importante, tener un HBM "más inteligente" podría producir ganancias considerables y de dos dígitos en rendimiento de fichas.

Fuentes: SemiAnalysis, vía Hot Aisle