AMD Instinct MI350X Series AI GPU Silicon Detallado

AMD ha presentado hoy su GPU de IA de la serie Instinct MI350X. Basada en la última arquitectura de computación CDNA 4 de la compañía, la MI350X está diseñada para competir con la serie de GPU de IA B200 "Blackwell" de NVIDIA. En su presentación, AMD comparó la Instinct MI355X de máxima especificación con la B200. El chip estrena no sólo la arquitectura CDNA 4, sino también la última pila de software ROCm 7 y un ecosistema de hardware basado en la especificación estándar del sector Open Compute Project, que combina CPU AMD EPYC Zen 5, GPU Instinct serie MI350, NIC AMD-Pensando Pollara scale-out compatibles con Ultra-Ethernet y racks y nodos estándar del sector, tanto en formato refrigerado por aire como por líquido.

La MI350 es una gigantesca GPU de IA basada en chips que consta de silicio apilado. Hay dos módulos base denominados I/O dies (IOD), cada uno de ellos fabricado en el proceso TSMC N6 de 6 nm. Esta placa tiene cableado microscópico para hasta cuatro placas Accelerator Compute Die (XCD) apiladas encima, además de los controladores de memoria HBM3E de 128 canales, 256 MB de memoria Infinity Cache, las interfaces Infinity Fabric y un complejo raíz PCI-Express 5.0 x16. Los XCD están fabricados en el nodo de fundición N3P de 3 nm de TSMC. Contienen una caché L2 de 4 MB y cuatro motores de sombreado, cada uno con 9 unidades de cálculo. Por tanto, cada XCD tiene 36 CU, y cada IOD, 144 CU. Dos IOD están unidos por la cadera mediante una interconexión bidireccional de 5,5 TB/s que permite una coherencia total de la caché entre los dos IOD. El paquete tiene un total de 288 CU. Cada IOD controla cuatro pilas HBM3E para 144 GB de memoria, el paquete tiene 288 GB.

Aunque la MI350, con sus 288 CU y 288 GB de memoria, puede funcionar como una única GPU, AMD ha innovado formas de particionar la GPU y su memoria física de muchas maneras, a lo largo de los IOD y a lo largo de los XCD.

A nivel de plataforma, cada blade admite hasta ocho GPU de la serie MI350, con pools de memoria habilitados a través de una red punto a punto de enlaces de 153,6 GB/s que conectan cada paquete con todos los demás paquetes del nodo. Además, cada paquete dispone de un enlace PCI-Express 5.0 x16 a uno de los dos procesadores EPYC «Turin» del nodo que se encargan del procesamiento en serie.