La refrigeración líquida para NVIDIA GB300 «Blackwell Ultra» NVL72 cuesta casi 50 000 dólares.

Los racks de servidores "Blackwell Ultra" de NVIDIA son sin duda potentes, pero exigen una refrigeración significativa del sistema. NVIDIA promueve el GB300 NVL72 como la configuración superior: estos racks refrigerados por líquido, construidos con Grace Blackwell Ultra Superchips, logran un rendimiento FP4 denso de clase exascale y ofrecen mejoras sustanciales en el rendimiento por megavatio en comparación con las plataformas HGX anteriores. Sin embargo, este desempeño extremo exige sistemas de enfriamiento masivos, que pueden costar alrededor de $ 50,000. Según un modelo de valoración del banco de inversión Morgan Stanley, NVIDIA está gastando casi $ 50,000 en enfriamiento para la configuración de 72 GPU dentro de su rack Oberon. Con cada chip clasificado en 1.400 W TDP, las soluciones de refrigeración tradicionales basadas en aire no son factibles.

Teniendo en cuenta que hay 72 GPU con una potencia de hasta 1.400 W, es decir, más de 100 kW solo de GPU. Agregue 32 CPUs "Grace" que están alimentando el sistema, y tiene más de 100 kW de calor en la carga máxima. Morgan Stanley modela el rack conteniendo 18 bandejas de cálculo (cada una consumiendo aproximadamente 6,6 kW pero necesitando refrigeración por unos 6,2 kW) junto con nueve bandejas de interruptor. La firma valora los componentes de enfriamiento para una sola bandeja de computación en aproximadamente $ 2,260, que se multiplica a aproximadamente $ 40,680 en el rack. La refrigeración de la bandeja de conmutación agrega alrededor de $ 1,020 por bandeja, o $ 9,180 en total. Las placas frías de alto rendimiento se destacan como las piezas más caras de la BOM, con precios por unidad en los cientos bajos.

   

Curiosamente, el informe también proyecta que la próxima configuración "Vera Rubin" NVL144 requerirá aún más hardware térmico a medida que las GPU y las interconexiones aumenten el consumo de energía. Morgan Stanley estima que los costos de enfriamiento podrían aumentar en aproximadamente un 17% a alrededor de $ 55,710. Esto refleja un patrón bien conocido: a medida que aumentan la densidad de cálculo y el TDP, también lo hacen los gastos y la complejidad de ingeniería de mantener los sistemas dentro de los límites térmicos. Con los interruptores que consumen más electricidad, se espera que los costos de enfriamiento para este sistema avanzado aumenten, lo que aumenta el desafío de administrar la disipación de calor en una infraestructura de inteligencia artificial cada vez más potente.

Fuentes: Jukan en X, vía Tom's Hardware