El laboratorio central de IA de Solidigm cuenta con 192 unidades SSD que almacenan 23,6 PB en 16U.

Solidigm anunció recientemente la apertura de su AI Central Lab con lo que afirma son los grupos de prueba de almacenamiento más de alto rendimiento y más densos de la industria construidos para cargas de trabajo de inteligencia artificial. Ubicado en Rancho Cordova en las instalaciones de FarmGPU, cerca de la sede de Solidigm, el AI Central Lab permite a Solidigm ejecutar y estudiar cargas de trabajo en el mundo real en las GPU NVIDIA B200 y H200. Esto le da a la compañía información sobre cómo el almacenamiento puede aumentar la eficiencia del clúster y permite a los socios clave del ecosistema de IA ejecutar experimentos en el hardware del laboratorio. El AI Central Lab cuenta con varias configuraciones notables. El clúster de rendimiento utilizando Solidigm D7-PS1010 Los SSD lograron un rendimiento por nodo de 116 GB/s en pruebas de almacenamiento MLPerf, la más alta jamás medida en la prueba de entrenamiento del modelo de IA. El grupo de densidad incluye 192 SSD Solidigm D5-P5336 con 122 TB cada uno, encajando 23.6 PB en solo 16U de espacio en rack. El hardware adicional incluye servidores de red y almacenamiento Ethernet de 800 Gbps. Las cargas de trabajo disponibles para las pruebas incluyen el entrenamiento y la inferencia del modelo de IA, la descarga de caché de KV, la sintonización de VectorDB y la evaluación comparativa del consumo de energía.

El laboratorio fue construido con arquitecturas de referencia comunes en mente, permitiendo a los clientes probar sus soluciones con SSD Solidigm en un entorno que utiliza los mismos estándares que los centros de datos a gran escala en todo el mundo. La instalación también acelerará la investigación de almacenamiento más allá de las pruebas convencionales a nivel de componentes para comprender mejor el uso del mundo real a nivel de servidor, rack y clúster. El trabajo en el laboratorio ya está en marcha con varias organizaciones.

   

Solidigm y Metrum AI recientemente mostraron una técnica que descarga datos de IA de la memoria a los SSD, reduciendo el uso de DRAM hasta en un 57% durante la inferencia con RAG (generación aumentada de recuperación) mientras mantiene el rendimiento y la precisión. La colaboración con FarmGPU también apoya los esfuerzos continuos para optimizar la infraestructura de IA para el rendimiento y la eficiencia.

    

Fuente: Solidigm