KIOXIA lanza AiSAQ como software de código abierto para reducir las necesidades de DRAM en los sistemas de IA

Kioxia Corporation, líder mundial en soluciones de memoria, ha anunciado hoy el lanzamiento de código abierto de su nueva tecnología All-in-Storage ANNS with Product Quantization (AiSAQ). El software AiSAQ de KIOXIA, un novedoso algoritmo de búsqueda «approximate nearest neighbor» (ANNS) optimizado para unidades SSD, ofrece un rendimiento escalable para la generación de recuperación aumentada (RAG) sin colocar los datos de índice en DRAM y, en su lugar, buscando directamente en unidades SSD.

Los sistemas de IA generativa exigen importantes recursos de computación, memoria y almacenamiento. Aunque tienen el potencial de impulsar avances transformadores en diversos sectores, su despliegue suele conllevar costes elevados. La GAR es una fase crítica de la IA que refina grandes modelos lingüísticos (LLM) con datos específicos de la empresa o la aplicación.

Un componente central de la RAG es una base de datos vectorial que acumula y convierte datos específicos en vectores de características en la base de datos. RAG también utiliza un algoritmo ANNS, que identifica vectores que mejoran el modelo basándose en la similitud entre los vectores acumulados y los vectores objetivo. Para que la RAG sea eficaz, debe recuperar rápidamente la información más relevante para una consulta. Tradicionalmente, los algoritmos ANNS se despliegan en DRAM para lograr el rendimiento de alta velocidad necesario para estas búsquedas.

La tecnología KIOXIA AiSAQ proporciona una solución ANNS escalable y eficiente para conjuntos de datos a escala de miles de millones, con un uso de memoria insignificante y capacidades de conmutación rápida de índices.

Principales ventajas de la tecnología KIOXIA AiSAQ:

Permite que las bases de datos a gran escala funcionen sin depender de los limitados recursos de DRAM, lo que mejora el rendimiento de los sistemas RAG.

Elimina la necesidad de cargar datos de índice en DRAM, lo que permite que la base de datos vectorial se inicie al instante. Esto permite cambiar sin problemas entre bases de datos específicas del usuario o de la aplicación en el mismo servidor para una prestación de servicios RAG eficiente.

Optimizado para sistemas en nube almacenando los índices en almacenamiento desagregado para compartirlos entre varios servidores. Este enfoque ajusta dinámicamente el rendimiento de la búsqueda en bases de datos vectoriales para usuarios o aplicaciones específicos y facilita la rápida migración de instancias de búsqueda entre servidores físicos.

Kioxia demuestra su compromiso con el avance de la IA aportando su innovadora tecnología KIOXIA AiSAQ a la comunidad como software de código abierto.

Por favor, siga el enlace para la versión de código abierto de KIOXIA AiSAQ: github.com/kioxiaamerica/aisaq-diskann

Fuente: KIOXIA