AMD detalla el rendimiento de DeepSeek R1 en Radeon RX 7900 XTX y confirma los tamaños máximos de memoria de Ryzen AI

AMD ha publicado hoy guías detalladas sobre cómo hacer funcionar los modelos de razonamiento destilado DeepSeek R1 en las tarjetas gráficas Radeon RX y los procesadores Ryzen AI. La guía confirma que los nuevos procesadores Ryzen AI Max «Strix Halo» vienen en configuraciones de memoria LPCAMM2 de 32 GB, 64 GB y 128 GB, y no habrá una opción de memoria de 16 GB para que los fabricantes de portátiles puedan abaratar costes. La guía continúa explicando que «Strix Halo» podrá acelerar localmente DeepSeek-R1-Distill-Llama con 70.000 millones de parámetros en las configuraciones de memoria de 64 GB y 128 GB de los portátiles con «Strix Halo», mientras que el modelo de 32 GB debería poder ejecutar DeepSeek-R1-Distill-Qwen-32B. Los procesadores móviles Ryzen AI «Strix Point» deberían ser capaces de ejecutar DeepSeek-R1-Distill-Qwen-14B y DeepSeek-R1-Distill-Llama-14B en sus iGPUs y NPUs RDNA 3.5. Por su parte, los procesadores de generaciones anteriores basados en chips «Phoenix Point» y «Hawk Point» deberían ser capaces de utilizar DeepSeek-R1-Distill-Llama-14B. La empresa recomienda ejecutar todos los destilados anteriores en cuantización Q4 K M.

Cambiando de marcha a las tarjetas gráficas discretas, AMD sólo recomienda su serie Radeon RX 7000 por ahora, ya que la arquitectura gráfica RDNA 3 introduce aceleradores de IA. El buque insignia Radeon RX 7900 XTX se recomienda para la destilación DeepSeek-R1-Distill-Qwen-32B, mientras que todas las SKU con 12 GB a 20 GB de memoria, es decir, RX 7600 XT, RX 7700 XT, RX 7800 XT, RX 7900 GRE y RX 7900 XT, se recomiendan hasta DeepSeek-R1-Distill-Qwen-14B. La RX 7600 con sus 8 GB de memoria sólo se recomienda hasta DeepSeek-R1-Distill-Llama-8B. Necesitarás LM Studio 0.3.8 o posterior y los controladores Radeon Software Adrenalin 25.1.1 beta o posterior. AMD ha publicado las primeras cifras de rendimiento en tokens/segundo de LMStudio 0.3.8 para la RX 7900 XTX, comparándola con la NVIDIA GeForce RTX 4080 SUPER y la RTX 4090.

En comparación con la RTX 4080 SUPER, la RX 7900 XTX ofrece hasta un 34% más de rendimiento con DeepSeek-R1-Distill-Qwen-7B, hasta un 27% más de rendimiento con DeepSeek-R1-Distill-Llama-8B y hasta un 22% más de rendimiento con DeepSeek-R1-Distill-Qwen-14B. A continuación, el gran cara a cara entre la RX 7900 XTX y la GeForce RTX 4090 con sus 24 GB de memoria. La RX 7900 XTX se impone en 3 de las 4 pruebas, con hasta un 13% más de rendimiento con DeepSeek-R1-Distill-Qwen-7B, hasta un 11% más de rendimiento con DeepSeek-R1-Distill-Llama-8B y hasta un 2% más de rendimiento con DeepSeek-R1-Distill-Qwen-14B. Solo queda por detrás de la RTX 4090 en un 4 % con el mod DeepSeek-R1-Distill-Qwen-32B de mayor tamaño.

Vea la guía paso a paso para conseguir que los modelos de razonamiento disrilled DeepSeek R1 se ejecuten en hardware AMD en el siguiente enlace de la fuente.

Fuente: Comunidad AMD