Se utilizó la única ranura M.2 de un portátil antiguo para conectar una RX 7900 XT, con lo que se alcanzaron 60 tokens/s en Qwen3.6 27B y una ventana de contexto de 100 000;

La falta de una GPU dedicada en una computadora portátil significa que está fresco fuera de suerte cuando se trata de ejecutar LLM locales en su máquina, pero un viejo propietario de computadora portátil Lenovo no se rindió porque tenía un truco bajo la manga: usar la ranura M.2 disponible para adjuntar su escritorio AMD Radeon RX 7900 XT. Desafortunadamente, dado que solo había una ranura, el usuario tenía que ser inteligente y emplear una unidad externa para arrancar Windows desde. Al final, logró su objetivo de obtener un rendimiento decente en Qwen3.6 27B.

Gracias a la VRAM GDDR6 de 20GB del RX 7900 XT, la computadora portátil Lenovo puede obtener un rendimiento increíble con Qwen3.6 27B

No es tarea fácil ejecutar Qwen3.6 27B, pero Redditor “Alternative-Panic69” ha demostrado que necesita la mentalidad correcta y los recursos disponibles. Hemos visto este tipo de configuración antes. Incluso sin un puerto Thunderbolt, el usuario logró conectar el RX 7900 XT a la computadora portátil utilizando un adaptador elevador PCIe ADT-Link conectado a la ranura M.2 de la máquina.

Una PSU de 750W separada está conectada a la GPU, ya que no hay forma de que una computadora portátil pueda proporcionarle la cantidad necesaria de jugo. Hacer que el portátil Lenovo arranque a través de una unidad externa fue bastante fácil, siempre y cuando haya un puerto USB vacío, aunque no podemos comentar lo suave que será la experiencia.

El monitor externo está conectado a la GPU, mientras que el portátil se ve obligado a ejecutarse en el chip gráfico integrado para evitar cualquier sobrecarga de VRAM. A través de llama.cpp, el RX 7900 XT podría ejecutar Qwen3.6 27B a velocidades impresionantes de 55-60 tokens/segundo gracias al framebuffer de 20GB de la tarjeta gráfica.

• 

• 

• 

Los pesos del modelo y la caché KV se descargaron a la VRAM del RX 7900 XT, mientras que una longitud de contexto de 100K tokens causó que se agotara toda la memoria RAM del sistema de 16 GB de la computadora portátil. Tal vez el único cuello de botella de todo este experimento es la baja memoria RAM de la propia computadora portátil.

Desafortunadamente, al observar la crisis de la DRAM, no es posible comprar memoria adicional a precios asequibles, por lo que si Alternative-Panic69 quiere seguir ejecutando Qwen3.6 27B, este es un compromiso con el que tendrá que vivir. Sin embargo, a pesar de no tener acceso al último y mejor hardware, el Redditor perseveró y logró ejecutar un modelo de inteligencia artificial local que puede poner a la mayoría de las GPU de rodillas.

Fuente de noticias: Reddit