Se ha demostrado que el chip A20 Pro de Apple es una bestia de la IA integrada en el dispositivo, capaz de ejecutar un modelo de 27.000 millones de parámetros al doble de velocidad que el A19 Pro

Por primera vez en la historia de Apple Silicon, el A20 Pro tiene un motor neuronal de doble 16 núcleos que está diseñado para abordar las cargas de trabajo de IA como ningún otro SoC antes de él, y en resumen, es una actualización que pensamos que no necesitábamos, pero es absolutamente primordial si desea ejecutar modelos de IA en el dispositivo en un teléfono inteligente. En la última demostración, se muestra que un iPhone 18 Pro ejecuta un modelo de parámetro 27B a la doble velocidad del iPhone 17 Pro.

El motor neuronal de doble 16 núcleos es ciertamente más rápido en la generación de tokens, pero las consecuencias de las configuraciones de memoria limitada significan que los modelos de IA cuantificados de 2 bits son demasiado grandes para ejecutarse en un iPhone 18 Pro

Como la nave del iPhone 18 Pro y el iPhone 18 Pro Max con 12GB de RPDDR5X de 96 bits RAM que es significativamente más rápida que la configuración en el iPhone 17 Pro y el iPhone 17 Pro Max, esta actualización y la inclusión del motor neuronal dual-16 empujan el rendimiento de la IA en el dispositivo al siguiente nivel. Adrien Grondin demuestra estas ganancias al ejecutar Bonsai 27B en un iPhone 18 Pro, y puede detectar claramente lo increíblemente rápida que es la velocidad de generación de tokens.

Por supuesto, si bien es un paso importante para los iPhones cuando se trata de ejecutar modelos de IA 27B más densos sin conexión a Internet, hay algunas compensaciones que los usuarios experimentarán. En primer lugar, en la publicación X, se menciona que con Bonsai 2 lanzado, ¿cuál es la necesidad de seguir ejecutando Bonsai? La respuesta es decepcionante, pero esa es la dura realidad de ejecutar modelos de IA en teléfonos inteligentes; Bonsai 2 con cuantificación de 2 bits es demasiado grande para encajar localmente en un iPhone 18 Pro, lo que lleva a la degradación del rendimiento.

Con Bonsai siendo un modelo de IA cuantificado de 1 bit, puede funcionar sin esfuerzo en dispositivos con 4 GB de RAM, y en los teléfonos con 8GB o incluso 12GB de memoria, se irá a las carreras. En el iPhone 18 Pro, que no solo está equipado con un A20 Pro, sino una memoria excepcionalmente más rápida, un ancho de banda de memoria unificado de 115.2GB/s y un motor neuronal de 16 núcleos duales cuyo rendimiento máximo es más rápido que la GPU de 7 núcleos del SoC en cargas de trabajo diseñadas para la NPU, Bonsai 27B no mostrará signos de desaceleración.

Con suerte, cuando Apple haga la transición a configuraciones de memoria más grandes en futuros lanzamientos, veremos que se admiten modelos más densos.

Fuente de noticias: Adrien Grondin