El soporte para interpolación de fotogramas mediante GPU de NVIDIA llega a FFmpeg.

El soporte de interpolación de trama acelerado por GPU de NVIDIA se ha integrado en FFmpeg a través de una API de Vulkan, según lo anunciado por los desarrolladores del proyecto. Para aquellos que no lo conocen, FFmpeg es una suite de software ampliamente utilizada que impulsa gran parte del procesamiento multimedia moderno del mundo, incluyendo plataformas como YouTube y muchos otros servicios y aplicaciones. Esta herramienta ahora aprovecha las GPU NVIDIA GeForce RTX para predecir y generar el siguiente marco sin involucrar la canalización de representación gráfica tradicional. NVIDIA está ampliando esta capacidad a la codificación de vídeo, permitiendo a los usuarios aumentar la velocidad de fotogramas de sus vídeos a través de la tecnología de generación de fotogramas. El acelerador de flujo óptico (NVOFA) en las GPU NVIDIA aplica la misma lógica de flujo óptico utilizada en la representación gráfica a los videos, prediciendo el siguiente fotograma y mejorando las velocidades de fotogramas a través de fotogramas generados por la IA. NVIDIA llama a este proceso conversión de aumento de velocidad de fotogramas asistida por motor (FRUC).

FRUC es más que un algoritmo convencional de suavizado de fotogramas, ya que utiliza el acelerador de flujo óptico dedicado de NVIDIA para calcular el movimiento entre fotogramas fuente consecutivos. NVENC proporciona los datos de trama del lado del codificador, mientras que el hardware de flujo óptico genera vectores de movimiento que describen cómo se mueven los objetos entre tramas. FFmpeg puede entonces utilizar esa información de movimiento para sintetizar un fotograma intermedio, aumentando efectivamente la velocidad de fotogramas del vídeo sin volver a representar el contenido original. Esto también es más eficiente que la interpolación basada en software, que puede imponer demandas computacionales significativamente más altas a la CPU. La nueva implementación de Vulkan le da a FFmpeg acceso directo al hardware de NVIDIA al tiempo que evita la dependencia de software propietario que impedía que se fusionara el parche anterior de 2023.

El acelerador de flujo óptico se introdujo originalmente durante la era de la serie "Turing" GeForce RTX de NVIDIA. Sin embargo, esta implementación basada en API de Vulkan soporta oficialmente solo el "Ampere" de la serie 30 de GeForce RTX de NVIDIA y más reciente. Esto significa que los propietarios de las series GeForce RTX 30, RTX 40 y RTX 50 pueden beneficiarse de la nueva función. Las velocidades de fotogramas de video ahora se duplicarán, lo que permitirá que se muestren 30 videos FPS a 60 FPS, y que los videos cinemáticos de 24 FPS se muestren a 48 FPS con interpolación de fotogramas asistida por GPU. Para aprovechar esto, simplemente necesita ejecutar la herramienta FFmpeg en su extremo.

Fuentes: PhoronixPhoronix, vía VideoCardz