El equipo de investigación de Adobe ha presentado una tecnología de escalado de imágenes que hace que los vídeos se vean más nítidos manteniendo la coherencia temporal, solucionando el problema de imágenes borrosas que generan soluciones de este tipo.
VideoGigaGAN es un nuevo modelo de vídeo de superresolución (VSR) con el que Adobe aborda el problema del escalado de imágenes, ya que, aunque este tipo de modelos mantienen una coherencia temporal, muchas veces generan resultados borrosos.
Para evitar este problema, la editorial de software ha recurrido a un muestreador de imágenes a gran escala, GigaGAN, para entrenar su nuevo modelo. Utiliza una red generativa adversaria para generar imágenes estáticas de mayor resolución, pero su aplicación al vídeo produce parpadeos.
Para evitar esto, y dado que inflar GigaGAN con módulos temporales no resuelve el problema, Adobe ha utilizado un módulo de propagación de funciones guiado por un flujo recurrente para fomentar la agregación de información en diferentes marcos, como se detalla en el texto de la investigación. , publicado en Arxiv.org.
Esto se complementó con la aplicación de bloques anti-aliasing para abordar el parpadeo temporal y un transbordador de alta frecuencia para agregar detalles a los videos.
El resultado es un modelo VSR que puede producir vídeos de alta calidad con hasta ocho veces la resolución original, es decir, desde 128 x 128 hasta 1.024 x 1.024. El vídeo, además de mostrar una imagen detallada, también mantiene coherencia temporal.
