microsoft ha presentado una inteligencia artificial capaz de generar Avatares hiperrealistas a partir de una imagen y un archivo de voz. VASA-1 puede dar vida a tus fotos añadiendo expresiones y sincronizando el movimiento de tus labios con el clip de sonido. El resultado final es sorprendente y podría revolucionar la forma en que interactuamos en el mundo digital.
Según los investigadores, VESA-1 captura toda la gama de expresiones humanasincluyendo movimientos naturales de la cabeza, para generar avatares parlantes verdaderamente creíble. Esto es posible separando elementos como rasgos faciales, posición de la cabeza y expresiones, lo que permite un control detallado de cada atributo y la capacidad de editar el contenido por separado.
VESA-1 va más allá de otros modelos de inteligencia artificial que añaden audio a una imagen y sincronizan el movimiento de los labios. Los investigadores han creado expresiones realistas con movimientos en un espacio definido. Esto produce una imagen más auténtica y menos rígida.
“Consideramos todas las dinámicas faciales posibles, incluido el movimiento de los labios, la expresión (sin labios), la mirada y el parpadeo, entre otras, como una única variable latente y modelamos su distribución probabilística de forma unificada”, mencionan los autores de MicrosoftResearch. “Nuestro modelado holístico de la dinámica facial, junto con patrones de movimiento de la cabeza aprendidos conjuntamente, conduce a la generación de una amplia gama de comportamientos conversacionales emotivos y realistas”.
Cómo funciona VASA-1, la nueva inteligencia artificial de Microsoft
microsoft entrenó a su modelo con una colección gigante de videos con personas hablando. La idea era crear un sistema que pudiera entender caras y separar diferentes aspectos de ellass, como su identidad, expresión y movimiento de cabeza, asignando códigos a cada uno de ellos. Estas señales se usarían para crear caras nuevas, lo que le permitiría cambiar la expresión de alguien en un video sin afectar su identidad, o hacer que asienta con la cabeza sin alterar su sonrisa.
Para lograrlo, los investigadores Utilizaron un enfoque 3D para capturar más detalles sobre la cara y cómo se mueve. en un espacio tridimensional. El modelo de difusión acepta señales adicionales, como la dirección principal de la mirada y la distancia de la cabeza, así como emociones. Con la misma pista de audio, VASA-1 puede generar avatares felices, enojados o nerviosos (con exceso de expresiones) que buscan acercarse al realismo.
VASA-1 puede producir vídeos de alta calidad con una resolución de 512 x 512 píxeles a 45 fotogramas por segundo. Los investigadores destacaron su eficiencia, ya que la herramienta se puede ejecutar en una computadora con una GPU NVIDIA RTX 4090.
La inteligencia artificial de Microsoft No se limita a fotografías reales, sino que también se puede aplicar en ilustraciones o pinturas., como Mona Lisa cantando Paparazzi. Como información adicional, todos los ejemplos presentados fueron construidos a partir de fotografías generadas con DALL-E 3 y StyleGAN2. “Estamos explorando habilidades visuales afectivas para personajes virtuales e interactivos, NO haciéndonos pasar por ninguna persona en el mundo real”, mencionó la compañía.
Los avatares hiperrealistas podrían generar desinformación
Uno de los peligros latentes de estos modelos es que podría usarse para engañar a los usuarios. Ante esto, Microsoft declaró que está en contra de cualquier aplicación negativa y señaló que no publicarán esta herramienta hasta que estemos seguros de que su tecnología se utilizará de manera responsable.
“Nos oponemos a cualquier comportamiento que genere contenido engañoso o dañino de personas reales y estamos interesados en aplicar nuestra técnica para avanzar en la detección de falsificaciones. Nos dedicamos a desarrollar la IA de manera responsable, con el objetivo de promover el bienestar humano”.
