O modelo de IA usa uma rede neural inovadora para transformar texto em vídeo de forma coerente e realista, superando os limites da Inteligência Artificial.
Google revelou o seu novo modelo text-to-video chamado Lumiere, que é capaz de criar vídeos realistas, diversos e coerentes a partir de descrições de texto. A tarefa de gerar vídeos a partir de texto é uma das mais difíceis para os sistemas de Inteligência Artificial, pois requer a síntese de imagens, som e movimento de forma consistente.
O modelo Lumiere usa uma arquitetura chamada Space-Time U-Net, que gera todo o vídeo em uma única passagem, aumentando a coerência e a fluidez em relação aos modelos tradicionais, segundo a revista Maginative.
Os autores do estudo, publicado nesta semana, afirmam que o modelo pode ser usado em cenários de image-to-video, onde se pode pintar e mascarar partes dos vídeos com base em comandos de texto, aplicar efeitos de movimento ou pausa, melhorar o estilo das imagens e filtrar em diferentes dimensões.
Os modelos existentes têm dificuldade em aplicar o movimento aos vídeos, pois só conseguem prever alguns quadros e os restantes ficam ambíguos. O modelo Lumiere resolve esse problema ao lidar com todo o vídeo em uma única passagem, permitindo um movimento mais fluido.
O vídeo de demonstração do estudo pode ser visto no YouTube.
O modelo Lumiere é mais uma prova de que a Inteligência Artificial está avançando e revolucionando o mundo da imagem. Os geradores de IA para vídeo são a nova fronteira do progresso da IA na área de foto e vídeo.
Se quiser se conectar, aprender e entender os avanços e oportunidades com inovação e o poder da IA na fotografia conheça a iniciativa Fotograf.IA >>> Guia Fotograf.IA com nova versão 7.0
Se quiser participar de um grupo voltado para a nova fase da fotografia participe do NFoTo e entenda o universo dos NFTs e blockchain na fotografia >>> NFoTo: fotograf.IA, NFT e inovação
Se quiser acertar seu marketing em 2024 conheça o Novo Plano de Marketing 2024 >>> Plano de Marketing 2024
Comments