VideoPoet é um modelo de pesquisa do Google que transforma prompts de texto em vídeos realistas ou estilizados. Ele foi construído sobre um grande modelo de linguagem adaptado para geração de vídeo em zero-shot, permitindo lidar com diferentes tarefas sem precisar ser treinado para cada solicitação específica.
Modos de geração
O VideoPoet oferece várias formas de criar conteúdo em vídeo:
Geração de texto para vídeo a partir de um prompt escrito
Geração de imagem para vídeo que anima uma única imagem estática
Cenas curtas e trechos de narrativa visual com base em entrada mínima
Edição e estilização
Além de gerar vídeos do zero, o VideoPoet também pode modificar filmagens existentes:
Estilização para mudar o visual de uma cena
Alterações de estilo em nível de cena para variações criativas
Inpainting para preencher, substituir ou redesenhar partes de um vídeo
Para quem é
O VideoPoet é, principalmente, uma demonstração de uma nova abordagem: usar um modelo de linguagem autoregressivo para controlar a geração de vídeo. Ele é voltado para pesquisadores, desenvolvedores e entusiastas que exploram modelos multimodais e fluxos de trabalho criativos com IA.
