VideoPoet ist ein Google-Forschungsmodell, das Textprompts in realistische oder stilisierte Videos umwandelt. Es basiert auf einem großen Sprachmodell, das für die Zero-Shot-Videoerzeugung angepasst wurde, sodass es verschiedene Aufgaben ohne spezielles Training für jede einzelne Anfrage ausführen kann.
Generierungsmodi
VideoPoet unterstützt mehrere Möglichkeiten, Videoinhalte zu erstellen:
Text-zu-Video-Erzeugung auf Basis eines schriftlichen Prompts
Bild-zu-Video-Erzeugung, die ein einzelnes Standbild animiert
Kurze Szenen und visuelle Story-Snippets auf Grundlage minimaler Eingaben
Bearbeitung und Stilisierung
Zusätzlich zur Erzeugung neuer Videos kann VideoPoet vorhandenes Material verändern:
Stilisierung, um den visuellen Look einer Szene zu ändern
Stiländerungen auf Szenenebene für kreative Variationen
Inpainting, um Teile eines Videos zu füllen, zu ersetzen oder neu zu zeichnen
Für wen es gedacht ist
VideoPoet ist vor allem eine Demonstration eines neuen Ansatzes: die Steuerung der Videoerzeugung mithilfe eines autoregressiven Sprachmodells. Es richtet sich an Forschende, Entwicklerinnen und Entwickler sowie Interessierte, die multimodale Modelle und kreative KI-Workflows erkunden.
