Wie KI Fotos „zum Leben erweckt“

Online-Tools zum „Beleben“ von Fotos werden immer beliebter. Das zeigen die Suchanfragen bei Google und Yandex. In diesem Artikel erklären wir, wie KI statische Bilder „zum Leben erweckt“.

Phasen des „Belebens“ von Fotos durch KI

Erkennung von Gesichtern und Objekten

Zunächst analysiert die KI das Bild, um die wichtigsten Elemente zu erkennen. Bei Menschen kommt Gesichtserkennung zum Einsatz. Dabei geht es nicht um die mythischen Werkzeuge aus dem Kino. KI kann erkennen, wo sich Augen, Mund, Nase und andere Gesichtszüge befinden. Bei Tieren oder unbelebten Objekten werden andere, aber ähnlich funktionierende Algorithmen genutzt.

Technologien:

Haar Cascades und HOG — klassisches Machine-Learning-Verfahren zur Identifizierung von Gesichtern und Objekten auf Fotos.

Convolutional Neural Networks oder CNN — moderne Algorithmen werden verwendet, um Elemente und Posen zu verfolgen. Modelle wie MTCNN oder OpenPose erkennen beispielsweise, welche Position Objekte im Raum einnehmen.

Erstellung der Animation

Sobald die wichtigsten Elemente gefunden sind, analysiert die KI, wie sie sich bewegen sollen. Vorab trainierte Algorithmen bestimmen, wie Lippen, Augen, Wangenknochen und andere Gesichtsteile miteinander interagieren. Wenn die KI diese Zusammenhänge nicht erkennen könnte, würden die Augen in verschiedene Richtungen schauen und die Ohren flattern.

Technologien:

Generative Adversarial Networks oder GAN — werden zur Erstellung neuer Bilder und Videos eingesetzt. Möglich wird das durch vorab trainierte Algorithmen. Modelle wie First Order Motion Model können Animationen auf Basis vorgegebener Bewegungen erzeugen.

RNN und LSTM — rekurrente Netze helfen dabei, Bewegungsabfolgen zu modellieren.

Frame-Interpolation

Frame-Interpolation wird benötigt, um fließende Übergänge zwischen den Hauptbewegungen zu erzeugen. Zuerst werden die zentralen Bewegungen generiert, danach die Zwischenbilder. So wirkt die Animation natürlicher, ohne Ruckeln oder harte Bewegungen.

Interpolation ist der Prozess, unbekannte Werte zwischen bekannten Werten zu bestimmen.

Technologien:

Deep Learning für Interpolation — Algorithmen wie DAIN oder Depth-Aware Video Frame Interpolation helfen dabei, fließende Übergänge zwischen Frames zu erzeugen.

Realistische Bewegungen

Vorab trainierte Bewegungsmodelle ermöglichen es der KI, realistische Animationen zu erstellen. So lässt sich zum Beispiel darstellen, wie eine Person nickt oder lächelt. Möglich sind auch komplexere Animationen wie Sprechen oder sogar Tanzen.

Technologien:

Motion Capture Data — das Modell wird mit Bewegungsdaten von Menschen trainiert und rekonstruiert daraus die Animation.

StyleGAN und andere Bildgenerierungsmodelle helfen dabei, hochwertige Animationen zu erzeugen und dabei Kontext und Stil des Fotos zu berücksichtigen.

Optimierung und Qualitätsverbesserung

Der letzte Schritt ist die Verbesserung und Optimierung des animierten Bildes. Während der Animation entstehen Störungen. Spezielle Algorithmen entfernen Artefakte und verbessern die Qualität. So wird die generierte Animation möglichst realitätsnah.

Technologien:

Super-Resolution Algorithms — erhöhen die Auflösung von Bildern und verbessern Details.

Post-processing — Filter- und Farbkorrekturtechniken werden eingesetzt, um die finale Qualität der Animation zu verbessern.

Anwendung

Technologien zur Animation von Menschen, Tieren oder Objekten werden genutzt, um aus statischen Bildern Videos zu erstellen. KI wird zum „Beleben“ alter Fotos, in Filmen und Spielen eingesetzt. Für Nutzer helfen solche KI-Tools bei der Arbeit oder dienen der Unterhaltung.

Fazit

KI für das „Beleben“ von Fotos nutzt fortschrittliche Technologien des Machine Learnings und der Bildverarbeitung. Dennoch sind solche Tools im Jahr 2024 noch weit von der Perfektion entfernt. Algorithmen erkennen Objekte nicht immer korrekt und können Animationen erzeugen, die nicht ganz realistisch wirken.

Das Ergebnis hängt von der Bildqualität und der Komplexität des Motivs ab. Es empfiehlt sich, eine detaillierte Textbeschreibung zu erstellen, damit die KI versteht, wie das Bild animiert werden soll. Einstellungen helfen dabei, Kamerabewegung, Stil und weitere Kriterien auszuwählen. Hochwertige Fotoanimation mit KI erfordert Übung. Die Algorithmen werden stetig besser, daher wird der Prozess in Zukunft schneller, einfacher und präziser.