KI macht “Pulp Fiction”-Tanz zur 3D-Szene

Mit “Volume” arbeiten Künstler an einem neuen KI-System, das Szenen aus normalen Videos zu dreidimensionalen Augmented-Reality-Objekten macht. Aktuell zeigen sie, wie die tiefenlernende Lösung den Tanz von Uma Thurman und John Travolta in 3D ins eigene Zimmer bringt. 

Noch sind die Ergebnisse alles andere als perfekt, doch könnte der Ansatz neue Möglichkeiten für Unterhaltung und auch Bildung eröffnen.

Tanz-Demonstration

“Unser Experiment mit Pulp Fiction erlaubt Nutzern, eine Szene des Films in Augmented Reality zu besuchen, mithilfe von Apples ARKit-Framework und einem iPad”, meint der Regisseur und Entwickler Or Fleisher gegenüber “The Next Web”. Das System nutzt dabei Maschinenlernen in einem speziellen neuronalen Netzwerk, um aus dem 2D-Videobild Tiefeninformation abzuschätzen. Damit versucht es dann, die Szene so realistisch wie möglich in 3D zu rekonstruieren.

Am Pulp-Fiction-Beispiel ist deutlich zu sehen, dass die Ergebnisse der Rekonstruktion bislang teils bizarre Verzerrungen zeigen und seltsam ruckeln. Bis zu einer breiten Anwendbarkeit ist es also noch ein weiter Weg. Freilich hoffen Fleisher und seine Projektpartnerin Shirin Anlen, die Qualität noch zu verbessern. “Die Möglichkeiten, die sich ergeben, wenn man Archivbilder in 3D-Umgebungen rekonstruieren kann, sind eine der wichtigsten Motivationen hinter der Entwicklung des Tools”, betont Fleisher.

Unterhaltung und Bildung

Offensichtlich ist, dass eine private Tanzvorführung von Uma Thurman und John Travolta durchaus Unterhaltungswert hätte. Doch könnte die Technologie auch ernsthafteren Anwendungen dienen, um beispielsweise wichtige historische Ereignisse im Klassenzimmer lebendig werden zu lassen. Da Volume als Web-Lösung entwickelt wird, die mit praktisch jedem Smartphone, Tablet oder Laptop funktionieren soll, könnte das Projekt interessante Möglichkeiten für eine breite Öffentlichkeit schaffen.

pressetext.com