3D-Gesichter aus beliebigen YouTube-Videos

Wissenschaftler aus Seattle haben laut eines Berichts von Golem in Zürich ein 3D-Verfahren zur Modellierung von Gesichtern aus Videos vorgestellt. Dazu haben sich die Wissenschaftler als Testobjekte Berühmtheiten auf YouTube gesucht, von denen viele visuelle Informationen vorhanden sind. Als Ausgangslage waren ein Video und mehrere Fotos erforderlich.

Aus den Fotos verschiedener Gesichtswinkel wird zunächst ein 2D-Basismodell erzeugt. Die Bildrecherche gestalte sich als anspruchsvoll, nicht zuletzt wegen Merkmalen wie vielseitigen Gesichtsausdrücken und Belichtungseffekten. Das 2D-Modell wird dann mit einem Beispielvideo abgeglichen und dahingehend verändert, dass es Frame für Frame denselben Gesichtsausdruck zeigt wie im Video. Zur Bestimmung der räumlichen Ausrichtung des Gesichts dient das Video. Daran wird schlussendlich das 3D-Basismodell angepasst. Schattierungen und Kontraste auf der Haut stellen das Forschungs-Team immer noch vor grosse Herausforderungen. Konzeptionell entworfen und vorgestellt wurde das «Total Moving Face Reconstruction» genannte Verfahren schon 2011.