Verwenden der Bewegungs-Fotogrammetrie für das Rendern realistischer 3D-Bewegungen in Filmen

Filmemacher sind wie Zauberer – wenn sie einen neuen Trick zeigen, möchte man wissen, wie er funktioniert und wie er entstanden ist. Das trifft auch ganz besonders auf die Schöpfer des Films  Ghost in the Shell  mit Scarlett Johansson zu. Live-Action-Hologramme von Figuren wie Kendo-Kämpfern oder einer Geisha, die Tee eingießt, erscheinen während des Films in den Stadtansichten. Diese Live-Action-Hologramme – oder „Sologramme“ – stellen die 3D-Werbung der Zukunft dar, die scheinbar losgelöst in der Luft steht, über oder zwischen Gebäuden und auch zwischen Personen auf der Straße schwebt. 

Für die Erzeugung der Sologramme hat Digital Air Inc., ein Unternehmen für VFX- und Kamerasystem-Technologien, ein spezielles Kamerasystem für Bewegungs-Fotogrammetrie entwickelt. Fotogrammetrie wird in Kinofilmen und Computerspielen sehr häufig eingesetzt, um 3D-Scans mit Textur und Volumen zu generieren, die ausstaffiert und animiert werden können. Auch wenn mit dieser Form der bewegungslosen Fotogrammetrie sehr realistische statische 3D-Bilder erzeugt werden können, hängt sie von einer anschließenden Animation einzelner Texturen ab. Dies kann zu zusätzlichen Problemen bei der Animation der Scans führen. Die Bewegungen von komplexen Oberflächen wie Gesichtern oder Stoffen z. B. sieht dann oftmals weniger natürlich aus. Bei der traditionellen Fotogrammetrie wird also jeweils nur eine einzelne Bewegung neu animiert. In einem Film wie  Ghost in the Shell, der in einer technologisch fortgeschrittenen Zukunft spielt, erwarten die Zuschauer jedoch 3D-Bilder, die sich übergangslos bewegen.

Hier kommt  Digital Air  mit seinem neuen System für Bewegungs-Fotogrammetrie ins Spiel. Das für den Film verwendete System von Digital Air war eine Vorrichtung in Kuppelform aus achtzig synchronisierten FLIR Grasshopper-Kameras  (GS3-U3-50S5C-C). Die Kameras zeichneten mit einer Auflösung von 2,5 k bei 24 B/s auf, um Objektsequenzen mit Texturen aus mehreren Bildern vom gleichen Ursprung für jedes 3D-Modell zu generieren. Die Funktion der Grasshopper-Kameras für die automatische Synchronisierung sorgt dabei für das perfekte Timing sämtlicher Kameraverschlüsse. Dies ist für die richtige Funktion des Systems für die Bewegungs-Fotogrammetrie von besonderer Bedeutung. Sämtliche Schauspieleraktionen, die für die 3D-Animationen im Film benötigt wurden, wurden in dieser Vorrichtung aufgezeichnet.

Das Hardwaresystem von Digital Air erzeugte konsistente RGB-Daten, die für die 24 Ganzkörper-Fotogrammetrie-Scans pro Sekunde benötigt wurden. Die Fotogrammetrie-Software Reality Capture wurde verwendet, um die resultierenden 3D-Modelle zu erstellen, die für das Umwandeln der Fotogrammetrie-Scans in richtig skalierte, animierte Bewegungsfolgen erforderlich waren. Jedes Bild ist ein komplett neues 3D-Modell mit eigener Textur. Bei dem Prozess wurden Medienobjekte erzeugt, die von jedem Blickwinkel aus gerendert werden konnten, also anders als bei herkömmlichen 3D-Scans, bei denen die eigentliche Bewegung fotografisch festgehalten wird. Die resultierenden Scans können in der Post-Production anders beleuchtet und sequenziell gerendert werden, um die ursprüngliche Performance mit der CG-Umgebung und den Kamerabewegungen in Einklang zu bringen. Darüber hinaus bot dieser Prozess auch die Möglichkeit, Nuancen wie besonders scharfe und hochauflösende Sologramme für die wohlhabenderen Stadtteile bzw. verpixelte Sologramme mit Artefakten in anderen Gebieten wie dem Rotlichtbezirk einzufügen.

Für Dayton Taylor, Gründer und Präsident von Digital Air, sollten die Sologramme ein „futuristisches Retro-Feeling“ vermitteln – anders als alles bisher Gesehene und auch anders als die Schauspieler im Film selbst. Für ihn ist dieser Film die perfekte Demonstration der Möglichkeiten der Bewegungs-Fotogrammetrie. Wenn man nach den Auszeichnungen geht, die der Film für seine beeindruckenden visuellen Effekte erhalten hat, scheint es so, als stimmen auch andere mit ihm überein.

Über Digital Air

Digital Air entwickelt und produziert Technologien für visuelle Effekte und Kamerasysteme. Das Unternehmen stellt seine Kamerasysteme für die Produktion visueller Effekte bei Filmaufnahmen auf der ganzen Welt zur Verfügung. Außerdem lizenziert, baut und installiert es angepasste Kamerasysteme für Veranstaltungen und dauerhafte Installationen. 

www.digitalair.com