Nvidia AI Interactive Graphics
Forscher von Nvidia haben eine KI-Technik vorgestellt, mit der auf Basis von einfachen Videos am Computer virtuelle Welten erzeugt werden können. Dafür nutzten sie ein neuronales Netzwerk, um visuelle Elemente aus Filmen auf 3D-Umgebungen anzuwenden.
Derzeit muss jedes Objekt in einer virtuellen Welt noch speziell modelliert werden. Die Nvidia-Entwickler haben es aber geschafft, Gebäude, Bäume, Fahrzeuge und Objekte aus Filmsequenzen “direkt” in dreidimensionale Avatare umzuwandeln. Dafür nutzten sie „Tesla V100“- GPUs auf einer „DGX-1-Maschine“ mit einem kuDNN-beschleunigtem PyTorch Deep Learning Framework sowie Tausende von Videos von Cityscapes und Apolloscape.
Die Technologie ermöglicht es also, virtuelle Welten für Gaming, Automotive, Architektur, Robotik oder virtuelle Realität so schnell wie bislang kaum vorstellbar zu schaffen. Das Netzwerk kann auch interaktive Szenen generieren, die auf realen Locations basieren. Im Bereich Entertainment wäre beispielsweise die Darstellung des Nutzers in seinem eigenen Haus möglich, der wie sein Lieblings-Popstars tanzt.
Bryan Catanzaro, Vice President Applied Deep Learning bei Nvidia, zu dem Fortschritt: „Nvidia hat seit 25 Jahren neue Wege geschaffen, um interaktive Grafiken zu generieren. Dies ist das erste Mal, dass wir es auch mit einem neuronalen Netzwerk tun können.“ Er leitete das Forscherteam bei der Entwicklung. „Neuronale Netzwerke – speziell generative Modelle – werden die Art und Weise verändern, wie Grafiken entstehen. Dies wird es Entwicklern, insbesondere in den Bereichen Gaming und Automotive ermöglichen, VR-Szenarien mit einem Bruchteil der bisherigen Kosten zu erstellen.“
Auf der „Neurips AI“-Konferenz in Montreal zeigte das Team um Catanzaro eine interaktive Fahrsimulation in einer typischen US-Stadt, erzeugt mit neuronalen Netzen auf Basis von Nvidias „Tensor Core-GPUs“. Dafür musste sich das generative neuronale Netzwerk Szenen aus Videos abschauen und sie dann im Rechner modellieren, einschließlich Beleuchtung, Materialien und deren Dynamik. Da die Szene vollständig synthetisch generiert ist, kann sie auch leicht bearbeitet werden, etwa um Objekte zu entfernen, zu verändern oder hinzuzufügen.
„Die Fähigkeit, die Dynamik unserer visuellen Welt zu modellieren und neu zu erschaffen, ist entscheidend für den Aufbau intelligenter Wirkstoffe“, erläutern die Nvidia-Forscher ihre Motive. „Neben der Befriedigung rein wissenschaftlicher Interessen eröffnet die Möglichkeit, kontinuierliche visuelle Erfahrungen zu synthetisieren, ein breites Anwendungsspektrum in den Bereichen Robotik und Computergrafik“, so das Team in seinem Research Paper.
Quelle:
https://www.datacenter-insider.de/durchbruch-beim-erstellen-virtueller-welten-a-782470/
