Realitäten zu Virtual Reality – Technische Herausforderungen

Virtual Reality ist ein junges Feld in dem Experimente den Ton angeben und sich vieles ändert. Dabei sind die Herausforderungen technologischer Natur ebenso groß wie beim Thema Benutzerinteraktion.

Der Begriff Virtual Reality spielt in industriellen Anwendungen seit langem eine große Rolle. Zumeist involvierte das teure CAVE Installationen, Mehrseitenprojektion, teure Trackingsysteme und spezielle professionelle Softwarelösungen. Mit neuen Headsets zu günstigen Preisen und Game Engines mit immer höherer visueller Qualität erleben VR Anwendungen in diesen Jahren jedoch einen Umbruch und die Erschließung des Consumerbereiches. Neue Kundenkreise und Einsatzgebiete außerhalb der Spieleindustrie haben sich dabei zu einem wichtigen Impulsgeber entwickelt, lässt doch der vorhergesagte Durchbruch im privaten Spielesektor noch weitgehend auf sich warten. Dazu gehören industrielle Anwendungen zur Visualisierung im Design und Engineering Bereich sowie Point-of-Sales Anwendungen und auch Forschung.

Dieser Artikel beleuchtet Herausforderungen sowohl technischer Natur als auch in der Benutzerführung aus dem Blickwinkel des Herstellers von Stage, einer solchen industriellen Applikation und deren Anwender. Dabei kommt speziell die Transition von etablierten Arbeitsabläufen, Daten und Einsatzgebieten zu Virtual Reality in den Fokus. Der Begriff VR versteht sich in diesem Artikel als diese aktuell neu entstehende VR mit aktuellen HMDs wie HTC Vive oder Oculus Rift. Mehr zu Stage erfahren Sie unter www.vr-on.com.

Ziele

Für eine erfolgreiche VR Anwendung ist “Immersion” des Nutzers in die virtuelle Welt das Ziel. Die plausible Simulation einer reellen Erfahrung. Einbettung des Nutzers in das Geschehen und Reduktion von Effekten welche die künstliche Natur der Sinneseindrücke hervortreten lassen. Essentiell sind:

• Ausreichende Frame Raten sowie stabiles Tracking zur Darstellung in VR um Bewegungsübelkeit zu meiden. Eine flüssige Erfahrung in einem VR Headset erfordert weitaus höhere Raten als die herkömmliche Darstellung auf einem Bildschirm. 60Hz können als absolutes Minimum gelten und 90 als Ziel. Zu wenig und die Immersion bricht zusammen. Noch weitaus höherere Frequenzen erfordert das Tracking des HMD im physischen Raum.
   
• Visuelle Qualität. Die dargestellten Bilder müssen vom Verstand des Nutzers als plausibles Abbild einer Realität gelten. Diese muss nicht photorealistisch mit der wirklichen Welt übereinstimmen aber in sich schlüssig sein. Licht und Schatten sich plausibel verhalten.
   
• Vermeidung von immersionsbrechenden Effekten. Dies können zum Beispiel physikalisch unmögliche Gegebenheiten oder Eindrücke sein sowie ungeeignete Benutzerführung die den Nutzer an die künstliche Natur der Situation erinnert.

Datenaufbereitung

In der Mehrzahl der in Sachen VR interessanten Einsatzgebiete sind seit langer Zeit 3D Anwendungen in Design und Engineering fest etabliert. Dabei kommt eine breite Palette von CAD und Visualisierungssoftware zum Einsatz und die resultierenden Datenbestände sind für die Unternehmen essentielle Wertgegenstände. Auch wurden über die Jahre Workflows etabliert und Hardware angeschafft, was für Tests und Experimente in Sachen VR oft bedeutet, dass diese sich in bestehende Strukturen integrieren müssen um wertvoll zu sein. So ist es wichtig, diese Voraussetzungen zu kennen um darauf aufzubauen.

Der Einsatz von CAD Software beginnt im Ingenieurbereich. Jedes Bauteil und jede daraus zusammengesetzte Produkt wird zunächst am Computer entworfen und in Simulationen auf Belastbarkeit optimiert. Die Datensätze sind auf Maßgenauigkeit und Versionierbarkeit hin ausgelegt und in PLM Systemen gespeichert. Jede Schraube ergibt so bereits einen umfangreichen Datensatz und ein komplettes Automobil zum Beispiel entspricht in dieser Welt einer komplexen und variantenreichen Sammlung von Einzelbauteilen sowie deren modelliertem Verhalten. Visualisierung spielt hier mitunter noch eine untergeordnete Rolle.

Sie wird in folgenden Schritten wie Visualisierung und Marketing wichtig werden, wobei oft ein konkreter Stand eines solchen Datensatzes zunächst aufbereitet wird. Dabei wird die oft enorme Anzahl von präzisen Polygonen meist händisch reduziert auf ein zur Visualisierung notwendiges Maß. Von außen unsichtbare Bauteile werden entfernt (“Dataprep”) und rein visuelle Materialbeschreibungen appliziert. Ziel hier ist zumeist eine flüssige Renderperformance für High End Desktop PCs aber oft nicht mehr als 60Hz Frame Rate zugunsten der visuellen Qualität. Dieser Prozess kann sehr teuer werden, speziell wenn er wiederholbar auf neue Stände des gleichen Datensatzes anwendbar sein soll. Die Automatisierung dieses Prozesses ist eine der größten Herausforderungen auf dem Gebiet. Aus dem Auto in unserem Beispiel mit all seinem detailreichen Innenleben wird so eine polygonreduzierte Hülle, oft auch mit vereinfachtem Interieur und ohne unsichtbare Teile im Inneren.

Wenn VR in diesen Prozessen Fuß fassen soll, kommen neue Anforderungen hinzu. Frameraten die für Desktopvisualisierung oder Marketingzwecke völlig ausreichen sind hier zu gering. 90Hz als Ziel oder mehr haben sich als erforderlich erwiesen um in VR eine angenehme Erfahrung zu bieten. Fällt sie auf 45 oder weniger bricht die Immersion des Nutzers in die Erfahrung und Bewegungsübelkeit (Motion Sickness) kann auftreten. Hierfür ist eine weitaus drastischere Reduktion der Komplexität der Daten erforderlich. Welche genau kann variieren. Wie auch der Renderer. Unser bereits reduziertes Auto ist nun weiter reduziert und mit Level-Of-Detail Informationen angereichert. Es ist noch immer “mausgrau” und ohne plausible Materialen aber in austauschbaren Datenformaten.

Materialien

Als wichtigste Faktoren jedoch können die Materialbeschreibungen gelten. In der Welt der Visualisierung sind dies Beschreibungen die das Aussehen einer Oberfläche definieren. (Shader) Dies kann äußerst komplex sein und die dafür eingesetzten Mechanismen (Shader-Sprachen) und Implementierungen sind Kern der Intellectual Property (IP) der Hersteller von 3D Systeme und entscheidend für die visuelle Qualität der erzeugten Bilder. Sie werden im Rahmen eines Aufbereitungsprozesses auf die Bauteile appliziert. 

Zahlreiche VR Applikationen, wie zum Beispiel vr-on Stage, benutzen zum Erzeugen der Bilder Game Engines wie die mächtige Unreal Engine 4. Diese haben Ihre eigenen Renderer und Materialbeschreibungen und so müssen diese zunächst erzeugt und auf die importierten Modelle angewandt werden. Ein weiterer, oft händischer Schritt, der schwer zu automatisieren ist und die Aufbereitung komplexer werden lässt. Können die Geometriedaten noch direkt aus den vorhergelagerten Arbeitsschritten und Datenformaten übernommen werden, bleiben die Materialien meist weitgehend auf der Strecke und müssen komplett neu entworfen werden, was umfassende Fachkenntnis erfordert. Auch sind die Materialien ein wichtiger Faktor für die Renderperformance und müssen oft für VR optimiert werden.

Am Ende dieses Schrittes ist unser Automodell ein auf die spezielle Software optimiertes Modell, ein “Asset” in der Welt der Game Engines mit Farbe und Oberflächenbeschaffenheit die einen plausiblen immersionswahrenden Eindruck in VR geben können.

Skalierungserwägungen

Die Anzahl der zu rendernden Polygone ist oft entscheidend. Sowohl in Marketing (off-line renderings) als auch auf Desktops und Präsentationswänden wird heute zunehmend auf Clustern verteiltes Raytracing eingesetzt. Dabei ist die Anzahl der Polygone oft nur noch ein untergeordneter Skalierungsfaktor und wird entsprechend bei der Aufbereitung weniger berücksichtigt. Wichtiger sind eingesetzte Materialbeschreibungen und die Beleuchtungssituation sowie die Auflösung des Bildes. VR Anwendungen hingegen nutzen OpenGL oder Vulkan Rendering auf Graphik Hardware und sind dadurch oft direkt durch die Polygonzahl begrenzt, was erneute Reduktion erfordert. Die gleichen darzustellenden Bauteile müssen erneut bearbeitet werden. Skalierung durch Verteilung auf mehr Rechenknoten ist hier keine Option, denn VR Consumer Hardware ist für den Einsatz an einem Rechner und einer Graphikkarte bestimmt.

Die Lichtsituation ist ein weiterer Faktor. Licht und besonders Schatten werden in der 3D Visualisierung oft vorberechnet, was nur in bestimmten Szenarien möglich ist. Dynamische Berechnung zur Laufzeit jedoch wirkt sich direkt auf die Frame Rate aus und kann oft zu teuer werden. Auch hier ist Offline Raytracing in Sachen Skalierung weit weniger abhängig als das ein Gaming PC mit Graphikhardware wäre. Und so muss bei der Aufbereitung einer Szene großes Augenmerk auf die Lichtsituation gelegt werden um möglichst wenige dynamische Berechnungen zu erfordern.

Vereinfachend kann gesagt werden, dass die Skalierung der Performance von Inhalten für VR anderen Kriterien folgt als die für etablierte Systeme.

Benutzerführung

Als einer der grössten Herausforderungen hat sich die Benutzerführung erwiesen. Speziell für industrielle Anwendungen welche meist komplexere Handlungen unterstützen als z.B. Spiele.

Waren bisher Tastatureingaben, Shortcuts und präzise Mousebewegungen Mittel der Wahl, müssen in VR andere Ansätze gefunden werden. Tastaturen sind nicht vorhanden und Shortcuts folglich auch nicht. Eingabe über Motion Controller ist oft unpräzise. Virtuelle Tastaturen, im Raum schwebend und mit Tastendrücken zu bedienen sind immersionsbrechend und unhandlich. Auf der anderen Seite ist das direkte Erleben und die Präsenz des Nutzers selbst sowie seiner Hände (via Motion Controller) in der dargestellten Welt eine große Chance für Gesten, Deuten und auch Spracheingabe. Dinge können gegriffen werden, geworfen, der Nutzer kann um Gegenstände laufen und blicken.

Hergebrachte Konzepte lassen sich in VR nicht direkt übersetzen. Desktop Interaktion impliziert Geräte außerhalb der dargestellten Welt die für den Nutzer vertraut und greifbar sind wie z.B. Maus und Tastatur. Die Sichtebene mit Mouse Pointer als Fenster in diese Welt und die Tastatur als komplett draußen befindliches Gerät. In VR sind sowohl die Eingabegeräte als auch der Nutzer Teil der Welt und darin sichtbar. Anstelle eines Mausklicks und eines Shortcuts zum Greifen eines Objekts, greift der Nutzer Schlicht das Objekt. Die Implikation eines ‘Außerhalb’ bricht bereits die Immersion.

Die Zwänge zum Aufgeben hergebrachter Konzepte sollten als Chancen zum Finden neuer begriffen werden. Jedoch bleiben nicht nur die Konzepte auf der Strecke sondern damit auch die intuitive Bedienbarkeit von Software auch durch wenig vertraut Nutzer. Die meisten Menschen dieser Tage wissen wie ein Mausklick funktioniert oder wie man einen Text eingibt. Solch große Vertrautheit wird noch lang auf sich warten lassen in VR. Alles ist neu und fremd und viele der aktuell verwendeten Interaktionskonzepte unausgereift und stark im Fluss. Die besten müssen erst gefunden werden und sich durchsetzen.

Beispiel ist die Teleportfunktion. Vor wenigen Jahren war die Erkenntnis verbreitet, dass Bewegung eines immersiven Benutzers in einer Szene (wie in Spielen durch die Tastatur) in VR nicht einfach adaptierbar ist. Die Repräsentation und Perspektive eines Nutzers zu bewegen, ohne dass der Nutzer selbst sich bewegt, zum Beispiel im getrackten Raum, führt schnell zu Übelkeit. Und so hat sich nach einigen Experimenten der Teleport des Benutzers durchgesetzt, dessen Gestalt und Funktionalität heute zunehmend vertraut ist für VR Nutzer und auch die Bedienung sich zu vereinheitlichen beginnt.

Mit anderen Aspekten wird es nicht anders sein. Mut zur Innovation ist hier genau so gefragt wie Offenheit für neue Wege durch die Nutzer. 

Fazit

Virtual Reality ist ein junges Feld in dem Experimente den Ton angeben und sich vieles ändert. Dabei sind die Herausforderungen technologischer Natur ebenso groß wie beim Thema Benutzerinteraktion. Und doch werden große Fortschritte in beiden Bereichen gemacht wobei sich Potentiale ergeben.

Wie können Material- und Datenimporte sowie deren Aufbereitung für VR vereinfacht und automatisiert werden? Wie kann eine intuitivere Benutzerführung geschehen und welche Performancesteigerungen sind möglich? Industrielle Anwendungen sind hier mehr und mehr in vorderen Reihen und treiben die Entwicklung. vr-on hat mit Stage eine Synthese zwischen den rapiden Entwicklungsmöglichkeiten einer Game Engine mit den Anforderungen zum Einsatz in der Industrie gewagt und ist beim Erproben dieser Möglichkeiten mit dabei.