Augmented und Virtual Reality. Chancen, Risiken und Entwicklungsmöglichkeiten

Inhaltsverzeichnis

1 Einleitung

2 Technische Grundlagen
2.1 Augmented Reality
2.1.1 Trackingsysteme
2.1.2 Registrierung
2.1.3 Ausgabegeräte
2.2 Virtual Reality
2.2.1 Virtuelle Welten
2.2.2 Eingabegeräte/Interaktion
2.2.3 Ausgabegeräte

3 Chancen
3.1 Betriebliche Anwendungsfelder von Augmented Reality
3.2 Private Anwendungsfelder von Augmented Reality
3.3 Medizinische Anwendungsfelder von Augmented Reality
3.4 Betriebliche Anwendungsfelder von Virtual Reality
3.5 Private Anwendungsfelder von Virtual Reality
3.6 Medizinische Anwendungsfelder von Virtual Reality

4 Risiken

5 Entwicklungsmöglichkeiten

6 Fazit

Anhang A: Augmentierung eines Werbeprospekts

Anhang B: Flysticks

Anhang C: Microsoft HoloLens

Literaturverzeichnis

Abbildungsverzeichnis

Abb. 2.1: Elastic Bunch Graph Matching in der Foto-App "Snapchat"

Abb. 2.2: Aufbau einer Optical-See-Through AR-Brille mit semitransparenten Spiegeln

Anhang A: Augmentierung eines Werbeprospekts

Anhang B: Flysticks mit Reflektorkugeln zum optischen Tracking

Anhang C: Unterstützung per Video-Chat - Einblendung von Skizzen des Gesprächspartners mit Microsofts HoloLens

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

1 Einleitung

Augmented Reality (AR) beschreibt die sogenannte „angereicherte Realität“. Darunter können sich die Meisten zunächst einmal nur schwer etwas vorstellen. Und dennoch werden wir fast täglich damit konfrontiert, ohne es bewusst wahrzunehmen. Die TV-Übertragung eines Fußballspiels verdeutlicht ganz gut, was AR ist. Während des Spiels werden immer wieder Laufwege von Spielern, oder Abseitslinien auf dem Spielfeld eingeblendet. Der Stadionzuschauer sieht diese Linien nicht, weil sie in Wirklichkeit nicht existieren. Erst eine Augmentierung der Realität lässt die Kombination aus der realen Umgebung und virtuellen Elementen für den TV-Zuschauer zu seiner wahrgenommenen Realität werden. AR-Systeme verschmelzen die reale Welt also mit computergenerierten Elementen (s. Anhang A).

Der Begriff der Virtuellen Realität (VR) ist für uns schon greifbarer. Schließlich bewegen wir uns schon seit Jahrzehnten in virtuellen Welten, bspw. wenn wir ein Computerspiel spielen. VR ermöglicht es nun, komplett in die virtuellen Welten einzutauchen und sich dabei von der realen Umgebung abzuschotten. Dafür wird das Sichtfeld des Benutzers nur auf die Darstellung der Virtualität eingeschränkt, so dass zumindest keine optische, im Idealfall sogar gar keine Wahrnehmung der Realität mehr erfolgt.

Wie AR und VR technisch umgesetzt werden, wird im zweiten Kapitel, den Technischen Grundlagen, erklärt.

Beide Technologien besitzen ein großes Potential für betriebliche, private und medizinische Anwender. Welche Anwendungsszenarien mit dem heutigen Stand der Technik möglich sind und wo Augmented- und Virtual-Reality bereits erfolgreich eingesetzt werden, wird in dem Kapitel Chancen betrachtet.

Alle Erfindungen der Menschheit bringen gewisse Risiken mit sich. Davon sind auch AR und VR nicht ausgenommen. Deshalb wird im vierten Kapitel, Risiken, erläutert, welche negativen Folgen ein Einsatz haben kann.

Schließlich wird noch untersucht, in welche Richtung die weitere Entwicklung gehen kann und welche Anwendungsmöglichkeiten das eröffnet.

2 Technische Grundlagen

2.1 Augmented Reality

Augmented Reality basiert auf dem Prinzip, die Umgebung des Benutzers, also die Realität, mit zusätzlichen Informationen oder Objekten anzureichern. Dies geschieht im Wesentlichen in drei Schritten. Zunächst wird die Umgebung mit einer Kamera aufgezeichnet. Eine Tracking Software berechnet mithilfe verschiedener Techniken die genaue Position, sowie die Ausrichtung der Kamera und der Objekte im Raum. Hat die Software den dreidimensional Raum erfasst, werden die virtuellen Elemente eingefügt. Diesen Vorgang nennt man Registrierung. Hierfür werden das Koordinatensystem des erfassten Raumes und das der virtuellen Objekte zueinander in Beziehung gesetzt. Dabei ist es essentiell, dass das Tracking System exakte Daten liefert, um eine optimale Illusion zu erzeugen. Im dritten Schritt wird die angereicherte Realität dann auf einem Ausgabegerät wiedergegeben.^[1]

2.1.1 Trackingsysteme

Die Trackingsysteme werden unterschieden in nichtvisuelles und visuelles Tracking. Unter dem nichtvisuellen Verfahren versteht man den Einsatz von Sensoren wie Ultraschall, Infrarot, GPS, Kompass und Trägheitssensoren.^[2] Auch Eye-Tracking ist mithilfe einer Kamera möglich.^[3] In der Praxis kombiniert man meistens mehrere Sensoren, um die Genauigkeit zu erhöhen. Dies nennt sich Sensor Fusion.^[4] Betrachtet man die Liste der nichtvisuellen Methoden, ist es logisch, warum moderne Smartphones immer mehr für AR-Anwendungen genutzt werden. Ein Großteil dieser Sensoren ist mittlerweile standardmäßig in den Geräten verbaut und bieten somit schon eine sehr gute Grundlage, um die Position im Raum bestimmen zu können.

Hinzu kommt, dass auch die Kameras der Smartphones immer höhere Auflösungen erzielen können. Somit ist auch die Voraussetzung für visuelles Tracking gegeben. Die visuellen Tracker lassen sich in zwei Kategorien einteilen: merkmals- und modellbasierte Systeme. Erstere suchen im Videobild nach zwei- oder dreidimensionalen Punkten, sogenannten Markern, und berechnen daraus die Kameraposition. Die einfachste und kostengünstigste Methode sind 2D-Marker, die aus schwarz-weißen Mustern bestehen. Das Muster wird direkt auf dem zu trackenden Objekt angebracht. Ihm kommt eine Doppelfunktion zu. Zum Einen markiert es die Position, zum Anderen besteht es aus einem Code, der die Informationen enthält, die angezeigt werden sollen.^[5] Es gibt verschiedene Arten von Markern. Die bekanntesten sind QR-Codes. Allerdings bringen diese Marker auch Probleme mit sich. So ist die Identifizierung nicht mehr möglich, wenn die Muster ganz oder teilweise durch reale Objekte verdeckt werden. In großen Umgebungen müsste außerdem eine Vielzahl von Markern angebracht werden, was auch ästhetischen Ansprüchen gegenübersteht.^[6]

Abhilfe schafft das ebenfalls merkmalsbasierte, aber deutlich komplexere feature-based Tracking. Diese Bildererkennungsmethode, die Anhaltspunkte in der Umgebung sucht (Linien, Punkte, Farbkontraste etc.), kommt ohne künstliche Marker aus. Aus mehreren natürlichen Anhaltspunkte kann die relative Position und Orientierung der Kamera errechnet werden.^[7]

Modellbasierte Tracker hingegen beziehen sich auf dreidimensionale Referenz-Modelle, oder zweidimensionale Templates eines oder mehrerer in der Realität vorkommender Objekte. Der Videostream wird abgesucht nach Objekten, die den 3D-Modellen entsprechen, bzw. deren Oberfläche denen des Templates gleicht. Diese Technik ermöglicht es auch teilweise verdeckte Objekte und sich dynamisch ändernde Umgebungen zu identifizieren.^[8] Ein bekanntes Anwendungsgebiet für die modellbasierten Tracker ist die Gesichtserkennung. Hier verwendet man heutzutage meistens Elastic Bunch Graph Matching, da dies invariant zu Veränderungen des Hintergrunds, der Größe und Position, sowie der Helligkeit ist.^[9] Bei dieser Technik wird über das Gesicht ein Raster aus Knoten und Kanten gelegt (s. Abb. 2.1). Da so ein dreidimensionales Bild erzeugt wird, können später relativ einfach weitere 3D-Objekte eingefügt werden.^[10]

2.1.2 Registrierung

Alle genannten Trackingmethoden haben gemein, dass sie in sehr kurzen Intervallen stattfinden müssen, um Lageänderungen der Kamera oder der Objekte zeitnah, im Idealfall in Echtzeit erfassen zu können. Ist dies nicht der Fall kommt es zu Problemen mit der geometrischen Registrierung. Die virtuellen Objekte sollen fest in der realen Umgebung registriert werden. Dies nennt sich geometrische Registrierung. Photometrische Registrierung sorgt dagegen für eine korrekte Belichtung der augmentierten Realität.

Wenn die Kamera bewegt wird, bewegt sich die Umgebung entsprechend mit. Das virtuelle Objekt soll aber an Ort und Stelle stehen bleiben und sich nicht mit der geänderten Kameraperspektive bewegen. Ist die Trackingrate jedoch zu niedrig, bewegen sich die eingeblendeten Objekte aus Sicht des Betrachters kurzzeitig mit, um dann an ihre ursprüngliche Position zurückzuspringen. Das zerstört für den Betrachter die Illusion. Um dieses Problem zu lösen kann die Bildwiederholungsrate bei Video-See-Through Geräten (s. 2.1.3 Ausgabegeräte) an die Trackingrate angepasst werden. Ist die Bildwiederholungsrate jedoch zu niedrig, springt das Bild bei schnellen Kamerabewegungen abrupt um, was eine Diskrepanz zwischen der gefühlten Eigenbewegung und der optisch wahrgenommenen Bewegung hervorruft. Daher sollte es Ziel sein, die Trackingsysteme so schnell und genau wie möglich zu machen.

Ähnliche Probleme treten durch Latenz auf. Latenz ist die zeitliche Differenz zwischen einer Bewegung und der Berechnung und Umsetzung dieser Bewegung. Zusätzlich zu Verzögerungen aufgrund einer zu geringen Trackingrate, kommt noch die Zeit, bis das Koordinatensystem auf die Veränderung angepasst ist. Latenzen entstehen durch zu lange Signallaufzeiten, oder zu aufwendige Berechnungsverfahren.^[11]

Während eine korrekte geometrische Registrierung grundlegend für eine angenehme AR-Erfahrung ist, sorgt die photometrische Registrierung für ein möglichst realistisches Erlebnis. Allerdings wird die photometrische Registrierung nur in wenigen Anwendungsfällen implementiert, da sie ohne Tiefenkameras (z.B. Microsoft Kinect) oder Systemen zur Laufzeitmessung von Signalen kaum sinnvoll umgesetzt werden kann. Meist finden sich solche Systeme deswegen nur in stationären AR-Geräten. Ohne Kenntnisse über die Oberflächen in der Umgebung können Schatten und Reflexionen nicht richtig berechnet werden.^[12]

2.1.3 Ausgabegeräte

Im letzten Schritt muss die erzeugte augmentierte Realität dargestellt werden. Auch dafür gibt es verschiedene Ansätze mit Vor-und Nachteilen. Grundsätzlich ist zwischen Handheld-Geräten, Projektionen, Optical-See-Through-Diplays und Video-See-Through-Displays zu unterscheiden. Die momentan am häufigsten verwendete Ausgabeform sind Handheld Geräte wie z.B. Smartphones und Tablets. Eine große Rolle dürfte hier die große Verbreitung solcher Geräte spielen. Nachteilig bei Handheld-Geräten ist, dass die Augmentierung nur perspektivisch korrekt zur Kamera erfolgt, nicht aber zum Betrachter, da der einen anderen Blickwinkel und ein größeres Sichtfeld hat.^[13]

Projektionsbasierte Augmentierung wird für eine Mehrbenutzeranwendung verwendet, da sie nicht perspektivisch auf die einzelnen Betrachter abgestimmt wird. Eine freie Positionierung der Inhalte im Raum ist nicht möglich, da der Projektor unbeweglich im Raum steht und die Projektion auf bestehende Oberflächen beschränkt ist. Die Projektion muss auf die Objekte im Raum und deren Oberflächen abgestimmt sein. Sind diese Objekte beweglich, müssen sie getrackt werden.^[14] Ein spezieller Anwendungsfall der projektionsbasierten Darstellung sind Head-Up-Displays. Hier werden zusätzliche Informationen auf eine Scheibe projiziert. Besonders hierbei ist, dass keine Tracker benötigt werden.^[15]

Von Optical-See-Through spricht man, wenn die Realität unmittelbar sichtbar ist und nur stellenweise die zusätzliche Inhalte eingeblendet werden. Nachteilig dabei ist, dass oben genannte Probleme durch zu niedrige Trackingraten nicht einfach durch angepasste Bildwiederholungsraten ausgeglichen werden können. Diese Technik findet meist Anwendung bei Head Mounted Displays (HMD), also Geräten die am Kopf des Betrachters befestigt sind. Es existieren mehrere Ansätze, um optisches See-Through zu realisieren. Die häufigste Anwendung finden semi-transparente Spiegel, bei denen die virtuellen Inhalte von einem kleinen Display mittels einer Optik gespiegelt werden (s. Abb. 2.2). Ganz auf Optiken verzichten kann man mithilfe von moduliertem Laserlicht, das mit einem Spiegel auf die Retina gelenkt wird und das Bild direkt darauf projiziert.^[16]

Abbildung in dieser Leseprobe nicht enthalten

Bei Video-See-Through müssen die Augen komplett umschlossen sein. Eine oder zwei, an die Brille angeschlossene Kameras nehmen die Umgebung auf und blenden sie als Hintergrundbild ein. Der Aufbau ähnelt dem der Video-See-Through-Brillen, mit dem Unterschied, dass auf dem Display die komplette augmentierte Realität abgespielt wird und dass der vordere Spiegel nicht semi-transparent ist, um kein Umgebungslicht durch zu lassen.^[17]

Latenzen können bei Video-See-Through Geräten ausgeglichen werden, indem die Latenz gemessen und das Kamerabild entsprechend lange zwischengespeichert wird. Wenn die Tracking-Daten berechnet sind, werden die virtuellen Objekte angepasst auf das Kamerabild zum Zeitpunkt der Erfassung. Dadurch besteht die Latenz nicht mehr zwischen Realität und Virtualität, sondern für das Gesamtbild. Wird die Latenz nicht zu hoch, fällt sie dem Betrachter dadurch nicht mehr auf.^[18]

2.2 Virtual Reality

2.2.1 Virtuelle Welten

Mit Virtual Reality kann ein Nutzer sich in einer virtuellen Umgebung bewegen und mit dieser interagieren. Die virtuellen Welten sind also aufgebaut aus dynamischen 3D-Objekten, die in Echtzeit auf Nutzereingaben reagieren. Einer der wichtigsten Aspekte bei VR ist die Echtzeitfähigkeit der Systeme. Der Nutzer soll sich wie in der Realität fühlen und keine Verzögerungen bemerken. Dabei müssen in einem Zeitschritt die Nutzereingaben erfasst und verarbeitet werden, die Welt muss entsprechend simuliert und gerendert werden und schließlich muss das Ergebnis auf dem Display ausgegeben werden. Das heißt, dass die Welt nicht zu komplex gestaltet sein darf, weshalb es bei VR auch nicht so stark auf hochwertige Grafiken ankommt.^[19]

2.2.2 Eingabegeräte/Interaktion

Zur Interaktion mit dem VR-System stehen unterschiedlichste Eingabemöglichkeiten zur Auswahl. Neben den, aus Augmented Reality Systemen bekannten visuellen und nichtvisuellen Trackingmethoden, gibt es außerdem noch elektromagnetisches Tracking und Eingabegeräte wie 3D-Mäuse, Flysticks und Bewegungsplattformen. Beim elektromagnetischen Tracking baut man ein Magnetfeld auf und misst mit Sensoren die Änderungen in der Stärke des Magnetfelds.^[20] Flysticks sind Joysticks, an denen mehrere Reflektorkugeln angebracht sind (s. Anhang B). Dieses Prinzip basiert auf optischem Tracking, da Kameras die Reflexionen erfassen und daraus die Position des Flysticks errechnen können. Oft kommt hierbei, für das menschliche Auge unsichtbares Infrarotlicht zum Einsatz.^[21] Neben den oben genannten Trackingverfahren, wird im VR-Bereich auch auf Finger- und Augentracking zur Interaktion gesetzt.^[22]

In seiner realen Umgebung ist der Nutzer aber räumlich begrenzt und kann sich nicht so frei bewegen, wie er es in der virtuellen Welt unter Umständen kann. Aus diesem Grund wurden laufband-ähnliche Bewegungsplattformen entwickelt. Im Gegensatz zu herkömmlichen Laufbändern, auf denen eine Bewegung nur in eine Richtung möglich ist, kann man sich auf diesen Plattformen aber in alle Richtungen bewegen.^[23]

2.2.3 Ausgabegeräte

Ziel der Ausgabegeräte ist es, eine möglichst hohe Immersion zu erreichen.^[24] Immersion „beschreibt [...] den Eindruck, dass sich die Wahrnehmung der eigenen Person in der realen Welt vermindert und die Identifikation mit einer Person in der virtuellen Welt vergrößert.“^[25] Umso mehr der Nutzer also mit der virtuellen Welt interagieren und sich in ihr bewegen kann, desto größer ist die Immersion. Entscheidend ist dabei auch die Dreidimensionalität. Die Sinne die hauptsächlich mit Virtual Reality angesprochen werden, sind der optische, der akustische und der haptische Sinn.^[26] Zur optischen Ausgabe stehen drei Arten zur Auswahl: Monitore, Projektionen und HMDs. Während Monitore und Projektionen nur stationär verwendet werden können, sind HMDs die einzigen mobilen VR-Ausgabegeräte.^[27]

Um ein möglichst großes Sichtfeld bei möglichst hoher Auflösung zu erreichen, werden oft sogenannte Tiled Displays installiert. Das sind Bilder, die aus mehreren Projektionen oder mehreren Monitoren zusammengesetzt sind.^[28] Ein klassisches Beispiel dafür sind CAVEs (Cave Automatic Virtual Environment). Eine CAVE ist ein Raum, in dem auf drei, je nach Aufbau auch vier Seitenwände und unter Umständen auch auf Boden und Decke Bilder projiziert werden. Dabei können sich mehrere Betrachter in einem gewissen Rahmen frei bewegen.^[29]

Verwendet man HMDs im Anwendungsbereich von Virtual Reality, so sind dies in den allermeisten Fällen Brillen, die den Video-See-Through Brillen für Augmented Reality stark ähneln, mit dem entscheidenden Unterschied, dass keine Wahrnehmung der wirklichen Umgebung erfolgt. Statt der angereicherten Realität werden also rein virtuelle Welten auf den kleinen Bildschirmen dargestellt und mit einer Optik vergrößert. Aus diesem Grund entfällt auch die Integration einer Kamera. Diese Version von HMDs nennt sich Direktsicht-HMDs.^[30] Es gibt zwei Arten von Direktsicht-HMDs. Die erste Variante verfügt über ein eigenes Display (bzw. mehrere Displays) und ist über eine Schnittstelle mit einem Rechner verbunden, der die Bilder liefert. Die zweite mögliche Bauart liefert nur die Optik. Darin wird ein Smartphone eingelegt, das gleichzeitig als Display und als Rechner fungiert.

Neben der optischen Ausgabe ist, für eine hohe Immersion, auch die akustische Ausgabe entscheidend. Diese variiert je nach Einsatzgebiet. Während man bei HMD-Systemen meistens auf Kopfhörerausgabe setzt, ist es bei projektions- oder monitorbasierten VR-Systemen eher sinnvoll Surround-Anlagen mit mehreren Lautsprechern einzusetzen. Um dem Nutzer auch ein haptisches Feedback geben zu können, kann man in die Eingabegeräte Vibrationsmotoren einbauen, oder Vibrationen mit Subwoofern erzeugen.^[31]

3 Chancen

Sowohl Virtual-, als auch Augmented Reality stehen noch am Anfang ihrer Entwicklung, doch schon jetzt haben diese beiden Technologien viel Potenzial für den privaten, wie auch für den betrieblichen Einsatz. Darüber hinaus bieten sich auch in der Medizin interessante Anwendungsbereiche. In viele Branchen haben die neuen Möglichkeiten bereits Einzug gehalten. Während in der Industrie, dem Militär und der Luftfahrt bereits seit einigen Jahren AR und VR genutzt werden, sind sie in den Bereichen Medizin, Immobilien/Architektur, Bildung, Entertainment und Tourismus relativ neu.

In unserer schnelllebigen Zeit und bei der Masse an Informationen ist Time-to-Content, also die Zeit, die zur Suche nach Informationen benötigt wird, ein wichtiger Faktor. Gerade durch AR, aber auch mit VR ist eine schnelle Bereitstellung von Informationen möglich. Insbesondere durch AR kann die menschliche Wahrnehmung erweitert werden, beispielsweise durch eine Art Röntgenblick.^[32]

In diesem Kapitel möchte ich die Chancen und Einsatzmöglichkeiten der aktuell verfügbaren Technik beleuchten.

[...]

^[1] Vgl. Schart/Tschanz (2015), S.37f

^[2] Vgl. Mehler-Bicher et al. (2011), S.27f

^[3] Vgl. Grimm et al. (2013), S.151-153

^[4] Vgl. Schart/Tschanz (2015), S.43

^[5] Vgl. Mehler-Bicher et al. (2011), S.29

^[6] Vgl. Schart/Tschanz (2015), S.39f

^[7] Vgl. Tönnis (2010), S.51

^[8] Vgl. Mehler-Bicher et al. (2011), S.37

^[9] Vgl. Rybach (2003), S.128

^[10] Vgl. Mehler-Bicher et al. (2011), S.40

^[11] Vgl. Dörner et al. (2013), S.264 - 268

^[12] Vgl. Dörner et al. (2013), S.268 - 270

^[13] Vgl. Dörner et al. (2013), S.271

^[14] Vgl. Dörner et al. (2013), S.281f

^[15] Vgl. Mehler-Bicher et al. (2011), S.46

^[16] Vgl. Dörner et al. (2013), S.273-275

^[17] Vgl. Dörner et al. (2013), S.271-273

^[18] Vgl. Dörner et al. (2013), S.268

^[19] Vgl. Jung/Vitzthum (2013), S.65-67

^[20] Vgl. Grimm et al. (2013), S.110-113

^[21] Vgl. Grimm et al. (2013), S.104-106

^[22] Vgl. Grimm et al. (2013), S.114-117

^[23] Vgl. Grimm et al. (2013), S.113 f

^[24] Vgl. Grimm et al. (2013), S.127

^[25] Riggers (o.J.)

^[26] Vgl. Grimm et al. (2013), S.127

^[27] Vgl. Grimm et al. (2013), S.129

^[28] Vgl. Grimm et al. (2013), S.134

^[29] Vgl. Matthys/Barco (2013), S.297f

^[30] Vgl. Grimm et al. (2013), S.147f

^[31] Vgl. Grimm et al. (2013), S.154f

^[32] Vgl. Mehler-Bicher et al. (2011), S.22