Entwicklung von Hand User Interfaces mit multisensorischem Feedback für VR & AR | MA IxD Proposal

Eine Design-Pattern Studie zur Untersuchung der Auswirkungen visuellen, auditiven und taktilen Feedbacks auf das Gefühl von Embodiment während der Bedienung eines Handmenüs in Virtual Reality.

Exzerpt

PDF

Proposal_HandUI_VR_AR_Handout_2020_sfruebis.pdf

Auf das Bild oder hier klicken, um das PDF Handout herunterzuladen.

Die Verbesserung der Immersion ist eines der Kernthemen in der Virtual- und Augmented Reality (VR/AR). In einem multisensorischen VR-Erlebnis kann ein virtueller Körper durch Illusion als der Eigene wahrgenommen werden, was auch als „Sense of Embodiment“ (SoE) bezeichnet wird. Durch geeignete visuelle und taktile Stimulation kann mit dieser Technologie das Gefühl von Körperbesitz manipuliert werden. Die Illusion einer virtuellen Hand und die Gummihand sind Experimente, die dies schon eindrücklich beweisen konnten.

Problem

Bei der Anwendung von VR/AR-Brillen fehlt taktile Stimulation aufgrund der Abwesenheit materieller Gegenstände. Hardware Prototypen, wie die der VR Handschuhe, Armbänder, Exoskelette oder Anzüge, wurden entwickelt, um die Lücke des fehlenden taktilen Feedbacks zu schließen. Während diese Hardware einen signifikanten Fortschritt für den SoE bedeuten, erschweren hohe Preise und deren unpraktische Größe eine erfolgreiche Integration in den Verbrauchermarkt. Entsprechend ist das UX/UI Design bei Anwendungen mit multisensorischem Feedback wenig erforscht, was den Ausgangspunkt dieser Arbeit darstellt.

Forschungsfrage

Wie wirkt sich multisensorisches Feedback bei Handinteraktionen auf das Gefühl von Embodiment in Virtual und Augmented Reality aus?

Ziel

Das Ziel dieser Arbeit ist die Entwicklung eines best-practice-guides, der den SoE für Hand UIs verbessern soll.

Um die Auswirkungen multisensorischen Feedbacks auf Embodiment zu untersuchen, soll die Verbraucherhardware Occulus Quest und ein Tool für taktiles Feeback (bspw. Woojer Edge) angewandt werden. In einer Design Pattern Studie sollen NutzerInnen mit dem Fokus auf multisensorisches Feeback reale mit virtuellen Handinteraktionen vergleichen und evaluieren. Dies soll mithilfe eines zunächst realen beispielhaften Steuerinstruments umgesetzt werden, das unter Anderem mit Taster, Drehknöpfen und Schiebereglern bedient werden soll. Anschließend wird das Steuerelement in VR nachgebaut und mit verschiedenen visuellen Animationen, Tönen und taktilem Feedback in Form von Vibration am Körper erweitert. Die Gegenüberstellung eines virtuellen und materiellen Steuerinstruments soll einen Vergleich des SoE möglich machen. Die Ergebnisse der best-practice-guides sollen zukünftig in diversen Szenarien Anwendung finden. In einem Show-Case-Video und Medium Artikel werden die Forschungsergebnisse zusammengefasst und veröffentlicht.