Mobile Neuro-Bildgebung für VR-basiertes Lernen

Traditionelle Industrien, insbesondere in Deutschland, erleben durch Automatisierung und digitale Innovationen einen revolutionären Wandel. Die zunehmende Komplexität durch die kontinuierliche Einführung von künstlicher Intelligenz stellen steigende Anforderungen an die Kompetenz der Beschäftigten. Diese Entwicklungen fordern einen kontinuierlichen Wissenserwerb, um die Beschäftigungsfähigkeit zu sichern. Effiziente Weiterbildung und die Anpassung an neue Technologien sind daher entscheidend für Unternehmen. Es besteht ein klarer Bedarf, die betriebliche Weiterbildung, Umschulungen und Einführungen in neue Technologien effizienter zu gestalten. Das Konzept des lebenslangen Lernens spielt hierbei eine entscheidende Rolle und muss individuelle Fähigkeiten und Bedürfnisse der Lernenden berücksichtigen. 

Unser Projekt kombiniert VR (Virtual Reality) und mobiles fNIRS (funktionelle Nahinfrarotspektroskopie) zur Schaffung einer immersiven und adaptiven Lernumgebung. Das fNIRS ermöglicht es, kognitive Prozesse, die für das Lernen relevant sind – wie die mentale Beanspruchung des Lernenden (engl. cognitive workload) zu bewerten. Wir konzentrieren uns auf die Erfassung der Hirnaktivität in den vorderen Stirnregionen, da hier Prozesse der präfrontalen Kortexregionen ablaufen, die für exekutive Funktionen des Lernenden, wie Arbeitsgedächtnisleistung, mentale Beanspruchung und Impulskontrolle, wesentlich sind. Durch maschinelles Lernen kann die mentale Beanspruchung live gemessen und Lerninhalte in der VR-Umgebung optimal angepasst werden. 

Im Rahmen des Projektes führen wir erfolgreich zwei empirische neurowissenschaftliche Studien durch, um die Induktion verschiedener Schwierigkeitsgrade, die damit verbundene mentale Belastung und den Lernerfolg in einer VR-Umgebung zu testen. In einer ersten grundlagenorientierten Studie wurde das visuell-räumliche n-back-Paradigma genutzt, um die Arbeitsgedächtnisbelastung in zwei Stufen zu testen, wobei die Gehirnaktivität mit einem mobilen fNIRS-System erfasst wurde.
In einer zweiten Longitudinalstudie wurde eine realistische VR-Lernumgebung genutzt, um die Installation eines Schaltschranks zu trainieren, wobei die Aufgabenschwierigkeit durch die Anzahl der Bauteile und Zeitlimit skaliert wurde. Die Teilnehmenden absolvierten drei Sitzungen über mehrere Tage verteilt, was es uns ermöglichte, Trainingseffekte und die Wirksamkeit der Schwierigkeitsmodulation durch mobiles fNIRS zu analysieren.
Abschließend wurde ein neuroadaptives System entwickelt, das fNIRS-Daten in Echtzeit analysiert, um die Arbeitsgedächtnisbelastung zu dekodieren und das Schwierigkeitslevel anzupassen. Dieses System kombiniert maschinelles Lernen mit einer synchronisierten Simulationsumgebung bestehend aus einer VR-Lernumgebung, einer fNIRS-Software und einer python-basierten Schnittstelle, die die Datenströme zusammenführt, fNIRS-Signale in Echtzeit analysiert und die Lerninhalte entsprechend anpasst.

Die Ergebnisse dieser experimentellen und technologischen Entwicklungen verdeutlichen das Potenzial von VR und Neurotechnologie zur Schaffung einer adaptiven Lernumgebung, die auf die kognitiven Zustände der Nutzenden reagiert und das Lernen optimiert. Zukünftige Studien sollen die Effektivität und Benutzerakzeptanz dieser Ansätze weiter evaluieren.