CogniAffect - Interaktion affektiver und kognitiver Zustände

Im Rahmen der Initiative "KI-Fortschrittszentrum LERNENDE SYSTEME UND KOGNITIVE ROBOTIK" untersuchte das Team Angewandte Neurokognitive Systeme am Fraunhofer-Institut IAO im Jahr 2020 die Dekodierung und Rückmeldung mentaler Zustände von Nutzerinnen und Nutzern. Diese absolvierten eine kognitive Aufgabe bei gleichzeitiger emotionaler Ablenkung. Die Erkennung der mentalen Zustände von Nutzerinnen und Nutzern ist bei vielen Anwendungen im Bereich Mensch-Maschine-Interaktion (HMI) entscheidend beispielsweise in der industriellen Produktion, in teilautonomen Fahrzeugen, in der Chirurgie oder auch im Kontext von unterstützenden Lern- und intelligenten Tutorsystemen. Während affektive Zustände (d.h. Emotionen) mit Zufriedenheit und Motivation in Verbindung stehen, sind kognitive Zustände (z.B. Anstrengung und Belastung) mit Erschöpfung, Stress und Müdigkeit verbunden.

Ziel dieser Studie war die Identifikation und das kontinuierliche Monitoring (=Überwachung) mentaler Zustände durch Messung und Dekodierung von Aktivierungsmustern aus neurophysiologischen Messungen. Darüber hinaus wurden die Wechselwirkungen zwischen affektiven und kognitiven Zuständen untersucht (vgl. Moore et al., 2019) und eine intuitive Rückmeldung der erkannten Zustände an die Nutzerinnen und Nutzer implementiert. Durch die Reaktion der Nutzerinnen und Nutzer auf diese Rückmeldung, können wertvolle Erkenntnisse zu Berechnung und Gestaltung des Feedbacks erlangt werden, z.B. hinsichtlich dessen wie genau und robust das Feedback sein muss und inwieweit sich Nutzerinnen und Nutzer durch ein inkonsistentes Feedback irritieren oder stören lassen. Die Reaktionen auf die rückgemeldeten Zustände wurden auf neurophysiologischer, subjektiver Ebene und Verhaltensebene erfasst.

Während des Experiments führten die Teilnehmenden mathematische Aufgaben mit gleichzeitigen auditiven emotionalen Ablenkungen durch (negativ, neutral und positiv assoziierte Geräusche; siehe Abbildung 1). Dabei wurden neurophysiologische Korrelate in einem 2 (niedrige vs. hohe Arbeitsgedächtnisbelastung) × 3 (niedrige, neutrale und hohe Valenz) Design gemessen, was zu sechs experimentellen Bedingungen führte. Basierend auf den Elektroenzephalographie-Daten (EEG) von acht Teilnehmenden wurde eine Echtzeit Vorverarbeitungs-, Analyse- und Visualisierungsroutine implementiert (z.B. Enriquez-Geppert et al., 2017).

Im nächsten Schritt wurden die Auswirkungen von konsistentem bzw. inkonsistentem (d.h. fehlerhaftem) visuellem Echtzeit-Feedback auf neurophysiologischer (Gehirnaktivität) und verhaltensbezogener Ebene (Antwortzeit und Genauigkeit) im gleichen 2 × 3 Studiendesign untersucht. Das Feedback basierte nur scheinbar auf der Gehirnaktivität der Nutzerinnen und Nutzer und wurde tatsächlich pseudorandomisiert auf Basis der Experimentalbedingung erstellt (vgl. Logemann et al., 2010). Wir untersuchten, wie die Teilnehmerinnen und Teilnehmer das Feedback annahmen und erlebten. Sie konnten die rückgemeldeten Zustände entsprechend ihrer eigenen Wahrnehmung korrigieren, indem sie in das entsprechende Feld klicken (siehe Abbildung 2 links). Nach dem Experiment befragten wir die Teilnehmenden, wie sie das Feedback wahrnahmen und ob sie es genutzt haben, um ihr Verhalten anzupassen.

Die Teilnehmerinnen und Teilnehmer antworteten in der Bedingung mit geringer Arbeitsgedächtnis-belastung schneller und genauer als in der Bedingung mit hoher Arbeitsgedächtnisbelastung. Darüber hinaus empfanden sie die Bedingung mit hoher Arbeitsgedächtnisbelastung als anspruchsvoller. Außerdem wurde die Bedingung mit hoher Valenz (also mit positiv-konnotierten Geräuschen) als positiver als die Bedingung mit neutraler Valenz und die Bedingung mit niedriger Valenz eingeschätzt (siehe Abbildung 3).

Um mentale Zustände mit Hilfe etablierter neuronaler Korrelate der EEG-Signale zu identifizieren, wurden mehrere überwachte Methoden des maschinellen Lernens verglichen. So konnten, die Versuchsbedingungen mit hoher Genauigkeit unterschieden werden (siehe Abbildung 4 links). Interessanterweise sinkt die Genauigkeit auf Zufallsniveau, wenn die subjektiven Einschätzungen vorhergesagt werden sollen, welche über kurze Fragebögen in jedem Durchgang erhoben wurden (Post-hoc-Rating; siehe Abbildung 4 rechts). Somit scheinen Einflüsse, die nicht in den neurophysiologischen Signalen repräsentiert sind oder nicht in den Klassifikationsmodellen gelernt werden konnten, auf eine subjektive Evaluation von erlebten Reizen und empfundenen Zuständen einzuwirken.

Die Teilnehmenden korrigierten ihre vermeintlichen mentalen Zustände häufiger bei inkonsistenten im Vergleich zu konsistenten Rückmeldungen. Ob sie konsistentes oder inkonsistenten Feedback erhielten, hatte jedoch keinen signifikanten Einfluss auf ihr Verhalten im nächsten Durchgang (siehe Abbildung 5). Interessanterweise änderte eine höhere Arbeitsgedächtnisbelastung nichts an der Wahrnehmung des Feedbacks oder an der Wahrscheinlichkeit, einen inkonsistenten Feedbackwert zu korrigieren. Auf neurophysiologischer Ebene konnten keine Unterschiede zwischen den Bedingungen (konsistent vs. inkonsistent) festgestellt werden.

Die Teilnehmenden bewerteten die Rückmeldung ihrer mentalen Zustände grundsätzlich als interessant. Viele baten um eine genauere Erklärung hinsichtlich der zugrundeliegenden Maße und Berechnungen. Einige empfanden das inkonsistente Feedback als irritierend. Dennoch berichteten viele, dass adaptive Feedbacksysteme die Effektivität von Lern- und Trainingsszenarien erhöhen können. Da die Teilnehmenden als Reaktion auf die inkonsistenten Rückmeldungen irritiert waren und sich mehr Informationen über ihren Hintergrund wünschten, ist es wahrscheinlich, dass sie nur begrenztes Vertrauen in das Feedbacksystem hatten. Wahrscheinlich sind nur Systeme, die als zuverlässig, konsistent und relevant wahrgenommen werden, in der Lage, Effekte auf Verhaltens- sowie neuronaler Ebene hervorzurufen (Kluger & DeNisi, 1996).

Insgesamt trägt unser EEG-basierter Echtzeit-Feedback-Ansatz zur Entwicklung von HMI-Anwendungen und geschlossenen neuroadaptiven Systemen bei, die es ermöglichen, den Zustand von Nutzenden zu erkennen, zurückzumelden und die Systemparameter an die individuellen Fähigkeiten und Anforderungen anzupassen. Darüber hinaus wurde gezeigt, wie wichtig die Gestaltung und Validität des Feedbacks für dessen Effektivität ist. Dies zeigt spannende Herausforderungen und Forschungspotenziale auf für die robuste Erkennung und Vorhersage affektiv-emotionaler und kognitiver Zustände von Lernenden leistungsorientierten Kontexten.

• Enriquez-Geppert, S., Huster, R.J., & Herrmann, C.S. (2017). EEG-neurofeedback as a tool to modulate cognition and behavior: A review tutorial. Frontiers in Human Neuroscience, 11(51), 1-19.
• Käthner, I., Wriessnegger, S. C., Müller-Putz, G. R., Kübler, A., & Halder, S. (2014). Effects of mental workload and fatigue on the P300, alpha and theta band power during operation of an ERP (P300) brain-computer interface. Biological Psychology, 102, 118-129.
• Kluger, A.N. & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.
• Logemann, H.N.A., Lansbergen, M.M., Van Os, T.W.D.P., Böcker, K.B.E., & Kenemans, J.L. (2010). The effectiveness of EEG-feedback on attention, impulsivity and EEG: A sham feedback controlled study. Neuroscience Letters, 479(1), 49-53.
• Moore, M., Shafer, A.T., Bakhtiari, R., Dolcos, F., & Singhal, A. (2019). Integration of spatio-temporal dynamics in emotion-cognition interactions: A simultaneous fMRI-ERP investigation using the emotional oddball task. NeuroImage, 202, 116078.
• Smith, E. E., Reznik, S. J., Stewart, J. L., & Allen, J. J. B. (2017). Assessing and conceptualizing frontal EEG asymmetry: An updated primer on recording, processing, analyzing, and interpreting frontal alpha asymmetry. International Journal of Psychophysiology 111, 98-114