Einsatz von EEG-basierten Brain-Computer Interfaces zur Verbesserung der chirurgischen Robotik durch emotionsgesteuertes Lernen in realistischen Szenarien
In der Medizintechnik werden Operationsroboter im Rahmen einer Mensch-Roboter-Kollaboration (MRK) zur kognitiven Entlastung der Chirurg*innen eingesetzt, um den Behandlungserfolg zu verbessern. Ein Kernaspekt ist das Training dieser Roboter mittels verstärkendem Lernen (Reinforcement Learning, RL), das eine kontinuierliche Belohnungsfunktion benötigt. Insbesondere in der minimal-invasiven Chirurgie, wie der Laparoskopie, ist das Ableiten einer solchen Belohnungsfunktion komplex. Das sogenannte Reward Shaping erfordert umfassendes Domänenwissen, die Umwandlung dieses Wissens in explizite Formeln und die Messung aller relevanten Werte.
Brain-Computer-Interfaces (BCIs), basierend auf Elektroenzephalographie (EEG), bieten eine innovative Möglichkeit, implizite neurophysiologische Reaktionen von Medizinexpert*innen zu erfassen und für eine kontinuierliche Bewertung zu nutzen. Diese affektiven Bewertungen, etwa die Frustration der Chirurgin bei einer fehlerhaften Aktion des Roboters, können für das Training genutzt werden. Unser Projekt zielte darauf ab, zu untersuchen, wie ein EEG-basiertes BCI für einen zeitkontinuierlichen Reward in der Robotik genutzt werden kann.
In realitätsnahen MRK-Anwendungsszenarien wurden robuste neurophysiologische Korrelate emotional-affektiver Reaktionen (spezifische EEG-Muster) identifiziert und ihre Eignung für die kontinuierliche Bewertung eines Laparoskopie-Roboters erforscht. Die dafür entwickelte Experimentalumgebung ermöglichte es, gezielt medizinische Aktionen an einem Phantom zu simulieren. In zwei Studien mit insgesamt 25 Teilnehmenden wurden die EEG-Muster mittels fortgeschrittener Signalanalyse analysiert und zur Vorhersage emotional-affektiver Reaktionen mittels maschineller Lernalgorithmen klassifiziert. Die Resultate zeigen, dass tiefe neuronale Netze (sog. Convolutional Neural Networks, CNN) besonders gut geeignet sind, geeignete Signalmuster für die Klassifikation zu extrahieren. Die entwickelten Komponenten wurden in einer simulierten Demonstration zusammengeführt, die die Verbesserung roboter-gestützter laparoskopischer Eingriffe durch die Klassifikation von emotional-affektiven Reaktionen mittels EEG und tiefen neuronalen Netzen illustriert.