KONTAKT - Intelligente augengesteuerte Kommunikationshilfe

Menschen mit eingeschränkter Kommunikationsfähigkeit benötigen Unterstützung, um kommunizieren und somit am Leben teilhaben zu können. Technologische Hilfsmittel, wie Tablet-Computer mit Bildschirmtastaturen und Sprachsynthesizern, die auf Augensteuerung basieren, sind oftmals langsam und frustrierend. Wie können diese Technologien verbessert werden, um die Kommunikation schneller und intuitiver zu gestalten? Wie kann die Berücksichtigung des Kontexts die Sprachgeschwindigkeit und den Sprachfluss verbessern?

Ziel war es Anwender*innen eine schnellere und einfachere Kommunikation zu ermöglichen. Dies wurde durch die Weiterentwicklung einer Benutzeroberfläche speziell für die Bedienung per Augensteuerung erreicht. Zusätzlich haben wir eine nutzendenspezifische Wissensbasis und Kontextwissen aus dem Umfeld der Anwender*innen in das System integriert. Durch den Einsatz von Künstlicher Intelligenz wurde ein kontextbasiertes Wort- und Satzvorschlagsystem entwickelt, das dem System der Anwender*innen zusätzliche Informationen aus dem Umfeld bietet und dadurch schnellere Wortvorschläge generiert. 

Im Projekt KONTAKT setzten wir uns dafür ein, die Erfahrungen und Bedürfnisse der Nutzendengruppe zu verstehen. Wir haben Interviews durchgeführt, um individuelle Anforderungen anhand von Nutzungskontextanalysen zu ermitteln. Darauf basierend haben wir verschiedene Interaktionskonzepte für die einzelnen Komponenten des Systems entwickelt und evaluiert, darunter die Darstellung von vorhergesagten Wörtern und Auswahlstrategien.

Eine der größten Herausforderungen bestand in der Integration von kontextsensitiven Wort- und Satzvorschlägen. Ursprünglich wurden ein Spracherkennungsmodul und eine kamerabasierte Objekt- und Personenerkennung als Eingabe für diese Vorschläge betrachtet. Nach Feedback und Evaluationen wurde jedoch die Priorität der Kamera im Projekt gesenkt, und die Arbeit konzentrierte sich stattdessen auf vielversprechendere Ansätze wie das Mikrofon, das u.a. darauf basierende Wortvorschlagssystem, und einen Grammatikfilter.

Wir beleuchteten auch ethische, rechtliche und soziale Implikationen (ELSI) der Technologie. Insbesondere die rechtlichen Anforderungen für die Nutzung der Technologie wurden in Zusammenarbeit mit Jurist*innen erarbeitet.

Durch die Kombination menschlicher Expertise und technologischer Innovation wurde ein Demonstrator entwickelt, welcher als effizientes Kommunikationshilfsmittel dienen kann, um die Teilhabe von Menschen mit eingeschränkter Kommunikationsfähigkeit am Leben zu erleichtern.