InkluBot: Inklusive Sprachsteuerung für Roboter im Zeitalter von Large Language Models (LLMs)

Das Projekt InkluBot verfolgt das Ziel, KI-basierte Assistenz- und Robotersysteme für den Einsatz in Werkstätten für behinderte Menschen (WfbMs) gezielt weiterzuentwickeln und barrierefrei zu gestalten. Im Fokus steht die Anpassung und Integration von Large Language Models (LLMs) zur intuitiven Robotersteuerung, um eine verständliche, situationsangepasste Interaktion zwischen Mensch und Maschine zu ermöglichen. Besonderes Augenmerk liegt dabei auf der Verarbeitung nicht standardisierter Sprache und der Generierung leicht verständlicher Rückmeldungen für Menschen mit Behinderungen (MmB).

Ein zentraler Forschungsschwerpunkt ist die Verbesserung der automatischen Spracherkennung (ASR) durch optimierte Modelle, Lauterkennung und -verarbeitung. Hierzu wird ein dreistufiges, adaptives Interaktionsmodell entwickelt: (1) standardisierte Sprachsteuerung für Menschen ohne Einschränkungen, (2) ASR-Optimierung für leichte bis mittlere Sprachstörungen inklusive Satzstrukturverarbeitung sowie (3) alternative Steuerungsansätze wie Sound-to-Instruction-Systeme auf Basis von Lauten und nonverbalen Signalen.

Die Innovation des Projekts liegt insbesondere in der domänenspezifischen Anpassung von LLMs sowie der Entwicklung eines neuartigen Sound-to-Instruction-Systems. Durch den Einsatz speziell erhobener Trainingsdatensätze aus WfbMs lernt das System, mit variierenden und abweichenden Sprachmustern zuverlässig umzugehen. InkluBot demonstriert damit das Potenzial von KI und Robotik zur Förderung selbstbestimmter Inklusion, zur Unterstützung rehabilitativer Prozesse und zur Schaffung gesamtunternehmerischer Mehrwerte. Die erzielten Ergebnisse sind auf weitere Anwendungsfelder, insbesondere im Gesundheitswesen und in der Industrie, übertragbar.