Thought Leadership
Die Kommunikation zwischen Mensch und Roboter bleibt eine der größten Herausforderungen in der Robotik.
Forschende der Brown University haben nun einen Ansatz entwickelt, der zeigt, wie sich Maschinen deutlich besser steuern lassen: durch die Kombination von Sprache und Gestik (via Pressetext).
Warum Worte allein oft nicht ausreichen
Moderne Roboter sind zwar in der Lage, viele Objekte zuverlässig zu erkennen. Doch in komplexen Umgebungen stoßen sie schnell an ihre Grenzen. Wenn Gegenstände verdeckt sind, sich bewegen oder sich stark ähneln, wird die Zuordnung schwierig.
Genau hier setzt die Arbeit von Doktorandin Ivy He an. Ihr Ziel ist es, die Kommunikation zwischen Mensch und Maschine intuitiver zu gestalten. Statt sich nur auf verbale Anweisungen zu verlassen, werden zusätzliche visuelle Hinweise eingebunden.
Der neue Ansatz verbindet gesprochene Befehle mit einfachen Gesten wie dem Zeigen auf ein Objekt. So könnte eine Anweisung nicht nur lauten, eine bestimmte Tasse zu holen, sondern gleichzeitig durch einen Fingerzeig konkretisiert werden.
Technisch basiert das Verfahren auf einem sogenannten Entscheidungsmodell, das mit Unsicherheit umgehen kann. Ergänzt wird es durch ein KI-System, das visuelle Informationen und Sprache miteinander verknüpft und daraus konkrete Handlungen ableitet.
Roboter reagieren flexibler auf Unsicherheit
Ein entscheidender Vorteil dieser Methode liegt im Umgang mit unklaren Situationen. Wenn ein Roboter nicht sicher ist, welches Objekt gemeint ist, kann er eigenständig reagieren, statt stehenzubleiben.
Beispielsweise kann er seine Position verändern, um einen besseren Blickwinkel zu erhalten. Dadurch verbessert sich die Wahrscheinlichkeit, das richtige Objekt zu identifizieren. Ohne diesen Ansatz würden viele Systeme in solchen Situationen schlicht keine Entscheidung treffen.
Interessant ist, dass sich die Forschung auch an natürlichen Vorbildern orientiert. Erkenntnisse der Wissenschaftlerin Daphna Buchsbaum zeigen, dass insbesondere Hunde sehr gut auf menschliche Gesten reagieren. Diese Fähigkeit wurde auf die Interaktion mit Robotern übertragen.
Deutlich bessere Trefferquote im Experiment
In Versuchen mit einem mobilen Roboter zeigte sich der Nutzen des Ansatzes deutlich. Sollte der Roboter verschiedene Objekte in einer unübersichtlichen Umgebung finden, lag die Erfolgsquote bei der kombinierten Nutzung von Sprache und Gesten bei nahezu 90 Prozent.
Damit schnitt die Methode deutlich besser ab als Systeme, die ausschließlich auf eine der beiden Kommunikationsformen setzen.
Die Ergebnisse verdeutlichen, wie wichtig multimodale Kommunikation für die Zukunft der Robotik ist. Je besser Maschinen menschliche Signale interpretieren können, desto intuitiver wird die Zusammenarbeit.
Langfristig könnten solche Ansätze dazu beitragen, Roboter stärker in den Alltag zu integrieren – sei es in Haushalten, in der Pflege oder in industriellen Anwendungen.
