Die Interaktion zwischen Menschen und autonomen mobilen Robotern (AMR) wird zunehmend alltäglicher – insbesondere in öffentlichen oder gemeinsam genutzten Räumen. In solchen Situationen ist eine intuitive, unmittelbare Steuerungsmöglichkeit essenziell, insbesondere dann, wenn es zu unvorhergesehenen Konflikten oder Störungen kommt.

Eine vielversprechende Lösung stellt die gestenbasierte Steuerung dar. Sie ermöglicht eine natürliche, sprachunabhängige Kommunikation mit dem Roboter – ganz ohne technische Vorkenntnisse, Programmierung oder zusätzliche Eingabegeräte. Besonders für Laien bietet dies eine niederschwellige Möglichkeit, dem Roboter einfache Anweisungen zu erteilen.

Bei komplexeren Befehlen hingegen existieren häufig keine allgemein bekannten oder intuitiven Gesten. Solche Anweisungen müssen dem Roboter erst durch eine Kombination aus Geste und Bedeutung beigebracht werden. Der Roboter soll diese Kombinationen anschließend erkennen und die zugehörige Aktion selbstständig ausführen können.

Eine zentrale Herausforderung besteht darin, dass Gesten individuell, kulturell unterschiedlich und stark kontextabhängig sind. Verschiedene Personen nutzen für dieselbe Intention oft ganz unterschiedliche Bewegungen. Eine statische, vorab definierte Gestenbibliothek stößt hier schnell an ihre Grenzen. Hinzu kommt, dass sich im laufenden Betrieb neue Anforderungen und damit neue Befehle ergeben können, auf die der Roboter flexibel reagieren muss.

An dieser Stelle kommen Vision-Language-Modelle (VLM) ins Spiel. Diese multimodalen Modelle können Eingaben aus Bild- und Textebene kombinieren und in einem semantischen Kontext interpretieren. Dadurch wird es möglich, nicht nur bekannte, sondern auch neuartige oder zuvor nicht explizit gelernte Gesten mit Bedeutung zu verknüpfen.

Ziel der Arbeit ist es, ein erweiterbares System zur Gestensteuerung für mobile Roboter zu entwickeln, das auf einem VLM basiert. Dieses System soll neue Gesten-Befehl-Kombinationen erlernen, interpretieren und ausführen können – flexibel, robust und benutzerfreundlich.

• Voraussetzungen
  • Freude am Programmieren
  • Motivation und eigenständige Arbeitsweise
  • Sehr gute Deutsch- oder Englischkenntnisse
  • Vorerfahrung im gewünschten Themenbereich
  • Kenntnisse in ROS2 von Vorteil
• Hinweise zur Bewerbung:
  • Beginn ist jederzeit möglich
  • Bewerbungen bitte per E-Mail mit aktueller Notenübersicht und Lebenslauf senden (unvollständige Bewerbungen werden nicht berücksichtigt).
  • BA/PA/MA möglich
  • Der Arbeitsumfang kann entsprechend der Art der Abschlussarbeit angepasst werden.

Detaillierte Informationen zu den möglichen Themengebieten und deren Aufgabenstellungen werden gerne in einem persönlichen Gespräch erläutert. Bei Interesse können gerne gemeinsam weitere mögliche Themen entwickelt werden.

Kategorien:

Kontakt: