Motivation

Moderne Sprach- und Bildmodelle eröffnen neue Möglichkeiten in der Mensch-Roboter-Interaktion. Gerade bei Assistenzsystemen wie einem intelligenten Rollstuhl kann durch eine intuitive, visuelle und sprachliche Kommunikation die Bedienung deutlich vereinfacht und der individuelle Komfort des Nutzers besser berücksichtigt werden.

Am FAPS wird ein intelligenter Rollstuhl entwickelt, der bereits autonom navigieren kann. Ziel ist es nun, diesen mit einem Vision-Language Model (VLM) zu erweitern, um auf sprachliche und visuelle Hinweise des Patienten zu reagieren – beispielsweise durch das Erkennen von Anweisungen wie „Fahr dorthin, wo der Mann mit dem roten Pulli steht“ oder „Bitte an der Bank mit dem Baum anhalten“.

Inspiration liefern unter anderem folgende Veröffentlichungen:

– Human Comfort Factors in People Navigation: Literature Review, Taxonomy and Framework
– HuNavSim 2.0
– VLM-Social-Nav: Socially Aware Robot Navigation Through Scoring Using Vision-Language Models

Zielsetzung

In dieser Arbeit soll ein VLM in die ROS-basierte Steuerung des intelligenten Rollstuhls eingebunden werden. Es soll als Schnittstelle dienen zwischen der Wahrnehmung der Umgebung (Kamera) und der intuitiven Interaktion mit dem Patienten (Sprache), um die komfortable Navigation durch natürliche Instruktionen zu ermöglichen.

Arbeitsschritte

– Einarbeitung in bestehende ROS-Navigation des intelligenten Rollstuhls
– Auswahl und Vorbereitung eines geeigneten Vision-Language-Modells
– Entwicklung eines Konzepts zur Integration von Kamera-Input und Sprachbefehlen
– Verarbeitung natürlicher Sprache und visueller Hinweise zur Erzeugung von Navigationszielen
– Implementierung einer Beispielanwendung: Interaktive Navigation zu einem Ziel in der Umgebung
– Evaluation mit Beispiel-Szenarien oder Probanden

Was wir bieten

– Arbeiten an einem hochaktuellen Thema zwischen KI, Robotik und Assistenzsystemen
– Anwendung neuester Vision-Language-Technologien in einer realen robotischen Plattform
– Betreuung durch ein interdisziplinäres Team am FAPS
– Freiraum für eigene Ideen und kreative Ansätze
– Flexible Arbeitsweise und moderne Ausstattung

Anforderungen & Bewerbung

– Interesse an KI, Sprachverarbeitung oder Mensch-Roboter-Interaktion
– Grundkenntnisse in Python und ROS sind hilfreich
– Erfahrung mit Deep-Learning-Frameworks von Vorteil
– Beginn jederzeit möglich

Bewerbung bitte per E-Mail mit kurzer Notenübersicht und Lebenslauf.
Fragen zur Arbeit oder zum Thema beantworten wir gerne persönlich oder per Mail.

Kategorien:

Kontakt: