Index

3D Computer Vision Modellierung mit Deep Learning für Robotik

Ausgangssituation

Um die Absolutgenauigkeit von 6-Achs-Industrierobotern zu verbessern, wird ein Computer-Vision-basiertes Regelungssystem entwickelt. Die 6DoF Pose des Bauteils am Endeffektor des Roboters muss sehr genau innerhalb eines großen Messraums bestimmt werden. Damit diese Ziele erreicht werden können, werden mehrere Kameras gleichzeitig verwendet. Mit Image Registration werden die Bilder von verschiedenen Kameras in dasselbe Koordinatensystem transformiert. Die dadurch erzeugten hochgenauen konsistenten Bilddaten können dann von nachfolgenden Algorithmen genutzt werden.

Aufgabenschwerpunkte

  • 3D Computer Vision 
  • Pose Estimation
  • Image Registration
  • Image Reconstruction
  • Photogrammetrie
  • Robotik
  • 3D Scanning
  • Subpixel Algorithmen

Vorkenntnisse

  • Python Kenntnisse wünschenswert
  • Computer Vision Kenntnisse wünschenswert
  • Deep Learning Kenntnisse wünschenswert
  • ROS Kenntnisse von Vorteil
  • C++ Kenntnisse von Vorteil

MA – Analyse, Konzeption und Bewertung modularer Systeme für die Automatisierung der Handhabung zwischen Produktionsanlagen und Logistikentitäten

Aufgabenstellung:
Mit dem Einsatz von fahrerlosen Transportfahrzeugen ist ein wichtiger Schritt zu einer energieeffizienten und vielseitigen Intralogistik innerhalb moderner Unternehmen erreicht. Insbesondere im Verbund mit hochgradig automatisierten Produktionsmaschinen können selbstfahrende Systeme optimal und effizient eingesetzt werden.
Eine große Herausforderung für die durchgängige Automatisierung der Prozesse stellt dabei die Handhabung der Transportgüter zwischen den Produktions- und Logistikprozessen dar. Die vielfältigen Anforderungen der Manipulation sowie die notwendige Umgebungsmodellierung erfordern eine generalisierte Betrachtung und allgemeingültige Lösungsfindung. Im Rahmen dieser Arbeit soll untersucht werden, in wie weit Anforderungen der Manipulation zwischen Produktionsmaschinen und automatisierten Systemen generalisiert und Lösungen für ebendiese gefunden werden können.

Die Arbeit beinhaltet dabei folgende Schwerpunkte:

  • Analyse der Herausforderungen der Manipulation zwischen Produktionsmaschine und Logistiksystem
    – Einarbeitung in den Stand der Technik für stationäre und mobile Manipulatoren
    – Analyse eines exemplarischen Anwendungsfalles und Abstraktion der Anforderungen
    – Sichtung der relevanten Normen, Patente und Veröffentlichungen
  • Konzeption eines generalisierbaren Ansatzes für die Automatisierung der Manipulation
    – Umsetzung der Anforderungen in eine allgemeine Spezifikation
    – Diskussion verschiedener technischer und forschungsseitiger Ansätze für die Erfüllung der Spezifikation (z.B. mobile Manipulatoren, Karakuri)
    – Konzeption eines generalisierten Lösungsansatzes
  •  Anforderungsabgleich und Bewertung einer automatisierten Schnittstelle
    – Konzeptionelle Umsetzung der generalisierten Lösung gegen die Anforderungen eines realen Anwendungsszenario
    – Bewertung und Diskussion der Ergebnisse

Was Du mitbringen sollest:

  • Grundkenntnisse im Bereich Prozessanalyse und Handhabungstechnik
  • Selbstständige und motivierte Arbeitsweise
  • Begeisterung für innovative Technologien
  • Kreativität und gute Auffassungsgabe
  • Sehr gute Kenntnisse der deutschen Sprache

Für die Aufnahme des exemplarischen Anwendungsfalls ist eine
Aufwandsentschädigung vorgesehen, weitere Informationen dazu auf Anfrage

Auswertung von Zeitreihen-Signalen zur Untersuchung von Gefügeschäden in Wälzlagern

Die ausgeschriebene Arbeit ist Teil eines Forschungsprojektes, welches sich mit dem Auftreten von White Etching Cracks in Wälzlagern befasst. Prüflager werden gezielt überlastet, während die elektrischen Eigenschaften der Prüflinge mittels hochfrequenter Messtechnik aufgezeichnet werden. Das Spannungssignal weist in unregelmäßigen Abständen Durchschläge gefolgt von einer kapazitiven Wiederaufladung auf, deren Zusammenhang mit den gesuchten Gefügeschäden zu ergründen ist.

Die so aufgezeichneten Messdaten sollen automatisiert nach Spannungsdurchschlägen durchsucht und deren Charakteristiken ermittelt werden. Ziel der Arbeit ist eine Charakterisierung der Zeitreihen auf Basis der Durchschläge hinsichtlich des Zustandes der Prüflager. Im Idealfall kann die Messdatenauswertung auf eine Echtzeit-Überwachung ausgedehnt werden, wodurch es ermöglicht würde, bereits während eines Prüflaufes das Vorhandensein der Gefügeschäden zu ermitteln.

Der Umfang und Inhalt der zu erreichenden Ziele kann dabei an die Art der studentischen Arbeit und das vorhandene Vorwissen angepasst werden.

Studierende sollten Interesse an der Programmiertätigkeit allgemein sowie der Datenverarbeitung in Python haben und eine selbstständige Arbeitsweise mitbringen. Grundkenntnisse in oben genannten Themengebieten sind vorteilhaft.

Bei dieser studentischen Arbeit handelt es sich um eine Kooperation mit der Professur für Fluidsystemtechnik.

Entwicklung einer Computer-Vision-Anwendung zur Charakterisierung und Erkennung von Gefügeschäden

Die ausgeschriebene Arbeit ist Teil eines Forschungsprojektes, welches sich mit dem Auftreten von White Etching Cracks in Maschinenelementen befasst. Im Zuge dessen müssen Prüflager aufwändig unter einem Mikroskop nach Gefügeschäden untersucht werden – eine Arbeit, die zu einem großen Teil durch maschinelles Sehen durchgeführt werden kann.

Im Rahmen der Arbeit soll eine bereits bestehende Python-Anwendung entweder verbessert oder durch eine performantere ersetzt werden. Ziele dabei sind ein robustes Bild-Stitching, die Erkennung sowie Charakterisierung von Gefügeschäden und eine Feature-Extraktion, um die Datenauswertung der Prüfläufe zu unterstützen.

Der Umfang und Inhalt der zu erreichenden Ziele kann dabei an die Art der studentischen Arbeit und das vorhandene Vorwissen angepasst werden.

Studierende sollten Interesse an der Programmiertätigkeit allgemein sowie der Bildverarbeitung in Python haben und eine selbstständige Arbeitsweise mitbringen. Grundkenntnisse in oben genannten Themengebieten sind vorteilhaft.

Bei dieser studentischen Arbeit handelt es sich um eine Kooperation mit der Professur für Fluidsystemtechnik.

Entwicklung eines Handexoskeletts als Greifassistenzsystem

In dieser Arbeit soll ein Handexoskelett entwickelt werden, das Menschen mit Handbeeinträchtigungen beim Greifen assistiert.

Es handelt sich um die Fortsetzung einer vorangegangenen Arbeit, in welcher ein Exoskelett für den Zeigefinger aufgebaut und erprobt wurde. Folglich kann auf die geschaffenen Grundlagen und Konzepte zurückgegriffen werden.

Kontext

Weltweit sind ca. 50-60 Millionen Menschen in ihren Aktivitäten des täglichen Lebens (ADL) aufgrund von Handbeeinträchtigungen infolge eines Schlaganfalls oder einer Rückenmarksverletzung eingeschränkt. Aufgrund von Lähmungen können die Betroffenen keine Handbewegungen ausführen, die für die ADL (z.B. Essen zubereiten, Kleidung anziehen) notwendig sind. Deshalb stehen Menschen mit Handbeeinträchtigungen vor Herausforderungen, die kaum zu bewältige sind. Es ist weithin akzeptiert, dass Exoskelette dazu beitragen können, diese Handbeeinträchtigungen aufzulösen. Handexoskelette sind robotische Orthesen, die an der Hand befestigt sind und Kräfte erzeugen, um die Ausführung einer beabsichtigten Bewegungen zu unterstützen.

Am Lehrstuhl FAPS wollen wir ein eigenes, neues Handexoskelett aufbauen, um Studien zur direkten Bewegungssteuerung über eine myoelektrische Schnittstelle durchzuführen zu können.

Diese Arbeit umfasst

  • Einarbeitung in die Thematik,
  • Skalierung des bisherigen Exoskelett-Ansatzes auf die gesamte Hand,
  • Aufbau und Erprobung eines Hardware-Prototypen,
  • Steuerung über eine myoelektrische Schnittstelle (bei Interesse).

Hinweise und Bewerbung

Die Bearbeitung ist ab sofort möglich.

Robotergestützte Materialtrennung zur Optimierung der Kreislaufführung von Kunststoffverpackungen

Diese Arbeit beschäftigt sich mit der roboterbasierten Materialtrennung in komplexen Umgebungen. Aus einem Stoffstrom von Kunststoffleichtverpackungen sollen Fremdobjekte durch gezielte Griffe eines Roboters entfernt werden. Dafür sollen einerseits Algorithmen aus dem maschinellen Lernen zur Poseschätzung und Greifplanung und andererseits ein Tensegrity-Gelenk eingesetzt werden.

Mögliche Schwerpunkte dieser Arbeit könnten sein

  • Einarbeitung in die Thematik,
  • Auswahl geeigneter Fördertechnik (z.B. Fließband),
  • Entwurf einer Systemarchitektur,
  • Ansteuerung des Roboters mittels ROS 2,
  • KI-basierte Objekterkennung und Poseschätzung.

Hinweise und Bewerbung

Die Bearbeitung ist ab sofort möglich.

Lerfähige Roboter und Teleoperation

Komplexe Roboterzelle

Im Forschungsbereich Robotik arbeiten wir an neuen Ansätzen um mit Robotersystemen interagieren zu können und sie mittels Teleoperation fernzusteuern. Damit können Roboter nicht nur für neue und komplexe Aufgaben genutzt werden. Sie können vielmehr auch direkt vom Menschen lernen und so neue autonome Fähigkeiten erlangen.

Für unser Forschunsteam suchen wir laufen Studentinnen und Studenten, die Lust haben eine der zahlreichen und herausfordernten Aufgaben zur Weiterentwicklung der Robotik im Rahmen einer studentischen Arbeit anzugehen.

Mögliche Themengebiete für eine studentische Arbeit sind je nach Interesse
  • Entwicklung, Konstruktion, Integration und Erprobung mechatronischer Systeme im Anwendungskontext wie z.B. neuartige Greifer
  • Augmented Virtuality (AV) bzw. Virtual Reality (VR) für die Multi-Roboter Teleoperation
  • Bildverarbeitung zur effizienten Segmentierung und räumlichen Umgebungsbeschreibung mittels Deep Learning Technologien
  • Rekonstruktion hochindividueller Handhabungsobjekte anhand Sensordaten sowie Posebestimmung dieser Objekte im Raum
  • Autonomes Greifen von Teilen (u.a. auf Basis von Ansätzen des generative Graspings)
  • Entwicklung einer Operatorentlastung bei der Teleoperation durch verbesserte Immersion sowie einer prozessspezifischen Wissensintegration auf Basis aktueller Gaming Engines
  • Untersuchung von Ansätzen des Human-in-the-Loop (HuITL) Imitation Learnings und Active Learnings zur Adaption von Fähigkeiten durch den Menschen

Bei Interesse gerne einen Termin für eine detailierte Vorstellung möglicher Themen ausmachen.

Vorkenntnisse

Vorkenntnisse in C++ und ROS wären vorteilhaft. Alternativ kann der Schwerpunkt auch auf die Konstruktion, Design oder Mensch Technik Interaktion gelegt werden.

Beginn

ab sofort

 

MA – Simulated collaborative transport in a swarm of Autonomous Vehicles

In industrial logistic and production systems, it may be necessary to execute transport tasks in collaboration using multiple AGVs. These challenges address the localization of every robot unit, an optimum path planning, avoidance of collision and allocations of tasks. ROS2 already has all the necessary functions for the localization and navigation of robot systems as an extension called “Navigation2”. The challenge now is to develop a collaborative transport concept based on this and to begin with implementing it. We will work together to develop an algorithm to realize the above tasks and test it in a simulated environment. This will allow us to use a scalable system and to ensure optimal localization. Nevertheless, one focus of the design will be the handling with a high localization inaccuracy. In order to be able to simulate a many-agent system, we will use the open-source simulation environment GAZEBO provided by ROS2 and Siemens NX with its physics engine MCD.

 

Your tasks:
• Familiarize yourself with ROS2 and the base-AGV ‘IOTBot’
• Evaluate the current state of collaborative AGV fleets
• Develop ideas for the implementation of an integrated task manager for joint transport tasks
• Set up a simulation environment for your tests with our support
• Elaborate test scenarios, which will be implemented in the simulation environment

Requirements:
• Basic or advanced programming skills
• Familiar with (embedded) Linux environments
• Good English communication frame
• Contribution and promotion of your own work (maker fair, Open Source Contribution, wiki)

Offerings:
• Working in the SIEMENS Academic Research Team: The emphasis is on cooperation and exchange
• Results are developed in collaboration within a student environment
• Each student is supported in the success of their personal project and can get involved across their own assignments

 

For further information inquire below:

MA – Swarm Navigation of Autonomous Vehicles in Industry

Warehouses and factories become more and more crowded. The number of autonomous vehicles replacing static conveyor belts for transportation is increasing which in turn amplifies the overall system complexity. Navigation paths have to be aligned among the agents and plans have to be revised due to unanticipated disturbances from the environment. State-of-the-art centralized systems for coordination exhibit inherent limitations: By design they introduce a single point of failure in terms of infrastructure and compute availability which needs investment into redundant equipment protecting against system outages. Also coordination problems are typically treated globally which are difficult to solve and thus introduce non-negligible latencies in many-agent systems. In this thesis we would like to explore a system which dispenses with central services and pre-established infrastructure. The agents instead bring their own infrastructure and communicate across direct device-to-device channels. The focus will be put on the decentral alignment of planned paths in an industrial environment. The algorithms shall be tested in a simulated environment as well as on real hardware. Siemens has developed for this purpose a learning platform named IOTBot which is based on the Simatic IOT2050 as a control unit. Multiple IOTBots will be used in this thesis for putting the developed algorithms to a realistic test.

Your tasks:
• Familiarize yourself with ROS2 and the base-AGV ‘IOTBot’
• Evaluate the challenges your team of robots should be able to solve
• Split up the needed functionalities and appoint theme-based members
• Create a concept for each robot and implement a part of the ROS2 applications

Requirements:
• Basic or advanced programming skills
• Familiar with (embedded) Linux environments
• Good English communication frame
• Contribution and promotion of your own work (maker fair, Open Source Contribution, wiki)

Offerings:
• Working in the SIEMENS Academic Research Team: The emphasis is on cooperation and exchange
• Results are developed in collaboration within a student environment
• Each student is supported in the success of their personal project and can get involved across their own assignments

For further information inquire below:

 

Entwicklung einer mobilen Roboterplattform für das private Wohnumfeld

SoftGripper hilft beim Aufheben von Gegenständen

Serviceroboter zum Einsatz in den eigenen vier Wänden werden sich zukünftig stark verbreiten. Dabei entstehen besondere Herausforderungen zum Beispiel bei der Navigation durch Wohnräume mit zahlreichen Alltagsgegenständen. Auch die Manipulation der Umwelt mit angepassten Greifern erfordert neuartige Lösungen. In einem ambitionierten Projekt wollen wir eine kostengünstige, wirklich einsetzbare Serviceroboterlösung als Assistenzsystem ältere Personen entwickeln. Dabei ergeben sich zahlreiche spannenden Themensellung im Bereich, Programmierung, Interaktion, und Hardwareauslegung.

Eine Arbeit im Rahmen dieser Forschung umfasst

Ziele von möglichen Arbeiten in dem Projekt sind der Aufbau einer fahrenden Roboterplattform zur Navigation in Wohnumgebungen. Die Integration von Antrieben und Sensoriken in ein Grundgerüst und eine Sprach- und Gesteninteraktion speziell für ältere Nutzende. Wir suchen laufend neue Teammitglieder.

Bei Interesse gerne einen Termin für eine detailierte Vorstellung möglicher Themen ausmachen.

Vorkenntnisse

Vorkenntnisse in C++ und ROS wären vorteilhaft. Alternativ kann der Schwerpunkt auch auf die Konstruktion, Design oder Mensch Technik Interaktion gelegt werden.

 

Beginn

ab sofort