Vom Kick-off im Siemens Healthineers High Energy Photonics Center (HEP) zu funktionierenden Prototypen: Die Ferienakademie 2025 ist beendet – und der Kurs “Context-based Mixed Reality Support for Production” hat starke Ergebnisse geliefert. Unter der Kursleitung von Prof. Dr. Bernd Brügge (TUM) und Prof. Dr. Jörg Franke (FAU/FAPS) entstanden praxisnahe Lösungen an der Schnittstelle von Künstlicher Intelligenz und Mixed Reality. Projektkunden waren Siemens Healthineers und Linova.

Die Ferienakademie ist ein zweiwöchiges Format und fand in diesem Jahr vom 21. September bis 3. Oktober 2025 im Sarntal statt. In diesem Rahmen bearbeiten Teilnehmende gemeinsam mit Wissenschaft und Industrie realitätsnahe Aufgabenstellungen – von der Ideation bis zum Prototyp. Unser Kurs startete mit einem Kick-off im Siemens Healthineers High Energy Photonics Center (HEP); die weitere Arbeit erfolgte in interdisziplinären Teams in enger Abstimmung mit den Kunden.
Fokus waren zwei Industrieszenarien: Industrial Training (automatisiert aus Dokumenten und 3D-Daten generierte Mixed-Reality-Trainings) und Industrial Maintenance (3D-Daten, Kamerabasierte Drohneninspektion, KI-gestützte Diagnose). Eingesetzt wurden Large Language Models (LLMs) und Vision-Language-Modelle (VLM) sowie Mixed-Reality-Technologien.

Ergebnisse

• Automatisierte Arbeitsanweisungen für Mixed-Reality-Workflows:
  Relevante Arbeitsanweisungen mit Details wurden mittels LLMs aus PDF-Dokumenten extrahiert, mit 3D-Objektdaten gematcht und in ein flexibles Mixed-Reality-Format überführt. So lassen sich Montage- und Prüfprozesse künftig kontextbezogen direkt am Bauteil visualisieren – die Basis für immersive Schulungen und Assistenzsysteme in der Fertigung.

• „2 Augen + VLM“ statt klassischem Vier-Augen-Prinzip:
  Vision-Language-Modelle dienen als zusätzlicher digitaler Prüfer. Der Ansatz unterstützt Experten bei Sicht- und Plausibilitätsprüfungen, dokumentiert Abweichungen und kann Anweisungen situativ erläutern – ein Baustein für mehr Prozesssicherheit in Training und Maintenance.

Umsetzung bei den Kunden

• Siemens Healthineers: Der entwickelte Prototyp wird in der Röntgenröhrenmontage (Tube Assembly) in Forchheim implementiert, um Mixed-Reality-gestützte Arbeitsanweisungen direkt im Produktionsumfeld zu erproben und Prozesszeiten sowie Qualitätssicherung zu verbessern.

• Linova: Der bearbeitete Use Case wird 2026 in einer anderen Summer School weiterverfolgt. Ziel ist die Erweiterung von Industrial Maintenance durch automatisierte Drohneninspektionen und die Anwendung von sogenannten Time-Series Language Modellen (TSLM).

Kontakt: