Überblick

Die Forschungsgruppe Computer Vision for Intelligent Mobility Systems (CVIMS) an AImotion Bavaria entwickelt Deep-Learning-Methoden zur Analyse und Generierung von Bilddaten über zwei- und dreidimensionale Sensormodalitäten hinweg. Übergeordnetes Ziel ist eine Wahrnehmungsleistung über dem menschlichen Niveau für automatisierte Straßenfahrzeuge, Luft- und Schienenverkehr sowie weitere Verkehrsträger. Über die Mobilität hinaus engagieren wir uns für den Einsatz von Computer Vision zum Umwelt- und Ressourcenschutz.

Ein zentraler Schwerpunkt ist die kooperative Wahrnehmung, die Fusion von Sensordaten mehrerer Akteure, insbesondere Fahrzeuge und Infrastruktur. Durch die Kombination verschiedener bildgebender Modalitäten wie Kameras und LiDAR-Sensoren entsteht ein umfassenderes und verlässlicheres Bild dynamischer Verkehrssituationen. Diese Arbeiten sind Teil der Transformation Ingolstadts zu einem Reallabor für autonomes Fahren, in dem reale Kreuzungen und dedizierte Teststrecken als Benchmarks für Innovation dienen.

Ziele

  • Zuverlässigkeit und Vollständigkeit der Umfeldwahrnehmung durch Integration vielfältiger Multisensor-Daten steigern.
  • Vertrauenswürdigkeit, Ausrichtung (Alignment) und Synchronisation von geteilten Daten anderer Verkehrsteilnehmender untersuchen.
  • Robuste Fusionsalgorithmen entwickeln, die Unsicherheiten und Inkonsistenzen in Sensor- und Kommunikationsdaten beherrschen.
  • Ein geteiltes, kollektives Verständnis der Verkehrssituation durch 3D-Objekterkennung ermöglichen.
  • Verlässliche Modelle aufbauen, die die Situationsbewusstheit für sichere Navigation und Echtzeitentscheidungen erhöhen.

Methodik

  • Datenerhebung – urbane Datensätze an KIVI-Kreuzungen und entlang des IBA-Tracks, angereichert durch multimodale Sensorik (GPS/GNSS, Radar, Kameras, LiDAR).
  • Simulation & ValidierungCARLA-basierte Umgebungen, die Ingolstadt präzise nachbilden und kontrollierte Experimente sowie synthetische Datensätze ermöglichen.
  • Fusion und Evaluation – Entwicklung von V2X-Algorithmen zur Fusion von Fahrzeug-zu-Fahrzeug- (V2V) und Fahrzeug-zu-Infrastruktur- (V2I) Sensordaten zu einheitlichen Wahrnehmungsschichten, bewertet anhand sowohl simulierter als auch realer Benchmarks.
     

Forschungsschwerpunkte

Unsere Forschung im Bereich der kooperativen Wahrnehmung konzentriert sich auf die Entwicklung von Methoden, die es mehreren Agenten ermöglichen, komplexe urbane Szenen konsistent und zuverlässig zu interpretieren. Wir untersuchen, wie zeitliche Modellierung, multimodale Fusion und simulationsbasierte Analysen Wahrnehmungssysteme stärken können, wenn sich Verkehrsumgebungen in Zeit, Perspektive und Layout verändern.

Cooperative Perception Across Vehicles and Infrastructure:
Das UrbanIng-V2X-Dataset-Paper, das gemeinsam von Karthikeyan Chandra Sekaran, Dominik Rößle, Markus Geisler, Adithya Mohan, Daniel Cremers, Wolfgang Utschick, Michael Botsch, Werner Huber und Torsten Schön erstellt wurde, bietet einen vielfältigen Satz an Sensormodalitäten von mehreren Agenten (Fahrzeuge und Infrastruktursensoren) über verschiedene Kreuzungen hinweg und dient als Grundlage für die Erforschung kooperativer Wahrnehmung.
Sein zentraler wissenschaftlicher Beitrag besteht darin zu zeigen, wie stark die Leistungsfähigkeit von V2X-Modellen von der Geometrie der Kreuzung abhängt: Viele Ansätze funktionieren gut in vertrauten Layouts, verschlechtern sich jedoch deutlich bei bislang unbekannten Konfigurationen. Diese Erkenntnis leitet die Entwicklung stärker generalisierbarer Wahrnehmungsmethoden.

Zeitliche Modellierung in BEV-Wahrnehmung:
Forschung von Dominik Rößle, Jeremias Gerner, Klaus Bogenberger, Daniel Cremers, Stefanie Schmidtner und Torsten Schön untersucht, wie vergangene Szeneninformationen gezielt in Bird’s-Eye-View-Repräsentationen integriert werden können. Durch die Wiederverwendung relevanter zeitlicher Hinweise werden Modelle stabiler im dynamischen Verkehr, robuster gegenüber Verdeckungen und konsistenter über mehrere Agenten hinweg.

Multimodale und Multi-Instance-Fusion:
Studien von Dominik Rößle, Daniel Cremers und Torsten Schön entwickeln adaptive Fusionsmechanismen, die in der Lage sind, heterogene Sensormodalitäten sowie variierende Mengen erkannter Objekte zu integrieren. Diese Methoden adressieren zentrale Herausforderungen der kooperativen Wahrnehmung, bei der sich Perspektiven, Sensorbedingungen und Kontextinformationen zwischen den Agenten unterscheiden.

Simulationsbasierte Szenariorekonstruktion:
Forschung von Jeremias Gerner, Dominik Rößle, Klaus Bogenberger, Daniel Cremers, Stefanie Schmidtner und Torsten Schön treibt die Rekonstruktion von Fahrzeugverhalten in mikroskopischen Verkehrssimulationen voran. Eine präzisere Szenariorekonstruktion ermöglicht kontrollierte und wiederholbare Evaluierungen kooperativer Wahrnehmungsansätze – insbesondere für Fälle, die in realen Umgebungen nur schwer konsistent erfasst werden können.

Förderung

Die Forschung wird durch die Hightech Agenda Bayern gefördert und erhält zusätzliche Förderung durch das Bayerische Wissenschaftsforum – BayWISS.

Impact

Die Arbeiten stärken die Rolle Ingolstadts als Knotenpunkt der Entwicklung für autonomes Fahren und tragen zur Entstehung transparenter, vertrauenswürdiger und nachhaltiger KI-basierter Wahrnehmungssysteme bei. Die bei CVIMS entwickelte kooperative Wahrnehmung bildet einen Grundpfeiler für sichere, erklärbare und skalierbare autonome Mobilität.

THI Ansprechpartner

Prof. Dr. Torsten Schön
Computer Vision for Intelligent Mobility Systems
Prof. Dr. Torsten Schön
Tel.: +49 841 9348-2335
Raum: K201
E-Mail:

Gefördert von