- Anhand von acht Schlüsselbegriffen wurde in Datenbanken (ACM, CVP) recherchiert und dabei 119 Artikel untersucht, von denen 55 ausgewählt wurden.
- Um die 55 interessantesten Artikel zu ermitteln, wurden deren Zusammenfassungen analysiert.
- Alle Artikel wurden anhand der zuvor genannten Schlüsselbegriffe überprüft.
- 14 Relevante ++ Paper
- 1 Review Paper (Direction Net)
End-To-End Wide Baseline Drohnenlokalisierung durch Kamerapose
Motivation
GNSS and AI Based INS System
Real World Examples
Literatur Optimierung
Research Input
Verteilung der verwendeten Methoden
KI-Methoden (AI-Methods):
- CNN
- CNN + Transformer
- CNN + GNN
- CNN + Transformer + GNN
- Transformer
- Transformer + GNN
Mathematische Methoden (Mathematik Methoden):
- Pixel
- VIO
- ORB-SLAM
In der Grafik bestehen insgesamt 70,91 % der Methoden aus KI-Methoden, während die verbleibenden 29,09 % mathematischen Methoden zugeordnet sind. Innerhalb der KI-Methoden ist CNN mit 52,73 % die am häufigsten verwendete Methode, gefolgt von CNN + Transformer (9,09 %), CNN + GNN (5,45 %) und Transformer (3,64 %).
Bei den mathematischen Methoden ist Feature Matching / Epipolarlinie mit 18,18 % die bevorzugte Methode, während die Methode der Pixel-Dichte zu 10,91 % verwendet wurde.
Betrachtet man die Quellen der Daten, stammen 52,73 % der verwendeten Methoden aus IEEE, 25,45 % aus Base-Search, 16,36 % aus CVFR und 5,45 % aus ACM.
Diese Informationen verdeutlichen, wie verschiedene Forschungsplattformen und Methoden in der Forschung verteilt sind.
Verteilung nach Anwendungsbereichen
- Wide Base
- Panoramic
- Dynamic / UAV
- Loca. Pose Estimation
- E2E
- Multi Kamera
- RGB-D
Von den Methoden der künstlichen Intelligenz wurde CNN am häufigsten verwendet (67,49 %). Die bevorzugten Anwendungsbereiche für CNN sind insbesondere Localization / Pose Estimation (15,38 %), Wide Base (15,38 %) und Panoramic (9,23 %).
Die Methoden Transformer und CNN + Transformer wurden zu gleichen Anteilen eingesetzt (jeweils 12,50 %). Studien, in denen diese Methoden verwendet wurden, konzentrieren sich vor allem auf den End-to-End (E2E)-Bereich.
Die Methode CNN + GNN wurde zu 7,51 % verwendet und fand vor allem in den Bereichen Localization / Pose Estimation (4,61 %) sowie End-to-End (3,08 %) Anwendung.
Diese Verteilung zeigt deutlich, in welchen spezifischen Bereichen unterschiedliche KI-Techniken effektiv eingesetzt werden.
Use Case
Klassisches Trägheitsnavigationssystem
DirectionNet
DirectionNet-R & DirectionNet-T
Die Struktur „DirectionNet“ ist in zwei Teile unterteilt: DirectionNet-R und DirectionNet-T. Diese Struktur wird verwendet, um die Kamerarotation (Orientation) und die Kamerarichtung (Direction) zu bestimmen.
DirectionNet-R:
In diesem Teil werden zwei Eingabebilder (I₀ und I₁) in ein neuronales Netzwerk namens DirectionNet-R eingespeist. Anschließend wird durch die Methode der Singulärwertzerlegung (Singular Value Decomposition, SVD) eine Rotationsmatrix (R-Matrix) berechnet. Diese Matrix dient zur Bestimmung der Kamerarotation. Als Ergebnis werden die Werte mit vier Freiheitsgraden (4DOF) [x, y, z, ṫ] erhalten.
DirectionNet-T:
In diesem Abschnitt wird zunächst die zuvor berechnete R-Matrix verwendet, um die Rotation der Bilder zu korrigieren (Derotation). Danach werden die korrigierten Bilder (I₀' und I₁') in das neuronale Netzwerk DirectionNet-T eingespeist. Aus diesem Netzwerk wird ein normalisierter Richtungsvektor (Direction Vector) gewonnen, der die Kamerarichtung beschreibt. Dieser Vektor stellt zwar keine echte Translation dar, wird jedoch zur Bestimmung der Blickrichtung der Kamera verwendet.
Zusammenfassend kombiniert die DirectionNet-Struktur zwei unterschiedliche Netzwerkarchitekturen, um die Kamerarotation und -richtung präzise aus Bilddaten zu bestimmen.
AI Model
E2ENet Model System
Warum Edge-KI?
Der Betrieb eines Netzwerks zur relativen Positionsbestimmung mit breiter Basislinie ist rechenintensiv – doch gerade bei einer Drohne, die gerade den GNSS-Empfang verloren hat, versagt die Cloud-Inferenz: Der Uplink kann gestört, nicht verfügbar oder zu langsam sein, und die Auslagerung der Wahrnehmung auf einen Server verursacht eine Latenz, die ein Flugcontroller nicht tolerieren kann. Die Lösung ist Edge-KI: Die Ausführung des trainierten Modells direkt am Fluggerät, genau dort, wo die Bilder aufgenommen werden. Indem die Intelligenz zum Sensor gebracht wird – statt die Sensordaten zu einem Server zu übertragen –, werden folgende Vorteile erzielt:
- Deterministische, geringe Latenz – Wahrnehmung und Positionsschätzung laufen innerhalb eines festen Zeitbudgets im Regelkreis ab;
- Volle Autonomie – keine Abhängigkeit von Konnektivität, Cloud oder Bodenstation;
- Energie- und Gewichtseffizienz – die gesamte Inferenz-Pipeline passt in den Leistungsrahmen eines kleinen UAV;
- Die Daten verbleiben auf der Drohne – nichts muss von der Plattform gestreamt werden, um ausgewertet zu werden;
Um diese Anforderungen an die Edge-KI zu erfüllen, hat unsere Gruppe intern eine spezielle bordeigene Rechenplattform entwickelt und gebaut – die Brücke zwischen unseren DirectionNet-/E2ENet-Modellen und dem tatsächlichen Flugbetrieb in Lufträumen ohne GNSS-Empfang.
Ein maßgeschneidertes Edge-AI-System-on-Module
Die Plattform ist ein kompaktes System-on-Module, das auf einem AMD/Xilinx Zynq-7010 (XC7Z010) basiert – einem heterogenen SoC, der einen Dual-Core-ARM-Cortex-A9 mit programmierbarer FPGA-Logik auf einem einzigen, stromsparenden Baustein vereint. Die ARM-Kerne führen einen vollständigen Embedded-Linux-Stack sowie die übergeordnete Lokalisierungssoftware aus, während die FPGA-Struktur die Hardwarebeschleunigung für das KI-Modell selbst bereitstellt (siehe unten). Das Ergebnis ist eine Echtzeit-Inferenz direkt auf dem Gerät – ohne externen Computer und ohne Bodenstation.
Alles, was für einen autonomen, eigenständigen Betrieb erforderlich ist, ist auf einer Platine integriert, die über Board-to-Board-Steckverbinder an jeden Drohnen-Träger angeschlossen werden kann:
- AMD/Xilinx Zynq-7010 SoC – Dual-Core-ARM-Cortex-A9 (PS) + FPGA-Struktur (PL) für KI-Beschleunigung auf dem Gerät
- 1 GB DDR3L-Speicher, 16 MB QSPI und 4 GB eMMC für einen vollständig eigenständigen Systemstart
- Gigabit-Ethernet, USB 2.0 (ULPI) und integriertes UART/JTAG-Debugging (FTDI)
- Integrierte DC/DC-Stromversorgungen, die alle Spannungsversorgungen (+3,3 V, +1,8 V, +1,35 V, +1,0 V) aus einem einzigen Eingang erzeugen
- Kompakter SoM-Formfaktor mit zwei Mezzanine-Anschlüssen – intern bei THI entworfen, verlegt und validiert (Hardware-Design: Emre Tsaliskan)
Da wir die Plattform selbst entwickeln, werden die Rechenleistung, die Sensoren und die Edge-KI-Modelle als ein integriertes System konzipiert, anstatt uns den Einschränkungen von Standardlösungen anpassen zu müssen.
FPGA-basierte KI-Hardwarebeschleunigung
Was Echtzeit-Inferenz innerhalb des Leistungsbudgets einer Drohne ermöglicht, ist die Hardwarebeschleunigung in der FPGA-Struktur. Anstatt sich ausschließlich auf die ARM-Kerne zu verlassen, werden die rechenintensiven Teile des Wahrnehmungsnetzwerks direkt auf die programmierbare Logik des Zynq abgebildet, wo sie als dedizierte, massiv parallele Hardware ausgeführt werden. Dadurch erhält die Plattform:
- Deterministische Echtzeit-Inferenz – eine feste, vorhersehbare Latenz im Regelkreis
- Hoher Durchsatz pro Watt – weitaus effizienter als eine reine CPU-Lösung
- Ein auf das Modell zugeschnittener Datenpfad – individuelle Genauigkeit, Quantisierung und Pipelining
Tatsächlich verwandelt das FPGA das Modul von einem Allzweckcomputer in einen speziell für kleine UAVs ausgelegten KI-Beschleuniger – die Hardware-Grundlage des gesamten Edge-KI-Ansatzes.
Bereitstellung vor Ort
Für den Flugbetrieb ist das Modul in einen kompakten, selbst entwickelten Sensorkapsel mit integrierter monokularer Kamera und LiDAR eingebaut – die einsatzbereite, flugtaugliche Version der Plattform.
Die gesamte Wahrnehmung und Lokalisierung erfolgt vollständig über das Modul im Inneren der Kapsel.
Von der Forschung zum tatsächlichen Flug ohne GNSS-Unterstützung
Zusammen mit unseren DirectionNet-/E2ENet-Modellen überträgt das eigens entwickelte Modul die Schätzung der relativen Lage bei großer Basislinie aus dem Datensatz auf das Flugzeug – es läuft als Edge-KI, wird im FPGA beschleunigt und arbeitet in Echtzeit, und zwar genau in den Umgebungen mit Signalüberlastung und ohne GNSS-Empfang, die den Anstoß für diese Arbeit gegeben haben.
Research Gaps
Leistungsverbesserung bei geringer Bildübereinstimmung:
Es besteht Bedarf an Methoden, die die Systemleistung auch bei geringer Übereinstimmung (Ähnlichkeit) zwischen Bildern verbessern können. Dieser Bereich weist auf die Notwendigkeit hin, neue Techniken zu entwickeln, die eine robustere Informationsgewinnung aus unterschiedlichen Bildern ermöglichen.
Reduktion des Einflusses dynamischer Objekte durch Transformer und GNN:
Transformer-Modelle können zeitlich variable Objekte aus den Bilddaten lernen und deren Einfluss auf die Ergebnisse reduzieren. Graph Neural Networks (GNN) wiederum wandeln Objekte in den Bildern in graphbasierte Strukturen um, wodurch die Verarbeitung durch Transformer-Blöcke erleichtert wird. Mit dieser Methode können die Beziehungen zwischen den Objekten klarer und effektiver modelliert werden.
Energieeffiziente Systeme für Echtzeitverarbeitung und kleine UAVs:
Systeme mit geringem Energieverbrauch und Echtzeitverarbeitung sollten so entwickelt werden, dass sie auch ohne komplexe Hardwarekomponenten (z. B. FPGAs) direkt in verschiedene Systeme integriert werden können. Dadurch wird eine effektive und effiziente Nutzung auf energiebegrenzten Plattformen wie kleinen unbemannten Luftfahrzeugen (UAVs) möglich.
Diese Forschungslücken definieren kritische Bereiche für zukünftige Studien und bieten bedeutende Chancen im Hinblick auf technologische Entwicklungen und praktische Anwendungen.
Spezielle Hardware Block Diagramm
Spezielle Embedded Hardware Modul
GNSS-Denied Navigation-Modul für Drohnen
Quellen
- K. Chen, N. Snavely and A. Makadia, "Wide-Baseline Relative Camera Pose Estimation with Directional Learning," 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021, pp. 3257-3267, doi: 10.1109/CVPR46437.2021.00327.
- Rockwell, Chris and Kulkarni, Nilesh and Jin, Linyi and Park, Jeong Joon and Johnson, Justin and Fouhey, David F. “FAR: Flexible, Accurate and Robust 6DoF Relative Camera Pose Estimation”, 2024, arxiv.org/abs/2403.03221
- Jianyuan Wang and Minghao Chen and Nikita Karaev and Andrea Vedaldi and Christian Rupprecht and David Novotny “VGGT: Visual Geometry Grounded Transformer”, 2025, arxiv.org/abs/2503.11651
THI Ansprechpartner
Wissenschaftlicher Mitarbeiter
Emre Tsaliskan
Tel.: +49 841 9348-6854
Raum: K307
E-Mail: Emre.Tsaliskan@thi.de
Emre Tsaliskan
Tel.: +49 841 9348-6854
Raum: K307
E-Mail: Emre.Tsaliskan@thi.de
