Obstacle Avoidance in UAVs with Reinforcement Learning and LiDAR Data

Einleitung

Unbemannte Luftfahrzeuge (UAVs) finden in den letzten Jahren zunehmend Anwendung [1].
Ein häufig verwendeter Flugzeugtyp ist der ferngesteuerte Multikopter, der oft als „Drohne“ bezeichnet wird. Diese Fluggeräte können eine Vielzahl von Aufgaben erfüllen, die gefährlich oder mit anderen Mitteln nur schwer zu bewältigen sind.
Beispielsweise können sie von den Strafverfolgungsbehörden zur Beobachtung von Menschenmengen im Rahmen des Konfliktmanagements oder zur Vermessung von Wäldern und anderen Gebieten eingesetzt werden, die auf dem Landweg schwer zugänglich sind [2]. Daher ist es von entscheidender Bedeutung, über ein robustes System zu verfügen, das gefährliche Hindernisse wie Bäume, andere Drohnen oder sich nähernde Objekte erkennen und ihnen ausweichen kann [3].
Dieses Projekt zielt darauf ab, dieses Problem durch den Einsatz von Reinforcement Learning (RL) und einem LiDAR-Sensor zu lösen. Ein in der Simulation trainierter RL-Algorithmus ist in der Lage, sich an eine Vielzahl von unbekannten Szenarien anzupassen, während ein LiDAR-Sensor eine dichte Abtastung der Umgebung liefert und so eine 360°-Überwachung ermöglicht.

Forschungslücken

Fig.1: 2D Dynamic Intruder Environment as Prototype for future developments. Agent (green), LiDAR Rays (light blue), Destination (dark blue), Dynamic Intruders (red), Brown Line: Distance to Destination

Es fehlen Veröffentlichungen zur dynamischen Einbrecherabwehr
Keine Unterscheidung zwischen Wegplanung und Hindernisvermeidung
Es fehlen 3D-Punktwolken-LiDAR-Daten in einem End-to-End-Ansatz
Simulationsumgebungen mit geringer Genauigkeit führen zu einer schwachen Leistung in der realen Welt
Keine quantitative Auswertung der Experimente
Es fehlt an Kohärenz bei der Algorithmenentwicklung
Es fehlt eine Domänen-Randomisierung zum Training robuster Agenten

Ziele

Fig.2: Currently used Potential Based Reward Function. The landscape shows an attractive potential (dark valley) towards the target (gold star). Repulsive potentials (light hills) are generated around each intruder (red circles). Dashed red lines indicate the safety radius dsafe.

Es fehlen Veröffentlichungen zur dynamischen Einbrecherabwehr
Keine Unterscheidung zwischen Wegplanung und Hindernisvermeidung
Es fehlen 3D-Punktwolken-LiDAR-Daten in einem End-to-End-Ansatz
Simulationsumgebungen mit geringer Genauigkeit führen zu einer schwachen Leistung in der realen Welt
Keine quantitative Auswertung der Experimente
Es fehlt an Kohärenz bei der Algorithmenentwicklung
Es fehlt eine Domänen-Randomisierung zum Training robuster Agenten

Referenzen:

[1] Lizotte, Katherine. Faa aerospace forecast fy 2018-2038.

[2] Alana Saulnier and Scott N. Thompson. Police uav use: institutional realities and public perceptions. Policing: An International Journal of Police Strategies & Management, 39(4):680{693, 2016.

[3] J. Tang, S. Lao, and Y. Wan. Systematic review of collision-avoidance approaches for unmanned aerial vehicles. IEEE Systems Journal, 16(3):4356{4367, 2022.

Weitere gemeinsame Projekte rund um Unbemannte Flugsysteme und Urban Air Mobility finden Sie auch beim Technologietransferzentrum (TTZ) “Unbemannte Flugsysteme”

TTZ Unbemannte Flugsysteme