Paragliding-AR
- Degree programme: BSc in Informatik
- Author: Janick Marco Stucki
- Thesis advisor: Prof. Marcus Hudritsch
- Expert: Dr. Eric Dubuis
- Year: 2023
Gleitschirmfliegen an sich ist schon schwierig genug, trotzdem ist dies einigen Pilotinnen und Piloten zu wenig und es werden Wettkämpfe veranstaltet. Für die Auswertung sind GPS-Tracker und 360 Grad Kameras im Einsatz. Diese Daten erlauben es, statische 3D Analysen zu machen, ohne tagesspezifische Details wie Wolken, Schneegrenze, etc. Ziel dieser Arbeit ist es, die 360 Grad Videos und die GPS-Tracker Daten zu kombinieren.
Einleitung
Ziel dieser Arbeit ist eine Applikation, welche es ermöglicht, die GPS-Tracker-Daten direkt in die dazugehörigen Videos zu augmentieren. Es wäre einen enormen Mehrwert für die Pilotinnen und Piloten, die verschiedenen Flugbahnen direkt im 360 Grad Video zu sehen. So wird im Video ersichtlich, wie eigene oder andere Entscheidungen getroffen wurden. Verschiedene Situationen eines Wettkampfes können so besser analysiert werden.
Implementation
Die Applikation ist basierend auf der Spiel-Engine Unity. Zu Beginn müssen Flugbahn Dateien der GPS-Tracker umgewandelt werden in ein lokales East North Up Koordinatensystem mit einem lokalen Ursprung, damit die Flugbahnen in einem dreidimensionalen Raum dargestellt werden können. Die Umwandlung wird mit einem Python-Skript gemacht.
Die Flugbahnen können jetzt in der Applikation ausgewählt werden. Pro Flugbahn kann kein, ein, oder mehrere Videos hinzugefügt werden. Wichtig hierbei ist, dass die Zeit auf den verwendeten Kameras korrekt eingestellt ist, sonst muss eine Korrektur von Hand vorgenommen werden. Die Applikation kann hierbei unterstützen.
Über einen Player-Balken kann die Sequenz nun abgespielt und analysiert werden. Per Drag-and-Drop auf dem Balken kann auf die grün markierten Stellen gesprungen werden, dort befinden sich für die aktuell ausgewählte Flugbahn Videos.
Videos müssen mit eingeschaltetem Direction-Lock und der Gyroskop Stabilisierung exportiert werden. So zeigt das Video immer in die Richtung der installierten Kamera, welche der Flugrichtung entspricht. Damit die Flugbahnen jetzt mit dem Bild übereinstimmen, muss das Video, projiziert auf eine Skybox, passend gedreht werden anhand der Richtung aus den GPS-Tracker-Daten.
Resultate
Die Flugbahnen können erfolgreich augmentiert werden in den zur Verfügung gestellten Videos. Die Ausrichtung über die GPS-Tracker-Daten ist nicht perfekt, um noch bessere Ergebnisse zu erhalten, wurden noch zwei Ansätze untersucht.
Mit OpenCV werden auf einem Teilframe der Skybox Features detektiert und gematcht mit Features vom vorherigen Frame. Die durchschnittliche Verschiebung der Matches kann so verwendet werden für eine genauere Ausrichtung.
Die zweite Variante implementiert einen Horizontlinien Detektor auf einem Teilframe. Diese Linie kann ebenfalls verwendet werden zur Korrektur auf allen drei Achsen.
