Samolokalizacja bezzałogowego statku powietrznego uwzględniająca zmienną orientację kamery

pol Artykuł w języku polskim DOI: 10.14313/PAR_246/53

wyślij Teresa Zielińska *, Tomasz Pogorzelski ** * Politechnika Warszawska, Instytut Techniki Lotniczej i Mechaniki Stosowanej, ul. Nowowiejska 24, 00-665 Warszawa ** Sieć Badawcza Łukasiewicz – Instytut Lotnictwa, Aleja Krakowska 110/114, 02-256 Warszawa

Pobierz Artykuł

Streszczenie

W niniejszej publikacji zaproponowano metodę lokalizacji wizyjnej z wykorzystaniem obrazów z symulowanej kamery oraz mapy georeferencyjnej. Model BSP oraz symulacja lotu zostały wykonane w pakiecie MATLAB Simulink, który przesyłał dane dotyczące orientacji BSP do opisywanego programu. Wizualizacja obrazu z kamery została wykonana w czasie rzeczywistym przy pomocy oprogramowania FlightGear, której obraz również był przechwytywany przez program NW. Metoda ta realizowana jest przez dwa procesy w dwu modułach: Global Positioning Component oraz Motion Positioning Component. Pierwszy z nich porównuje obraz z symulowanej kamery z ortofotomapą. Drugi wyznacza pozycję na podstawie oceny przemieszczenia punktów charakterystycznych w obrazie w stosunku do ostatnio znanej lokalizacji. Wynik działania obu modułów ilustrowany jest w oknie graficznym aplikacji NW, co pozwala na wizualne porównanie uzyskanych wyników. W przypadku globalnej metody lokalizacji wymagana jest dodatkowa korekcja orientacji kamery w celu wyznaczenia pozycji w przestrzeni 2D. W tym celu wykorzystano dane dotyczące bieżącej orientacji kamery wyrażone w kwaternionach. Pozwoliło to na wprowadzenie poprawki pozycji, co znacząco poprawiło dokładność wyniku uzyskiwanego w module GPC mimo znacznych przechyleń BSP podczas symulowanego lotu.

Słowa kluczowe

lokalizacja wizyjna, orientacja kamery, porównywanie obrazów, redundancja GNSS

Self-Localization of the Unmanned Aerial Vehicle Taking Into Account the Variable Orientation of the Camera

Abstract

This publication proposes a visual localization method using images from a simulated camera and a georeferenced map. The UAV model and flight simulation were made in the MATLAB Simulink package, which sent UAV orientation data to the described program. The visualization of the camera image was performed in real time using the FlightGear software, the image of which was also captured by the NW program. This method is performed by two processes in two modules: Global Positioning Component and Motion Positioning Component. The first one compares the image from the simulated camera with the orthophotomap. The second determines the position based on the assessment of the displacement of characteristic points in the image in relation to the last known location. The result of the operation of both modules is illustrated in the graphic window of the NW application, which allows for a visual comparison of the obtained results. With the global method of location, additional camera orientation correction is required to determine the position in 2D space. For this purpose, data on the current camera orientation expressed in quaternions were used. This allowed for the introduction of a position correction, which significantly improved the accuracy of the result obtained in the GPC module despite significant UAV tilts during the simulated flight.

Keywords

camera orientation, GNSS redundancy, image comparison, vision localization

Bibliografia

  1. Pogorzelski T., Zielińska T., Vision Based Navigation Securing the UAV Mission Reliability, [In:] Automation 2022: New Solutions and Technologies for Automation, Robotics and Measurement Techniques, AISC, Vol. 1427, 2022, 251–263, DOI: 10.1007/978-3-031-03502-9_26.
  2. Mughal M.H., Khokhar M.J., Shahzad M., Assisting UAV Localization via Deep Contextual Image Matching, “IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing”, Vol. 14, 2021, 2445–2457, DOI: 10.1109/JSTARS.2021.3054832.
  3. Mao J., Zhang L., He X., Qu H., Hu X., Precise Visual-Inertial Localization for UAV with the Aid of A 2D Georeferenced Map, arXiv, 2021, DOI: 10.48550/arXiv.2107.05851.
  4. Nassar A., Amer K., ElHakim R., ElHelw M., A Deep CNN-Based Framework For Enhanced Aerial Imagery Registration with Applications to UAV Geolocalization, [In:] IEEE/ CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018, DOI: 10.1109/CVPRW.2018.00201.
  5. Ivashechkin M., Barath D., Matas J., USACv20: robust essential, fundamental and homography matrix estimation, arXiv, 2021, DOI: 10.48550/arXiv.2104.05044.
  6. Welcer M., Szczepański C., Krawczyk M., The Impact of Sensor Errors on Flight Stability, „Aerospace”, Vol. 9, No. 3, 2022, DOI: 10.3390/aerospace9030169.
  7. Kowalik R., Łusiak T., Novak A., A Mathematical Model for Controlling a Quadrotor UAV, „Transactions on Aerospace Research”, Vol. 2021, No. 3, 2021, 58–70, DOI: 10.2478/tar-2021-0017.
  8. Burke C., Rashman M., Wich S., Symons A., Theron C., Longmore S., Optimising observing strategies for monitoring animals using drone-mounted thermal infrared cameras, „International Journal of Remote Sensing”, Vol. 40, No. 2, 2019, 439–467, DOI: 10.1080/01431161.2018.1558372.
  9. Pogorzelski T., Majek K., Onboard to Satellite Image Matching for Relocalization of the UAVs, [In:] Proceedings of the 3rd Polish Conference on Artificial Intelligence, 2022, 25–27.
  10. Babinec A., Apeltauer J., On accuracy of position estimation from aerial imagery captured by low-flying UAVs, „International Journal of Transportation Science and Technology”, Vol. 5, No. 3, 2016, 152–166, DOI: 10.1016/j.ijtst.2017.02.002.
  11. Fellner A., Konieczka R., Rotorcraft in the performance based navigation international civil aviation organization implementation, “Transactions on Aerospace Research”, Vol. 2019, No. 1, 2019, 53–64, DOI: 10.2478/TAR-2019-0005.
  12. Rose D., Rotation Quaternions, and How to Use Them, 2015. [On-line] https://danceswithcode.net/engineeringnotes/quaternions/quaternions.html.
  13. Craig J.J., Introduction to Robotics, Pearson Education Limited, 2014.