Kamera termowizyjna wspomagająca nawigację pojazdów UAV

pol Article in Polish DOI: 10.14313/PAR_241/43

send Grzegorz Bieszczad , Krzysztof Sawicki , Sławomir Gogler , Andrzej Ligienza , Mariusz Mścichowski Wojskowa Akademia Techniczna, Instytut Optoelektroniki, Zakład Techniki Podczerwieni i Termowizji

Download Article

Streszczenie

Tematem artykułu jest ocena skuteczności opracowanego czujnika przeznaczonego do wspomagania nawigacji bezzałogowych statków powietrznych (BSP). Jego działanie opiera się na przetwarzaniu obrazów pozyskiwanych z kamery termowizyjnej pracującej w paśmie długofalowej podczerwieni (LWIR) umieszczonej pod podwoziem pojazdu. Przemieszczenie przestrzenne pojazdu określane jest poprzez analizę ruchu charakterystycznych punktów promieniowania cieplnego (grunt, las, budynki itp.) na zdjęciach uzyskanych za pomocą kamery termowizyjnej. Zakres i kierunek przemieszczenia uzyskuje się poprzez przetwarzanie strumienia kolejnych obrazów za pomocą algorytmu opartego na przepływie optycznym wyznaczanym w czasie rzeczywistym. Analiza rozkładu promieniowania pozwala na obliczenie wektora translacji kamery w przestrzeni. Zaletami systemów pomiarowych opartych na analizie obrazu termicznego, w porównaniu z tradycyjnymi inercyjnymi czujnikami nawigacyjnymi, jest brak efektu dryftu, odporność na zmiany pola magnetycznego, mała podatność na zakłócenia elektromagnetyczne oraz na zmiany warunków atmosferycznych. W przeciwieństwie do czujników czułych na światło widzialne, czujnik termowizyjny oferuje pracę w całkowitej ciemności (noce o złej pogodzie i w pomieszczeniach).

Słowa kluczowe

analiza obrazu, nawigacja, przepływ optyczny, przetwarzanie obrazu, termowizja, UAV

Thermal Imaging Camera Supporting the Navigation of UAVs

Abstract

The topic of this paper is an evaluation of developed sensor intended for navigation aid of unmanned aerial vehicles (UAVs). Its operation is based on processing images acquired with a thermal camera operating in the long-wave infrared band (LWIR) placed underneath a vehicle’s chassis. The vehicle’s spatial displacement is determined by analyzing movement of characteristic thermal radiation points (ground, forest, buildings, etc.) in pictures acquired by the thermal camera. Magnitude and direction of displacement is obtained by processing the stream of consecutive pictures with optical-flow based algorithm in real time. Radiation distribution analysis allows to calculate camera’s self-translation vector. Advantages of measuring translation based on thermal image analysis is lack of drift effect, resistance to magnetic field variations, low susceptibility to electromagnetic interference and change in weather conditions as compared to traditional inertial navigation sensors. As opposed to visible light situational awareness sensors, it offers operation in complete darkness (harsh weather, nights and indoors).

Keywords

image analysis, image processing, navigation, optical flow, thermal imaging, UAV

Bibliography

  1. Bieszczad G., SoC-FPGA Embedded System for Real-Time Thermal Image Processing. Proceedings of the 23rd International Conference Mixed Design of Integrated Circuits and Systems, MIXDES 2016, 469–473, DOI: 10.1109/MIXDES.2016.7529788.
  2. Bieszczad G.T., Gogler S., Krupiński M., Ligienza A., Sawicki K., The Concept of Thermovision Sensor Supporting the Navigation of Unmanned Aerial Platforms. “Measurement Automation Monitoring”, Vol. 65, No.1, 2019, 15–18.
  3. Farnebäck, Gunnar. 2003. “Two-Frame Motion Estimation Based on Polynomial Expansion.” In Proceedings of the 13th Scandinavian Conference on Image Analysis, 363–70. SCIA ’03. Berlin, Heidelberg: Springer-Verlag.
  4. Gageik, Nils, Paul Benz, and Sergio Montenegro. 2015. “Obstacle Detection and Collision Avoidance for a UAV with Complementary Low-Cost Sensors.” IEEE Access 3: 599–609, DOI: 10.1109/ACCESS.2015.2432455.
  5. Honegger D., Lorenz M., Tanskanen P., Pollefeys M., An Open Source and Open Hardware Embedded Metric Opti cal Flow CMOS Camera for Indoor and Outdoor Applications. Proceedings of the IEEE International Conference on Robotics and Automation, May 2013, 1736–1741, DOI: 10.1109/ICRA.2013.6630805.
  6. U-Blox.com. [ www.u-blox.com/en/product/zed-f9p-module ].
  7. Lyons R.G. Understanding Digital Signal Processing. Pearson Education International, 2013.
  8. Meier L., Dynamic Robot Architecture for Robust Realtime Computer Vision. PhD thesis, 2017, ETH Zurich.
  9. Meier L., Honegger D., Pollefeys M., Px4: A Node-Based Multithreaded Open Source Robotics Framework for Deeply Embedded Platforms. [In:] IEEE International Conference on Robotics and Automation (ICRA), 2015, 6235–6240, DOI: 10.1109/ICRA.2015.7140074.
  10. Perry D.L, Dereniak E.L., Linear Theory of Nonuniformity Correction in Infrared Staring Sensors. “Optical Engineering”, Vol. 32, No. 8, 1993, 1854–1859, DOI: 10.1117/12.145601.
  11. Sosnowski T., Bieszczad G., Kastek M., Madura H., Digi tal image processing in high resolution infrared camera with use of programmable logic device. [In:] Optics and Photonics for Counterterrorism and Crime Fighting VI and Optical Materials in Defence Systems Technology VII, 2010, 266–276. International Society for Optics; Photonics; SPIE. DOI: 10.1117/12.865026.