Zastosowanie kamer termowizyjnych do detekcji i śledzenia znaczników wizualnych w warunkach ograniczonej widzialności metodami sztucznej inteligencji

pol Artykuł w języku polskim DOI: 10.14313/PAR_257/85

wyślij Marcin Leplawy , Piotr Lipiński , Barbara Morawska , Jakub Zdanowicz-Zasidko Politechnika Łódzka, Instytut Informatyki, al. Politechniki 8, 93-590 Łódź, Polska

Pobierz Artykuł

Streszczenie

W artykule przedstawiono system wykrywania znaczników ArUco w obrazach termowizyjnych IR, zaprojektowany z myślą o pokonaniu ograniczeń typowych dla tego typu obrazowania, takich jak niska rozdzielczość, szum termiczny, pasmowanie gradientu i brak wyraźnych krawędzi. Klasyczne algorytmy wykrywania znaczników fiducjalnych, skuteczne w obrazach RGB, zawodzą w środowisku IR z uwagi na specyfikę promieniowania cieplnego. Autorzy zaprojektowali wieloetapowy potok przetwarzania wstępnego obrazu, obejmujący m.in. posteryzację, wygładzanie gradientu, wzmocnienie krawędzi i eliminację pasmowania, co umożliwia poprawną identyfikację wzorców binarnych ArUco. Zastosowano również metody estymacji pozy i orientacji w przestrzeni 3D oraz adaptacyjne progowanie binarne z tolerancją błędów dopasowaną do zakłóceń termicznych. Opracowany interaktywny system pozwala użytkownikowi dostosowywać parametry przetwarzania obrazu w czasie rzeczywistym, co znacząco zwiększa skuteczność detekcji znaczników ArUco w zmiennych warunkach środowiskowych. Przeprowadzone testy wykazały poprawę skuteczności detekcji znaczników o około 26 % w porównaniu do standardowych podejść.

Słowa kluczowe

ArUco, detekcja w podczerwieni, kamera termowizyjna, nawigacja autonomiczna, przetwarzanie obrazu, system wizyjny, sztuczna inteligencja, widzialność ograniczona, znacznik, znaczniki fiducjalne

Application of Thermal Imaging Cameras for Visual Marker Detection and Tracking in Limited Visibility Conditions Using Artificial Intelligence Methods

Abstract

This article presents a system for detecting ArUco markers in thermal infrared (IR) images, designed to overcome the typical limitations of this imaging modality, such as low resolution, thermal noise, gradient banding, and the absence of distinct edges. Conventional fiducial marker detection algorithms, effective in RGB images, fail in IR environments due to the specific nature of thermal radiation. The author developed a multi-stage preprocessing pipeline including posterization, gradient smoothing, edge enhancement, and banding elimination, enabling accurate identification of binary ArUco patterns. Additionally, methods for estimating position and orientation in 3D space were implemented, along with adaptive binary thresholding with error tolerance tailored to thermal disturbances. The developed interactive system allows users to adjust image processing parameters in real time, significantly improving ArUco marker detection performance in varying environmental conditions. Tests conducted showed an approximately 26 % improvement in detection accuracy compared to standard approaches.

Keywords

artificial intelligence, ArUco, autonomous navigation, fiducial marker, image processing, infrared detection, limited visibility, thermal imaging camera, vision system

Bibliografia

  1. Garrido-Jurado S., Muñoz-Salinas R., Madrid-Cuevas F., Marín-Jiménez M., Automatic generation and detection of highly reliable fiducial markers under occlusion, “Pattern Recognition”, Vol. 47, No. 6, 2014, 2280–2292, DOI: 10.1016/j.patcog.2014.01.005.
  2. Khattak S., Papachristos C., Alexis K., Marker Based Thermal-Inertial Localization for Aerial Robots in Obscurant Filled Environments, [In:] Advances in Visual Computing, Springer, 2018, 565–575, DOI: 10.1007/978-3-030-03801-4_49.
  3. Sadzyński P., Metody zwiększania ilości danych termowizyjnych w uczeniu maszynowym, „Pomiary Automatyka Robotyka”, Vol. 28, No. 1, 2024, 97–106, DOI: 10.14313/PAR_251/97.
  4. Redmon J., Farhadi A., YOLO9000: Better, Faster, Stronger, arXiv preprint, arXiv:1612.08242, 2016, DOI: 10.48550/arXiv.1612.08242.
  5. Mścichowski M., Sawicki K., Sosnowski T., Firmanty K., Kastek M., Bareła J., Metoda pomiaru parametrów kamer termowizyjnych za pomocą zautomatyzowanego stanowiska pomiarowego, „Pomiary Automatyka Robotyka”, Vol. 28, No. 3, 2024, 131–138, DOI: 10.14313/PAR_253/131.
  6. Holst G.C., Electro-optical Imaging System Performance, 6th ed., Washington: Society of Photo Optical, 2017, DOI: 10.1117/3.2588947.
  7. Berral-Soler R., Muñoz-Salinas R., Medina-Carnicer R., Marín-Jiménez M.J., DeepArUco++: Improved detection of square fiducial markers in challenging lighting conditions, “Image and Vision Computing”, Vol. 152, 2024, DOI: 10.1016/j.imavis.2024.105313.