Metody zwiększania ilości danych termowizyjnych w uczeniu maszynowym

pol Article in Polish DOI: 10.14313/PAR_251/97

send Piotr Sadzyński Wojskowa Akademia Techniczna, Instytut Optoelektroniki, ul. gen. Sylwestra Kaliskiego 2, 00-908 Warszawa

Download Article

Streszczenie

Coraz częściej w przetwarzaniu i analizie obrazu termowizyjnego stosuje się uczenie maszynowe w kontekście rozpoznawania i identyfikacji obiektów. Niniejszy artykuł prezentuje wyniki badania wpływu augmentacji danych na efektywność uczenia maszynowego w kontekście analizy obrazów termowizyjnych. Wykorzystano publicznie dostępny zbiór danych FLIR ADAS, który zawiera etykietowane obrazy termowizyjne i obrazy z zakresu światła widzialnego. Badanie skupia się na wykorzystaniu konwolucyjnych sieci neuronowych, w szczególności architektury YOLOv8, do detekcji obiektów na obrazach termowizyjnych. Zbiór danych FLIR ADAS został poddany wstępnemu przetwarzaniu i augmentacji, a następnie wykorzystany do trenowania dwóch różnych modeli: jednego opartego na obrazach w skali szarości i drugiego – opartego na obrazach z zastosowaną paletą kolorów. Wyniki eksperymentu wskazują, że augmentacja danych może znacząco wpłynąć na efektywność modelu, a zastosowanie kolorów w obrazach termowizyjnych może w pewnych sytuacjach dodatkowo zwiększyć dokładność detekcji.

Słowa kluczowe

augmentacja danych, głębokie uczenie maszynowe, konwolucyjne sieci neuronowe, obrazowanie w podczerwieni, pomiary, przetwarzanie obrazu, rozpoznawanie obiektów, wizja komputerowa, wykrywanie obiektów

Methods of Increasing the Amount of Thermal Imaging Data in Machine Learning

Abstract

Machine learning is increasingly being applied in the processing and analysis of thermal imaging for object recognition and identification. This article presents a study on the impact of data augmentation on the effectiveness of machine learning in the context of thermal image analysis. The publicly available FLIR ADAS dataset, which includes labeled thermal and visible light images, was used for this study. The research focuses on the use of Convolutional Neural Networks, specifically the YOLOv8 architecture, for object detection in thermal images. As part of the study, the FLIR ADAS dataset underwent preprocessing and augmentation, and was then used to train two different models: one based on grayscale images and another using a color palette. The results of the experiment indicate that data augmentation can significantly impact the effectiveness of the model, and the use of colors in thermal images may, in certain situations, further improve detection accuracy.

Keywords

computer vision, convolutional neural nets, data augmentation, Deep Learning, image processing, infrared imaging, measurement, object detection, object recognition

Bibliography

  1. Ultralytics, Tips for best training results, https://docs.ultralytics.com/yolov5/tutorials/tips_for_best_training_results.
  2. Papers with Code, Deep Thermal Imaging Dataset Dataset, https://paperswithcode.com/dataset/deep-thermal-imaging-dataset.
  3. Ashfaq Q., Akram U., Zafar R., Thermal Image dataset for object classification, Mendeley Data, 2021, DOI: 10.17632/btmrycjpbj.1.
  4. KiKaBeN, YOLOv5 Transfer Learning, 2022, https://kikaben.com/yolov5-transfer-learning-dogs-cats/.
  5. Karimpanal T.G., Bouffanais R., Self-organizing maps for storage and transfer of knowledge in reinforcement learning, “Adaptive Behavior”, Vol. 27, No. 2, 2019, 111–126, DOI: 10.1177/1059712318818568.
  6. Cubuk E.D., Zoph B., Mane D., Vasudevan V., Le Q.V., AutoAugment: Learning Augmentation Strategies From Data, “Computer Science > Computer Vision and Pattern Recognition”, 2019, 113–123, DOI: 10.1109/CVPR.2019.00020.
  7. Atienza R., Improving Model Generalization by Agreement of Learned Representations from Data Augmentation, “Computer Science > Computer Vision and Pattern Recognition”, 2021, 372–381, DOI: 10.48550/arXiv.2110.10536.
  8. Zoph B., Cubuk E.D., Ghiasi G., Lin T.-Y., Shlens J., Le Q.V., Learning data augmentation strategies for object detection, “Computer Science > Computer Vision and Pattern Recognition”, 2019, 1–19, DOI: 10.48550/arXiv.1906.11172.
  9. Chen Y., Li Y., Kong T., Qi L., Chu R., Li L., Jia J., Scale-aware Automatic Augmentation for Object Detection, “Computer Science > Computer Vision and Pattern Recognition”, 2021, 9563–9572, DOI: 10.48550/arXiv.2103.17220.
  10. Dodge S., Karam L., Understanding How Image Quality Affects Deep Neural Networks, “Computer Science > Computer Vision and Pattern Recognition”, 2016, DOI: 10.48550/arXiv.1604.04004.
  11. Goodfellow I.J., Shlens J., Szegedy C., Explaining and Harnessing Adversarial Examples, “Statistics > Machine Learning”, 2015, 1–11, DOI: 10.48550/arXiv.1412.6572.
  12. DeVries T., Taylor G.W., Improved Regularization of Convolutional Neural Networks with Cutout, “Computer Science > Computer Vision and Pattern Recognition”, 2017, 1–8, DOI: 10.48550/arXiv.1708.04552.
  13. Więcek B., De Mey G., Termowizja w podczerwieni. Podstawy i zastosowania. Wydawnictwo PAK, Warszawa 2011, ISBN: 978-83-926319-7-2.
  14. St-Laurent L., Prévost D., Maldague X., Thermal imaging for enhanced foreground – background segmentation, Quantitative InfraRed Thermography Conference, 2006, DOI: 10.21611/qirt.2006.065.
  15. Teledyne FLIR, FREE Teledyne FLIR Thermal Dataset for Algorithm Training, 2018, https://www.flir.com/oem/adas/adas-dataset-form/.
  16. Teledyne FLIR, Basic AGC for radiometric Lepton images, 2022, https://www.flir.com/oem/basic-agc-for-radiometric-lep ton-images/.
  17. Ultralytics, Metrics, https://docs.ultralytics.com/reference/utils/metrics/.
  18. Raschka S., Python: uczenie maszynowe, Wydawnictwo Helion, 2018, ISBN: 978-83-283-3613-1.
  19. Redmon J., Farhadi A., YOLO9000: Better, Faster, Stronger, “Computer Science > Computer Vision and Pattern Recognition”, 2016, 1–9, DOI: 10.48550/arXiv.1612.08242.
  20. Rosebrock A., Intersection over Union (IoU) for object detection, 2016, https://pyimagesearch.com/2016/11/07/intersectionover-union-iou-for-object-detection/.
  21. Chen X., Fang H., Lin T.-Y., Vedantam R., Gupta S., Dollar P., Zitnick C.L., Microsoft COCO Captions: Data Collection and Evaluation Server, “Computer Science > Computer Vision and Pattern Recognition”, 2015, 1–7, DOI: 10.48550/arXiv.1504.00325.
  22. Terven J., Cordova-Esparza D., A Comprehensive Review of YOLO: From YOLOv1 and Beyond, “Computer Science > Computer Vision and Pattern Recognition”, 2023, 1–27, DOI: 10.48550/arXiv.2304.00501.
  23. Bieszczad G., Sosnowski T., Sawicki K., Gogler S., Ligienza A., Mścichowski M., A Network of Miniature Thermal Imaging Sensors for Object Detection and Tracking, “Pomiary Automatyka Robotyka”, T. 25, Nr 4, 2021, 57–66, DOI: 10.14313/PAR_242/57.
  24. Sosnowski T., Bieszczad G., Madura H., Image processing in thermal cameras, [In:] Advanced Technologies in Practical Applications for National Security, ser. Studies in Systems, Decision and Control, A. Nawrat, D. Bereska, K. Jędrasiak, red., Cham: Springer International Publishing, 2018, 35–57, DOI: 10.1007/978-3-319-64674-9_3.