Zliczanie szybkich obiektów z wykorzystaniem kamery zdarzeniowej

pol Article in Polish DOI: 10.14313/PAR_247/79

Kamil Bialik , Marcin Kowalczyk , Krzysztof Błachut , send Tomasz Kryjak Akademia Górniczo-Hutnicza im. S. Staszica, Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej, Laboratorium Systemów Wizyjnych, Zespół Wbudowanych Systemów Wizyjnych, al. Mickiewicza 30, 30-059 Kraków

Download Article

Streszczenie

W pracy zaproponowano wykorzystanie kamery zdarzeniowej jako komponentu systemu wizyjnego umożliwiającego zliczanie szybko przemieszczających się obiektów – w tym przypadku spadających ziaren kukurydzy. Kamery te przesyłają informacje o zmianach jasności poszczególnych pikseli i charakteryzują się niską latencją, brakiem rozmycia związanego z ruchem, poprawnym działaniem w różnych warunkach oświetleniowych, a także bardzo niskim zużyciem energii. Zaproponowany algorytm zliczający analizuje zdarzenia w czasie rzeczywistym. Działanie rozwiązania zademonstrowano na stanowisku składającym się ze zsypu z podajnikiem wibracyjnym, który umożliwiał regulację liczby spadających ziaren. Celem układu sterowania z regulatorem PID było utrzymanie stałej średniej liczby spadających obiektów. Zaproponowane rozwiązanie poddane zostało szeregowi testów, mających na celu określenie poprawności działania opracowanej metody. Na ich podstawie można potwierdzić słuszność użycia kamery zdarzeniowej do liczenia małych, szybko poruszających się obiektów, i związanego z tym szerokiego spektrum potencjalnych zastosowań przemysłowych.

Słowa kluczowe

kamera zdarzeniowa, porcjowanie, regulacja przepływu, regulator PID, zliczanie szybkich obiektów

Fast Object Counting with an Event Camera

Abstract

This paper proposes the use of an event camera as a component of a vision system that enables counting of fast-moving objects – in this case, falling corn grains. These cameras transmit, in an asynchronous manner, information about the change in brightness of individual pixels and are characterised by low latency, no motion blur, and correct operation in different lighting conditions, as well as very low power consumption. The proposed counting algorithm processes events in real time. The operation of the solution was demonstrated on a stand consisting of a chute with a vibrating feeder, which allowed the number of falling grains to be adjusted. The objective of the control system with a PID controller was to maintain a constant average number of falling objects. The proposed solution was subjected to a series of tests to determine the correctness of the developed method operation. On their basis, the validity of using an event camera to count small, fast-moving objects and the associated wide range of potential industrial applications can be confirmed.

Keywords

dynamic vision sensor, event camera, high-speed object counting, item flow regulation, PID controller, portioning

Bibliography

  1. Gallego G., Delbrück T., Orchard G., Bartolozzi C., Taba B., Censi A., Leutenegger S., Davison A., Conradt J., Daniilidis K., Scaramuzza D., Event-Based Vision: A Survey. „IEEE Transactions on Pattern Analysis and Machine Intelligence”, Vol. 44, No. 1, 2022, 154–180, DOI: 10.1109/TPAMI.2020.3008413.
  2. Lichtsteiner P., Posch C., Delbruck T., A 128 × 128 120 dB 15 µs Latency Asynchronous Temporal Contrast Vision Sensor, „IEEE Journal of Solid-State Circuits”, Vol. 43, No. 2, 2008, 566–576, DOI: 10.1109/JSSC.2007.914337.
  3. Kim H., Leutenegger S., Davison A., RealTime 3D Reconstruction and 6-DoF Tracking with an Event Camera. „Computer Vision – ECCV”, 2016, 349–364.
  4. Padala V., Basu A., Orchard G., A Noise Filtering Algorithm for Event-Based Asynchronous Change Detection Image Sensors on TrueNorth and Its Implementation on TrueNorth. „Frontiers in Neuroscience”. No. 12, 2018, DOI: 10.3389/fnins.2018.00118.
  5. Lee S., Yang C., A real time object recognition and counting system for smart industrial camera sensor. „IEEE Sensors Journal”, Vol. 17, No. 8, 2017, 2516–2523, DOI: 10.1109/JSEN.2017.2671457.
  6. Baygin M., Karakose M., Sarimaden A., Akin E., An image processing based object counting approach for machine vision application. „ArXiv Preprint„ ArXiv:1802.05911, 2018, DOI: 10.48550/arXiv.1802.05911.
  7. Liu J., Na W., Fast moving object counting from video. 2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS), 2017, 337–340, DOI: 10.1109/ISPACS.2017.8266499.
  8. Lee K., Tsai L., Hung P., Fast People Counting Using Sampled Motion Statistics. 2012 Eighth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2012, 162–165, DOI: 10.1109/IIH-MSP.2012.45.
  9. Saidon M., Mustafa W., Rajasalavam V., Khairunizam W., Automatic People Counting System Using Aerial Image Captured by Drone for Event Management. [In:] Intelligent Manufacturing and Mechatronics, 2021, 51–65, DOI: 10.1007/978-981-16-0866-7_4.
  10. Liu C., Huynh D., Sun Y., Reynolds M., Atkinson S., A Vision-Based Pipeline for Vehicle Counting, Speed Estimation, and Classification. „IEEE Transactions on Intelligent Transportation Systems”, Vol. 22, No. 12, 2021, 7547–7560, DOI: 10.1109/TITS.2020.3004066.
  11. Wu H., Wang Y., Ma H., Li B., Jin Y., Vision Based Realtime High-accuracy Automatic Counting with Applications for Smart Pharmacy. 40th Chinese Control Conference (CCC), 2021, 6429–6435, DOI: 10.23919/CCC52363.2021.9549691.
  12. Belbachir A., Schraml S., Brändle N., Real-time classification of pedestrians and cyclists for intelligent counting of cnon-motorized traffc . IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, 2010, 45–50, DOI: 10.1109/CVPRW.2010.5543170.