Perception Systems for Autonomous Mobile Robots: Selecting and Mitigating Limits

eng Article in English DOI: 10.14313/PAR_255/5

send Konrad Cop *, Morteza Haghbeigi *, Marcin Gajewski *, Tomasz Trzciński ** * United Robots Sp. z o.o., ul. Świeradowska 47, 02-622 Warszawa ** Warsaw University of Technology, Pl. Politechniki 1, 00-661 Warsaw, Poland

Download Article

Abstract

A well-designed perception system is crucial for the proper operation of an autonomous mobile robot however it is not trivial to engineer. For a comprehensive system not only the sensors’ features must be considered but also the way their data are utilised for robotic operation. In this paper, we present a set of tightly coupled strategies that allow the creation of an end-to-end perception system utilising 3D representation in the form of point clouds. Our proposal is generic enough to be applied to various mobile robots as it is aware of the context of robotic operation and accounts for hardware constraints. As the first strategy, we introduce a formalised sensors selection process formulated as a multi-objective optimization problem with metrics relaxation which allows to choose an optimal set of sensors within budgetary limitations. Secondly, we validate various data filtration strategies and their combination in the context of the navigation system to find a trade-off between accuracy and computational effort. Finally, to mitigate the suboptimal field of view of combined sensors and augment the perception system we introduce a new concept for the occupancy grid layer which utilises motion information in the occupancy calculation. For these strategies, we conduct experimental verification and apply the results in an autonomous cleaning robot.

Keywords

autonomous robot, data filtration, navigation, robotic perception, robotic sensors, robotics

Systemy percepcji dla autonomicznych robotów mobilnych: wybór i redukcja ograniczeń

Streszczenie

Dobrze zaprojektowany system percepcji jest kluczowy dla prawidłowego działania autonomicznego robota mobilnego, jednak jego stworzenie nie jest trywialnym zadaniem. Aby stworzyć kompleksowy system, należy brać pod uwagę nie tylko cechy samych czujników, ale także sposób, w jaki dane z nich są używane do działania robota. W artykule przedstawiono zestaw ścisłe powiązanych strategii, które umożliwiają stworzenie kompleksowego systemu percepcji, wykorzystującego reprezentację 3D w postaci chmur punktów. Nasza propozycja jest na tyle uniwersalna, że może być stosowana w różnych robotach mobilnych, ponieważ uwzględnia kontekst działania robota oraz ograniczenia sprzętowe. Pierwszą strategią jest wprowadzenie sformalizowanego procesu wyboru czujników, ujętego jako problem optymalizacji wielokryterialnej z relaksacją metryk, co pozwala na wybór optymalnego zestawu czujników w ramach ograniczeń budżetowych. W drugiej strategii weryfikujemy różne metody filtrowania danych i ich kombinację w kontekście systemu nawigacji, aby znaleźć kompromis między dokładnością a nakładem obliczeniowym. Wreszcie, aby zniwelować suboptymalne pole widzenia połączonych czujników i ulepszyć system percepcji, proponujemy nową koncepcję warstwy siatki zajętości, która wykorzystuje informacje o ruchu w obliczeniach dostępności obszaru nawigacyjnego. W ramach badań, przeprowadziliśmy eksperymentalną weryfikację tych strategii i zastosowaliśmy wyniki w autonomicznym robocie sprzątającym.

Słowa kluczowe

filtracja danych, nawigacja, percepcja robotyczna, roboty autonomiczne, robotyka, sensory robotyczne

Bibliography

  1. Shi Q., Li C., Wang C., Luo H., Huang Q., Fukuda T., Design and implementation of an omnidirectional vision system for robot perception, “Mechatronics”, Vol. 41, 2017, 58–66, DOI: 10.1016/j.mechatronics.2016.11.005.
  2. Deshpande P., Reddy V.R., Saha A., Vaiapury K., Dewangan K., Dasgupta R., A next generation mobile robot with multi-mode sense of 3D perception, [In:] 2015 International Conference on Advanced Robotics (ICAR). IEEE,  2015, 382–387, DOI: 10.1109/ICAR.2015.7251484.
  3. Lambert J., Carballo A., Cano A.M., Narksri P., Wong D., Takeuchi E., Performance analysis of 10 models of 3D LiDARs for automated driving. “IEEE Access”, Vol. 8, 2020, 131699–131722, DOI: 10.1109/ACCESS.2020.3009680.
  4. Stoyanov T., Louloudi A., Andreasson H., Lilienthal A.J., Comparative evaluation of range sensor accuracy in indoor environments, [In:] 5th European Conference on Mobile Robots, ECMR 2011, Orebro, Sweden, 2011, 19–24.
  5. Diaz M.G., Tombari F., Rodriguez-Gonzalvez P., Gonzalez-Aguilera D., Analysis and evaluation between the first and the second generation of RGBD sensors, “IEEE Sensors journal”, Vol. 15, No. 11, 2015, 6507–6516, DOI: 10.1109/JSEN.2015.2459139.
  6. Jin Y., Yuan X., Wang Z., Zhai B., Filtering Processing of LIDAR Point Cloud Data, [In:] IOP Conference Series: Earth and Environmental Science, Vol. 783, May 2021, DOI: 10.1088/1755-1315/783/1/012125.
  7. Han X.-F., Jin J.S., Wang M.-J., Jiang W., Gao L., Xiao L., A review of algorithms for filtering the 3D point cloud, “Signal Processing: Image Communication”, Vol. 57, 2017, 103–112, DOI: 10.1016/j.image.2017.05.009.
  8. Moreno C., A Comparative Study of Filtering Methods for Point Clouds in Real-Time Video Streaming, [https://api.semanticscholar.org/CorpusID:162172879].
  9. Roelofsen S., Gillet D., Martinoli A., Collision avoidance with limited field of view sensing: A velocity obstacle approach. [In:] 2017 IEEE International Conference on Robotics and Automation (ICRA), 2017, 1922–1927, DOI: 10.1109/ICRA.2017.7989223.
  10. Bouraine S., Fraichard T., Salhi H., Provably safe navigation for mobile robots with limited field-of-views in unknown dynamic environments, [In:] 2012 IEEE International Conference on Robotics and Automation, 2012, 174–179, DOI: 10.1109/ICRA.2012.6224932.
  11. Phan D., Yang J., Grosu R., Smolka S.A., Stoller S.D., Collision avoidance for mobile robots with limited sensing and limited information about moving obstacles. “Formal Methods in System Design”, Vol. 51, 2017, 62–86, DOI: 10.1007/s10703-016-0265-4.
  12. He B., Wu S., Wang D., Zhang Z., Dong Q., Fast-dynamic-vision: Detection and tracking dynamic objects with event and depth sensing, [In:] 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2021, 3071–3078, DOI: 10.1109/IROS51168.2021.9636448.
  13. Cop K.P., Peters A., Žagar B.L., Hettegger D., Knoll A.C., New metrics for industrial depth sensors evaluation for precise robotic applications, [In:] 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2021, 5350–5356, DOI: 10.1109/IROS51168.2021.9636322. Peter
  14. Hausamann P., Sinnott C.B., Daumer M., MacNeilage P.R., Evaluation of the Intel RealSense T265 for tracking natural human head motion, “Scientific Reports”, Vol. 11, 2021, DOI: 10.1038/s41598-021-91861-5.
  15. Tadic T. at al. Perspectives of RealSense and ZED depth sensors for robotic vision applications, “Machines”, Vol. 10, No. 3, 2022, DOI: 10.3390/machines10030183.
  16. Pinto A.M. et al. Evaluation of depth sensors for robotic applications, [In:] 2015 IEEE International Conference on Autonomous Robot Systems and Competitions, IEEE, 2015, 139–143, DOI: 10.1109/ICARSC.2015.24.
  17. Haenel R., Semler Q., Semin E., Grussenmeyer P., Tabbone S., Evaluation of low-cost depth sensors for outdoor applications, “The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences”, Vol. 48, 2022, 101–108, DOI: 10.5194/isprs-archives-XLVIII-2-W1-2022-101-2022.
  18. Siegwart R., Nourbakhsh I.R., Scaramuzza D., Introduction to autonomous mobile robots. MIT press, 2011.
  19. Rusu R.B., Cousins S., 3D is here: Point Cloud Library (PCL), [In:] 2011 IEEE International Conference on Robotics and Automation, 2011, DOI: 10.1109/ICRA.2011.5980567.
  20. Fischler M.A., Robert C., Bolles A., Random Sample Consensus: a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, “Communications of the ACM”, Vol. 24, No. 6, 1981, 381–395, DOI: 10.1145/358669.358692.
  21. Lu D.V., Hershberger D., Smart W.D., Layered costmaps for context-sensitive navigation, [In:] 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2014, 709–715, DOI: 10.1109/IROS.2014.6942636.
  22. Quigley M., Conley K., Gerkey B., Faust J., Foote T., Leibs J., Wheeler R., Ng A.Y., ROS: an open-source Robot Operating System, ICRA workshop on open source software, 2009, Vol. 3, No. 3.2.
  23. Raja P., Pugazhenthi S., Optimal path planning of mobile robots: A review, “International Journal of the Physical Sciences”, Vol. 7, No. 9, 2012, 1314–1320, DOI: 10.5897/IJPS11.1745.
  24. Carlos Andre Seara da Silva. Robot Navigation in Highly-Dynamic Environments. PhD thesis. University of Coimbra, 2022.
  25. Lu D.V., Smart W.D., Towards more efficient navigation for robots and humans, [In:] 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, IEEE, 2013, 1707–1713, DOI: 10.1109/IROS.2013.6696579.