Sterowanie kobotem za pomocą wirtualnej rzeczywistości dla potrzeb Przemysłu 4.0

pol Article in Polish DOI: 10.14313/PAR_253/123

send Mateusz Salach , Arkadiusz Stęchły , Andrzej Paszkiewicz , Patryk Organiściak , Grzegorz Budzik Politechniki Rzeszowska, Wydział Elektrotechniki i Informatyki, Katedra Informatyki i Automatyki, ul. Wincentego Pola 2, 35-021 Rzeszów

Download Article

Streszczenie

Przemysł 4.0 przechodzi ciągłą ewolucję. Systemy zarządzania i monitoringu zaimplementowane w infrastrukturze przemysłowej gromadzą i przetwarzają coraz więcej danych, następnie bazując na dedykowanych algorytmach podejmują decyzje, a w konsekwencji wysyłają komendy sterujące do urządzeń i procesów technologicznych. Równocześnie wzrasta zainteresowanie łączeniem urządzeń z innymi na pozór odmiennymi technologiami. Przykładem tworzenia takiej koegzystencji jest integracja rozwiązań przemysłowych z wirtualną rzeczywistością. Działania takie przyczyniają się do tworzenia cyfrowych bliźniaków urządzeń i procesów, co z kolei umożliwia zdalne, a w wielu przypadkach również automatyczne sterowanie fizycznymi obiektami oraz przebiegiem rzeczywistych procesów. W trakcie prowadzonych badań wykorzystano takie podejście do opracowania rozwiązania umożliwiającego sterowanie robotem z dowolnego miejsca i w dowolnym czasie. Niniejsza praca prezentuje prototyp rozwiązania zapewniającego zdalne sterowanie robotem współpracującym typu kobot.

Słowa kluczowe

cyfrowy bliźniak, przemysł 4.0, robotyka, wirtualna rzeczywistość

Cobot Control Using Virtual Reality for the Needs of Industry 4.0

Abstract

Industry 4.0 is undergoing continuous evolution. Management and monitoring systems implemented in the industrial infrastructure are able to collect and process more and more data, then, based on dedicated algorithms, make decisions, and consequently send specific control commands to devices and technological processes. At the same time, there is growing interest in combining devices with other seemingly disparate technologies. An example of creating such coexistence is the integration of sensory solutions with virtual reality. Such activities contribute to the creation of digital twins of devices and processes, which in turn enables remote and in many cases automatic control of physical objects and the course of real processes. In the course of this research, such an approach has been used to develop a solution that allows a robot to be controlled from anywhere and at any time. This work presents a prototype of a solution providing remote control of a cobot arm robot.

Keywords

digital twin, industry 4.0, robotics, virtual reality

Bibliography

  1. Kuehn B.M., Virtual and Augmented Reality Put a Twist on Medical Education, “JAMA”, Vol. 319, No. 8, 2018, 756–758, DOI: 10.1001/jama.2017.20800.
  2. Moro C., Štromberga Z., Raikos A., Stirling A., The effectiveness of virtual and augmented reality in health sciences and medical anatomy, “Anatomical Sciences Education”, Vol. 10, No. 6, 2017, 549–559, DOI: 10.1002/ase.1696.
  3. Rajeswaran P., Varghese J., Kumar P., Vozenilek J., Kesavadas T., AirwayVR: Virtual Reality Trainer for Endo tracheal Intubation. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 2019, 1345–1346, DOI: 10.1109/VR.2019.8797998.
  4. Khalilia W.M., Gombar M., Palkova Z., Palko M., Valicek J., Harnicarova M., Using Virtual Reality as Support to the Learning Process of Forensic Scenarios. “IEEE Access”, Vol. 10, 2022, 83297–83310. DOI: 10.1109/ACCESS.2022.3196471.
  5. Desselle M.R., Brown R.A., James A.R., Midwinter M.J., Powell S.K., Woodruff M.A., Augmented and Virtual Reality in Surgery, “Computing in Science & Engineering”, Vol. 22, No. 3, 2020, 18–26, DOI: 10.1109/MCSE.2020.2972822.
  6. Pinter C., Lasso A., Choueib S., Asselin M., Fillion-Robin J.-C., Vimort J.-B., Martin K., Jolley M.A., Fichtinger G., SlicerVR for Medical Intervention Training and Planning in Immersive Virtual Reality, “IEEE Transactions on Med ical Robotics and Bionics”, Vol. 2, No. 2, 2020, 108–117, DOI: 10.1109/TMRB.2020.2983199.
  7. Davila Delgado J.M., Oyedele L., Demian P., Beach T., A research agenda for augmented and virtual reality in architecture, engineering and construction. “Advanced Engineering Informatics”, Vol. 45, 2020, DOI: 10.1016/j.aei.2020.101122.
  8. Joshi S., Hamilton M., Warren R., Faucett D., Tian W., Wang Y., Ma J., Implementing Virtual Reality technology for safety training in the precast/prestressed concrete industry, “Applied Ergonomics”, Vol. 90, 2021, DOI: 10.1016/j.apergo.2020.103286.
  9. Wang H., Zhang B., Zhang T., Jakacky A., Tele-operating a Collaborative Robot for Space Repairs with Virtual Reality, IEEE 9th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Sys tems (CYBER), 2019, 175–180, DOI: 10.1109/CYBER46603.2019.9066493.
  10. Clifford R.M.S., Khan H., Hoermann S., Billinghurst M., Lindeman R.W., The Effect of Immersive Displays on Situation Awareness in Virtual Environments for Aerial Fire fighting Air Attack Supervisor Training. IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 2018, DOI: 10.1109/VR.2018.8446139.
  11. Li Y., Cabin Operation and Management Model Based on VR Technology, 13th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), 2021, DOI: 10.1109/ICMTMA52658.2021.00013.
  12. Sun X., Wang X., Wang X., Design of Vehicle Engineering Teaching System Based on VR Technology. 5th Asian Conference on Artificial Intelligence Technology (ACAIT), 2021, 414–418, DOI: 10.1109/ACAIT53529.2021.9730892.
  13. Ciprian Firu A., Ion Tapîrdea A., Ioana Feier A., Drăghici G., Virtual reality in the automotive field in industry 4.0. “Materials Today: Proceedings”, Vol. 45, Part 5, 2021, 4177–4182, DOI: 10.1016/j.matpr.2020.12.037.
  14. Dourado A.O., Martin C.A., New concept of dynamic flight simulator, Part I, “Aerospace Science and Technology”, Vol. 30, No. 1, 2013, 79–82, DOI: 10.1016/j.ast.2013.07.005.
  15. Knerr B.W., Immersive Simulation Training for the Dismo unted Soldier, University of Michigan Library, 2007.
  16. Moon B.-H., Choi J.-W., Jung K.-T., Kim D.-H., Song H.-J., Gil K.-J., Kim J.-W., Connecting motion control mobile robot and VR content, 14th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), 2017, 355–359, DOI: 10.1109/URAI.2017.7992750.
  17. Knopp S., Lorenz M., Pelliccia L., Klimant P., Using Industrial Robots as Haptic Devices for VR-Training, IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 2018, 607–608, DOI: 10.1109/VR.2018.8446614
  18. Inamura T., Mizuchi Y., Robot Competition to Evaluate Guidance Skill for General Users in VR Environment. 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI), 2019, 552–553, DOI: 10.1109/HRI.2019.8673218.
  19. Chen H., Liu F., Yang Y., Meng W., MultiVR: Digital Twin and Virtual Reality Based System for Multi-people Remote Control Unmanned Aerial Vehicles, 17th International Conference on Control, Automation, Robotics and Vision (ICARCV), 2022, 647–652, DOI: 10.1109/ICARCV57592.2022.10004244.