Using the Digital-Twin Technology in the Mi-17 Mixed Reality Simulator

eng Article in English DOI: 10.14313/PAR_252/67

send Piotr Golański , Marek Szczekala Air Force Institute of Technology, ul. Ks. Bolesława 6, 01-494 Warszawa

Download Article

Abstract

The article is aimed at the issue of combining the real world with the virtual world in Mixed Reality (MR) simulators. Mixed reality allows for integrating the real world with the virtual world – real objects with computer-generated objects. A person interacting with such a system receives both visual and tactile sensations. To ensure proper interaction with system elements, high reconstruction accuracy of virtual objects in relation to the corresponding real objects is necessary. The article presents the concept of combining the real and virtual world using a combination of VR and digital-twin technology and aims to illustrate how to ensure high accuracy of mapping virtual objects in relation to their real originals on the example of the Mi-17 helicopter simulator made using MR technology.

Keywords

digital twin, Mi-17 helicopter simulator, mixed reality, unity 3D, virtual reality

Zastosowanie technologii cyfrowych bliźniaków w symulatorze mieszanej rzeczywistości śmigłowca Mi-17

Streszczenie

Artykuł dotyczy zagadnienia łączenia świata rzeczywistego ze światem wirtualnym w symulatorach Mieszanej Rzeczywistości (MR). Rzeczywistość mieszana pozwala na integrację świata rzeczywistego ze światem wirtualnym – obiektów rzeczywistych z obiektami generowanymi komputerowo. Osoba wchodząca w interakcję z takim systemem otrzymuje zarówno wrażenia wizualne, jak i dotykowe. Aby zapewnić właściwą interakcję z elementami systemu, konieczna jest duża dokładność rekonstrukcji obiektów wirtualnych w stosunku do odpowiadających im obiektów rzeczywistych. Artykuł przedstawia koncepcję łączenia świata rzeczywistego i wirtualnego z wykorzystaniem kombinacji technologii VR i Digital Twins oraz ma na celu zilustrowanie, w jaki sposób zapewnić wysoką zgodność odwzorowania obiektów wirtualnych w stosunku do ich rzeczywistych oryginałów, na przykładzie symulatora śmigłowca Mi-17 wykonanego w technologii MR.

Słowa kluczowe

cyfrowy bliźniak, rzeczywistość mieszana, rzeczywistość wirtualna, symulator śmigłowca Mi-17, unity 3D

Bibliography

  1. Azuma R., A survey of augmened reality. “Presence: Teleoperation and Virtual Environments”, Vol. 6, No. 4, 1997, 355-385, DOI: 10.1162/pres.1997.6.4.355.
  2. Farasin A., Peciarolo F., Grangetto M., Gianaria E., Garza P., Real-time Object Detection and Tracking in Mixed Reality using Microsoft HoloLens, Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2020), Vol. 4: VISAPP, 165-172, DOI: 10.5220/0008877901650172.
  3. Golański P., Szczekala M., Roguszewski M., Analysis of the 3D Object Reconstruction Accuracy in an Mi-17 Mixed Reality Simulator, Automation 2021: Recent Achievements in Automation, Robotics and Measurement Technique, Vol. 1390, 136–145, DOI: 10.1007/978-3-030-74893-7_14.
  4. Guttag K., FOV: AR and The View of the Real World, KGOnTech, https://kguttag.com/.
  5. Haller M., Billinghurst M., Thomas B., Emerging technologies of augmented reality – interfaces and design, Idea Group Inc., 2007.
  6. Henderson S., Feiner S., Exploring the Benefits of Augmented Reality Documentation for Maintenance and Repair, “IEEE Transactions on Visualization and Computer Graphics”, Vol. 17, No. 10, 2011, 1355–1368, DOI: 10.1109/TVCG.2010.245.
  7. Jeong D.-Y. et al., Digital Twin: Technology Evolution Stages and Implementation Layers with Technology Elements, “IEEE Access”, Vol. 10, 2022, 52609–52620, DOI: 10.1109/ACCESS.2022.3174220.
  8. Kress B.C., Digital optical elements and technologies (EDO19): applications to AR/VR/MR, Proceedings SPIE 11062, Digital Optical Technologies 2019, DOI: 10.1117/12.2544404.
  9. Mackay W.E., Augmented reality: linking real and virtual worlds: a new paradigm for interacting with computers, AVI ‘98: Proceedings of the working conference on Advanced Visual Interfaces, 1998, 13–21, DOI: 10.1145/948496.948498.
  10. Milgram P., Kishino F., A taxonomy of mixed reality visual displays, IEICE Transactions on Information Systems, E77-D (12), December 1994.
  11. Prokopiuk N., Falkowski P., Applicability of augmented and virtual reality for education in robotics, “Journal of Automation, Mobile Robotics and Intelligent Systems”, Vol. 16, No. 3, 2022, 65–74, DOI: 10.14313/JAMRIS/3–2022/25.
  12. Szczekala M., Mądrzycki P., Zastosowanie technologii rozszerzonej rzeczywistości do doskonalenia procesów szkoleniowych, „Technika Transportu Szynowego”, Vol. 20, No. 10, 2013, 93–102, DOI:10. 13140/RG.2.1.2652.6565.
  13. Tchon K., Muszynski R., Mazur A., Duleba I., Hossa R., Manipulators and mobile robots – models, traffic planning, control. AOW PLJ, Warszawa 2000.
  14. Wójcicki T., Supporting the diagnostics and maintenance of technical devices with augmented reality, “Diagnostyka”, Vol. 15, No. 1, 2014, 43–47.