Układ neuronowy analizujący obrazy stereoskopowe w celu identyfikacji położenia pracownika względem stref niebezpiecznych

pol Artykuł w języku polskim DOI:

wyślij Andrzej Grabowski , Robert Kosiński , Marek Dźwiarek Centralny Instytut Ochrony Pracy - Państwowy Instytut Badawczy

Pobierz Artykuł

Streszczenie

Nowoczesne systemy produkcji stają się coraz bardziej elastyczne, wobec czego wymagają również elastycznych systemów bezpieczeństwa, które można łatwo dostosować do różnych procesów technologicznych. Właściwości takie posiadają wizyjne systemy bezpieczeństwa (VBPD - Vision Based Protective Devices). W niniejszej pracy przedstawiamy układ sztucznych sieci neuronowych do identyfikacji sytuacji niebezpiecznych. Sekwencja obrazów z dwóch kamer jest przesyłana do komputera PC, a następnie jest analizowana przez układ komórkowych sieci neuronowych (CNN) zrealizowany programowo. Układ ten wykrywa obecność nowego obiektu pojawiającego się w polu bezpieczeństwa (PB) i określa jego położenie i prędkość względem ruchomych elementów maszyny (takich jak np. ramię robota przemysłowego). Eksperymenty przeprowadzone z wykorzystaniem obrazów syntetycznych (wygenerowanych za pomocą technik rzeczywistości wirtualnej) i rzeczywistych obrazów o niskich parametrach jakościowych (kamery internetowe) wskazują, że prezentowany system jest w stanie dokonać prawidłowej identyfikacji sytuacji niebezpiecznej podczas pracy w czasie rzeczywistym.

Słowa kluczowe

system bezpieczeństwa, sztuczne sieci neuronowe

Artificial neural network for worker presence identification in dangerous zones using stereovision

Abstract

Modern production processes becomes more and more flexible. Therefore there is a need that devices used in workplace also support flexibility as much as possible. Such characteristics have Vision Based Protective Devices (VBPDs). We present a neural system for the advanced recognition of danger situation for safety control. The sequence of the images from two cameras located above the work stand is presented to the system of cellular neural networks (CNNs) realized in the PC computer. They detect a new object appearing in a Safety Field (SF), define its position with respect to the moving parts of machine (e.g. the arm of the robot) and perform the feature extraction of its image. Experiments conducted using artificial images (virtual environment) and low quality images (internet cameras) indicate that our system can work in a real time and detect successively dangerous situations.

Keywords

artificial neural networks, safety system

Bibliografia

  1. T. Bomer, “Vision based protective devices (VBPD) - a vision becomes reality”, proceedings of 3rd Int. Conf. SIAS 2003, session 7, p. 7-11, Nancy France.
  2. IEC 61496-4. Safety of machinery. Electro-sensitive protective equipment. Part 4. Particular requirements for equipment using vision based protective devices (VBPD).
  3. Report of the Project “Development for the international standards in the field of safety of machinery - a vision based protective devices (VBPD)”, The Japanese National Committee for IEC/TC44 Prepared by the Japan Machinery Federation (2001).
  4. Japanese Machinery Federation, Report of the Project “Development for the International Standards in the field of Safety of Machinery - a vision-based protective devices (VBPD)”, IEC 44/343/INF, 2001-10.
  5. F. Gardeux, J. Marsot, J. P. Buchweiller, “Detection of persons in danger zones: Contributions and difficulties of artificial vision” 3rd Int. Conf. SIAS (2003).
  6. F. Gardeux, “Detection of persons based on digital vision: advantages and limits”, INRS, HST, ND 2276-208-07 (2007).
  7. M. Hägele, W. Schaaf, E. Helms, “Robot Assistants at Manual Workplaces: Effective Co-operation and Safety Aspects”, Proceedings of the 33rd ISR (International Symposium on Robotics) October 7 - 11, 2002.
  8. Kruger J., Nickolay B., Schulz O., “Image-based 3D-surveillance in man-robotcooperation”, 2nd IEEE International Conference on Industrial Informatics, Berlin, 411-420, June 2004.
  9. B. Koch, “Human and robots - a great tem”, Fraunhofer magazine 2.2002, 40-41.
  10. J. E. Colgate, W. Wannasuphoprasit, M. A. Peshkin: “Cobots: Robots for Collaboration with Human Operators”. In: Proceedings of the International Mechanical Engineering Congress and Exhibition, Atlanta, GA, DSC-Vol. 58, 433-39.
  11. O. Khatib: “Mobile Manipulation: The Robotic Assistant.” In: Journal of Robotics and Autonomous Systems, vol. 26, 1999, 175-183.
  12. R. D. Schraft, S. Thiemermann: “Direct manrobot cooperation in a flexible assembly cell”, In:Proceedings of the 33rd International Symposium on Robotics, ISR 2002, October, 7 - 11, 2002.
  13. Stopp, A. Baldauf, T. Hantsche, R. Horstmann, S. Kristensen, S. Lohnert, F. Priem, C. Ruescher, B. The Manufacturing Assistant: Safe, Interactive Teaching of Operation Sequences. In Proc. of the 11th IEEE Int. Workshop on Robot and Human interactive Communication, ROMAN2002, Berlin, Germany, September 25-27, 2002, 386-391.
  14. K.HAMAJIMA, J.LUand K.ISHIHARA, “Object Zone Detection Method with Omnidirectional Vision Sensors”, Specific Research Reports of the National Institute of Industrial Safety, NIIS-SRR-NO.33 (2005)
  15. J.LU, K.HAMAJIMA and W.JIANG, “Monitoring a Wide Manufacture Field Automatically by Multiple Sensors”, ACTA AUTOMATICA SINICA, Vol. 32, No. 6, 956-967, November, 2006
  16. R.A. Kosiński „Sztuczne sieci neuronowe - dynamika nieliniowa i chaos”, Wyd. Naukowo-Techniczne, Warszawa, (2007)