Agentowa struktura wielomodalnego interfejsu do Narodowej Platformy Cyberbezpieczeństwa, część 1.

pol Article in Polish DOI: 10.14313/PAR_233/41

Włodzimierz Kasprzak , Wojciech Szynkiewicz , Maciej Stefańczyk , Wojciech Dudek , Maksym Figat , Maciej Węgierek , Dawid Seredyński , send Cezary Zieliński Politechnika Warszawska, Wydział Elektroniki i Technik Informacyjnych, Instytut Automatyki i Informatyki Stosowanej

Download Article

Streszczenie

Ten dwuczęściowy artykuł przedstawia interfejs do Narodowej Platformy Cyberbezpieczeństwa (NPC). Wykorzystuje on gesty i komendy wydawane głosem do sterowania pracą platformy. Ta część artykułu przedstawia strukturę interfejsu oraz sposób jego działania, ponadto prezentuje zagadnienia związane z jego implementacją. Do specyfikacji interfejsu wykorzystano podejście oparte na agentach upostaciowionych, wykazując że podejście to może być stosowane do tworzenia nie tylko systemów robotycznych, do czego było wykorzystywane wielokrotnie uprzednio. Aby dostosować to podejście do agentów, które działają na pograniczu środowiska fizycznego i cyberprzestrzeni, należało ekran monitora potraktować jako część środowiska, natomiast okienka i kursory potraktować jako elementy agentów. W konsekwencji uzyskano bardzo przejrzystą strukturę projektowanego systemu. Część druga tego artykułu przedstawia algorytmy wykorzystane do rozpoznawania mowy i mówców oraz gestów, a także rezultaty testów tych algorytmów.

Słowa kluczowe

Narodowa Platforma Cyberbezpieczeństwa, rozpoznawanie gestów, rozpoznawanie mówcy, rozpoznawanie mowy, rozpoznawanie obrazu

Agent Structure of Multimodal User Interface to the National Cybersecurity Platform – Part 1

Abstract

This two part paper presents an interface to the National Cybersecurity Platform utilising gestures and voice commands as the means of interaction between the operator and the platform. Cyberspace and its underlying infrastructure are vulnerable to a broad range of risk stemming from diverse cyber-threats. The main role of this interface is to support security analysts and operators controlling visualisation of cyberspace events like incidents or cyber-attacks especially when manipulating graphical information. Main visualization control modalities are gesture- and voice-based commands. Thus the design of gesture recognition and speech-recognition modules is provided. The speech module is also responsible for speaker identification in order to limit the access to trusted users only, registered with the visualisation control system. This part of the paper focuses on the structure and the activities of the interface, while the second part concentrates on the algorithms employed for the recognition of: gestures, voice commands and speakers.

Keywords

gesture recognition, image recognition, National Cybersecurity Platform, speaker recognition, speech recognition

Bibliography

  1. The National Cyber Security Centre, Holandia, [www.ncsc.nl] [on-line: dostęp 5-04-2019].
  2. The National Cyber Security Centre, Wielka Brytania, [www.ncsc.gov.uk] [on-line: dostęp 5-04-2019].
  3. The National Cybersecurity and Communications Integration Center, USA, [https://ics-cert.us-cert.gov] [on-line: dostęp 5-04-2019].
  4. Arkin R.C., Behavior-Based Robotics. MIT Press, 1998.
  5. Best D.M., Endert A., Kidwell D., 7 key challenges for visualization in cyber network defense. Proceedings of the Eleventh Workshop on Visualization for Cyber Security, VizSec ’14, 33–40, DOI: 10.1145/2671491.2671497.
  6. Bonabeau E., Dorigo M., Theraulaz G., Swarm Intelligence: From Natural to Artificial Systems. Oxford University Press, New York, Oxford, 1999.
  7. Bostock M., Pseudo-Dorling cartogram, https://bl.ocks.org/mbostock/4055892, 2015. [on-line: dostęp 5-04-2019].
  8. Brooks R.A., Elephants don’t play chess. “Robotics and autonomous systems”, Vol. 6, No. 1–2, 1990, 3–15, DOI: 10.1016/S0921-8890(05)80025-9.
  9. Brooks R.A., Intelligence without reason. Artificial intelligence: critical concepts, 3:107–163, 1991.
  10. Brooks R.A., Intelligence without representation. Artificial Intelligence, 47(1-3):139–159, January 1991.
  11. Brooks R.A., New approaches to robotics. “Science”, Vol. 253, No. 5025, September 1991, 1227–1232, DOI: 10.1126/science.253.5025.1227.
  12. Cao N., Lin C., Zhu Q., Lin Y., Teng X., Wen X., Voila: Visual anomaly detection and monitoring with streaming spatiotemporal data. IEEE Transactions on Visualization and Computer Graphics, Vol. 24, No. 1, Jan 2018, 23–33, DOI: 10.1109/TVCG.2017.2744419.
  13. Cetnarowicz K., Inteligencja wokół nas. Współdziałanie agentów softwareowych, robotów, inteligentnych urządzeń, Vol. 15, rozdział M–agent, 137–167. Wydawnictwo EXIT, 2010.
  14. DeLoach S., Wood M., Sparkman C., Multiagent systems engineering. “International Journal of Software Engineering and Knowledge Engineering”, Vol. 11, No. 3, 2001, 231–258, DOI: 10.1142/S0218194001000542.
  15. Dumas B., Lalanne D., Oviatt S.. Human Machine Interaction, Vol. 5440 serii Lecture Notes in Computer Science, rozdział Multimodal Interfaces: A Survey of Principles, Models and Frameworks, 3–26, Springer, 2009.
  16. Jaimes A., Sebe N., Multimodal human–computer interaction: A survey. “Computer Vision and Image Understanding”, Vol. 108, No. 1–2, 2007, 116–134, Special Issue on Vision for Human-Computer Interaction, DOI: 10.1016/j.cviu.2006.10.019.
  17. Kasprzak W., Rozpoznawanie obrazów i sygnałów mowy. Oficyna Wydawnicza Politechniki Warszawskiej, 2009.
  18. Kornuta T., Zieliński C., Robot control system design exemplified by multi-camera visual servoing, “Journal of Intelligent & Robotic Systems”, Vol. 77, No. 3–4, 2013, 499–524, DOI: 10.1007/s10846-013-9883-x.
  19. Krzywicki D., Faber Ł., Dębski R., Concurrent agent-based evolutionary computations as adaptive dataflows. “Concurrency and Computation Practice and Experience”, Vol. 30, No. 22, 2018, 1–29, DOI: 10.1002/cpe.4702.
  20. Krzywicki D., Turek W., Byrski A., Kisiel-Dorohinicki M., Massively concurrent agent-based evolutionary computing. “Journal of Computational Science”, Vol. 11, 2015, 153–162, DOI: 10.1016/j.jocs.2015.07.003.
  21. McKenna S., Staheli D., Fulcher C., Meyer M., Bubblenet: A cyber security dashboard for visualizing patterns. Eurographics Conference on Visualization (EuroVis), Vol. 35, No. 3, June 2016, 281–290, DOI: 10.1111/cgf.12904.
  22. Nwana H.S., Ndumu D.T., A Brief Introduction to Software Agent Technology, 29–47. Springer Berlin Heidelberg, Berlin, Heidelberg, 1998.
  23. Oviatt S., Schuller B., Cohen P., Sonntag D., Potamianos G., Kruger A. (eds), The Handbook of Multimodal-Multisensor Interfaces, Vol. 1: Foundations, User Modeling, and Common Modality Combinations. ACM Books Series. Association for Computing Machinery (ACM), 2017. 
  24. Padgham L., Winikoff M., Developing Intelligent Agent Systems: A Practical Guide. John Wiley & Sons, 2004.
  25. Pałka P., Wieloagentowe systemy decyzyjne. Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa 2019.
  26. Russell S., Norvig P., Artificial Intelligence: A Modern Approach. Prentice Hall, Upper Saddle River, N.J., 1995.
  27. Rybiński H., Ryzko D., Wiech P., Learning of Defaults by Agents in a Distributed Multi-Agent System Environment, 197–213. Springer Berlin Heidelberg, Berlin, Heidelberg, 2013.
  28. Sacha K., Inżynieria oprogramowania. Wydawnictwo Naukowe PWN, Warszawa 2010.
  29. Sethi A., Wills G., Expert-interviews led analysis of EEVi – a model for effective visualization in cybersecurity. 2017 IEEE Symposium on Visualization for Cyber Security (VizSec), Oct 2017, 1–8, DOI: 10.1109/VIZSEC.2017.8062195.
  30. Shiravi H., Shiravi A., Ghorbani A., A survey of visualization systems for network security. IEEE Transactions on Visualization and Computer Graphics, Vol. 18, No. 8, 2012, 1313–1329, DOI: 10.1109/TVCG.2011.144.
  31. Shoham Y., Agent-oriented programming. “Artificial Intelligence”, Vol. 60, No. 1, 1993, 51–92.
  32. Song B., Choi J., Choi S.-S., Song J., Visualization of security event logs across multiple networks and its application to a CSOC. “Cluster Computing”, 1–12, Nov 2017.
  33. Turk M., Multimodal interaction: A review. “Pattern Recognition Letters”, Vol. 36, 2014, 189–195, DOI: 10.1016/j.patrec.2013.07.003.
  34. Wooldridge M., Multiagent systems. Ch. Intelligent Agents, 27–77. MIT Press, Cambridge, MA, USA, 1999.
  35. Zieliński C., Inteligencja wokół nas. Współdziałanie agentów softwarowych, robotów, inteligentnych urządzeń, wolumen 15, rozd. Formalne podejście do programowania robotów – struktura układu sterującego, 267–300, EXIT, 2010.
  36. Zieliński C., Figat M., Hexel R., Communication within multi-FSM based robotic systems. “Journal of Intelligent & Robotic Systems”, Vol. 93, No. 3–4, 2019, 787–805, DOI: 10.1007/s10846-018-0869-6.
  37. Zieliński C., Kornuta T., Diagnostic requirements in multi-robot systems. Korbicz J., Kowal M. (eds), Intelligent Systems in Technical and Medical Diagnostics, wolumen 230 serii Advances in Intelligent Systems and Computing, 345–356. Springer, 2014.
  38. Zieliński C., Kornuta T., Winiarski T., A systematic method of designing control systems for service and field robots. 19th IEEE International Conference on Methods and Models in Automation and Robotics, MMAR, 1–14. IEEE, 2014.
  39. Zieliński C., Stefańczyk M., Kornuta T., Figat M., Dudek W., Szynkiewicz W., Kasprzak W., Figat J., Szlenk M., Winiarski T., Banachowicz K., Zielińska T., Tsardoulias E.G., Symeonidis A.L., Psomopoulos F.E., Kintsakis A.M., Mitkas P.A., Thallas A., Reppou SE., Karagiannis G.T., Panayiotou K., Prunet V., Serrano M., Merlet J.-P., Arampatzis S., Giokas A., Penteridis L., Trochidis I., Daney D., Iturburu M., Variable structure robot control systems: The RAPP approach. „Robotics and Autonomous Systems”, Vol. 94, 2017, 226–244, DOI: 10.1016/j.robot.2017.05.002.
  40. Zieliński C., Winiarski T., Kornuta T., Agent-based structures of robot systems. J. Kacprzyk, et al. (eds), Trends in Advanced Intelligent Control, Optimization and Automation, Vol. 577 AISC, 493–502, 2017, DOI: 10.1007/978-3-319-60699-6_48.