GENESIS OF RISKS OF ARTIFICIAL INTELLIGENCE AND THEIR IMPLEMENTATION IN AUTONOMOUS SYSTEMS FOR RESPONSIBLE PURPOSE

Cover Page

Cite item

Full Text

Abstract

Background. Much research on artificial intelligence (AI) since its inception has been devoted to exploring a variety of problems and approaches for autonomous operation in application areas related to human health and life. The article is devoted to describing the origin of risks, systematizing the ways they manifest themselves in order to build systems for responsible purposes. Materials and methods. Since research in this area is not yet based on extensive implementation experience, the sources of risks discussed are a generalization of expert assessments of authoritative developers and are given as an example of autonomous weapons systems. Results. The main sources of risks and the trajectories of their development for various variants of cause-and-effect transformation have been identified. Conclusions. Directions for improving the processes of testing and debugging autonomous systems for critical purposes are formulated from the point of view of development and formation of application risks.

About the authors

Oleg V. Prokofiev

Penza State Technological University

Author for correspondence.
Email: prokof_ow@mail.ru

Candidate of technical sciences, associate professor, associate professor of the sub-department of informational technologies and systems

(1a/11 Baydukov passage/Gagarin street, Penza, Russia)

References

  1. Boulanin V., Saalman L., Topychkanov P. et al. Artificial Intelligence, Strategic Stability and Nuclear Risk. 2020. Available at: https://www.sipri.org/sites/default/files/2020-06/artificial_intelligence_strategic_stability_and_nuclear_ risk.pdf
  2. Saalman L. (ed.). Integrating Cybersecurity and Critical Infrastructure. National, Regional and International Approaches. 2018. Available at: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
  3. Boulanin V. (ed.). The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. Vol. I. Euro-Atlantic Perspectives. 2020. Available at: https://www.sipri.org/publications/2020/other-publications/artificial-intelligence- strategic-stability-and-nuclear-risk
  4. Boulanin V., Verbruggen M. Mapping the Development of Autonomy in Weapon Systems. 2020. Available at: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
  5. Boulanin V., Bruun L., Goussac N. Autonomous Weapon Systems and International Humanitarian Law. Identifying Limits and the Required Type and Degree of Human–Machine Interaction. 2021. Available at: https://www.sipri.org/sites/default/files/2021-06/2106_aws_and_ihl_0.pdf
  6. Saalman L., Su F., Saveleva Dovgal L. Cyber Posture Trends in China, Russia, the United States and the European Union. 2022. Available at: https://www.sipri.org/sites/default/files/2022-12/2212_cyber_postures_0.pdf
  7. Boulanin V. Mapping the development of autonomy in weapon systems. A primer on autonomy. 2017. Available at: https://www.sipri.org/sites/default/files/Mapping-development-autonomy-in-weapon-systems.pdf
  8. Boulanin V., Goussac N., Bruun L., Richards L. Responsible Military Use of Artificial Intelligence. Can the European Union Lead the Way in Developing Best Practice? 2020. Available at: https://www.sipri.org/publications/ 2020/other-publications/responsible-military-use-artificial-intelligence-can-european-union-lead-way-developing- best
  9. Boulanin V., Brockmann K., Richards L. Responsible Artificial Intelligence Research And Innovation For International Peace And Security. 2020. Available at: https://www.sipri.org/sites/default/files/2020-11/sipri_report_responsible_ artificial_intelligence_research_and_innovation_for_international_peace_and_security_2011.pdf
  10. Bromley M., Maletta G. The Challenge of Software and Technology Transfers to Non-Proliferation Efforts. Implementing and Complying with Export Controls. 2018. Available at: https://www.sipri.org/publications/ 2018/other-publications/challenge-software-and-technology-transfers-non-proliferation-efforts-implementing- and-complying
  11. Su F., Boulanin V., Turell J. Cyber-incident Management Identifying and Dealing with the Risk of Escalation. 2020. IPRI Policy Paper No. 55. Available at: https://www.sipri.org/publications/2020/sipri-policy-papers/cyberincident- management-identifying-and-dealing-risk-escalation
  12. Morgan F.E., Boudreaux B., Lohn A.J. et al. Military Applications of Artificial Intelligence Ethical Concerns in an Uncertain World. RAND Corporation, 2020:202. Available at: https://www.rand.org/pubs/research_reports/ RR3139-1.html
  13. Ruhl Ch. Autonomous weapon systems and military artificial intelligence (AI) applications report. 2022. Available at: https://www.founderspledge.com/research/autonomous-weapon-systems-and-military-artificial-intelligence-ai
  14. Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter. Future of Life Institute. Available at: https://futureoflife.org/data/documents/research_priorities.pdf (data obrashcheniya: 09.03.2024).
  15. Marr B. The 15 Biggest Risks Of Artificial Intelligence. Available at: https://www.forbes.com/sites/bernardmarr/ 2023/06/02/the-15-biggest-risks-of-artificial-intelligence/?sh=20c095a92706
  16. Pause Giant AI Experiments: An Open Letter. Available at: https://futureoflife.org/open-letter/pause-giant-ai-experiments/
  17. AI Ethics Code. Available at: https://ethics.a-ai.ru/ (accessed 09.03.2024).
  18. Delaborde A. Risk assessment of artificial intelligence in autonomous machines. 1st international workshop on Evaluating Progress in Artificial Intelligence (EPAI 2020) in conjunction with ECAI. Available at: 2020. https://hal.science/hal-03009978
  19. ICRC position on autonomous weapon systems. International Committee of the Red Cross. Available at: https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems
  20. Macrae C. Learning from the Failure of Autonomous and Intelligent Systems: Accidents, Safety and Sociotechnical Sources of Risk. SSRN Electronic Journal. 2021. doi: 10.2139/ssrn.3832621
  21. Hindriks F., Veluwenkamp H. The risks of autonomous machines: from responsibility gaps to control gaps. Synthese. 2023;201. doi: 10.1007/s11229-022-04001-5
  22. Radanliev P., De Roure D., Maple C. et al. Super forecasting the technological singularity risks from artificial intelligence. Evolving Systems. 2022;13:747–757. doi: 10.1007/s12530-022-09431-7
  23. The risks of Lethal Autonomous Weapons. The Future of Life Institute. Available at: https://autonomousweapons. org/the-risks
  24. Asilomar AI Principles. The Future of Life Institute. Available at: https://futureoflife.org/open-letter/ai-principles/
  25. Artificial Intelligence Risk & Governance. By Artificial Intelligence/Machine Learning Risk & Security Working Group (AIRS). The Wharton School, The University of Pennsylvania, 2024. Available at: https://ai.wharton.upenn. edu/white-paper/artificial-intelligence-risk-governance/
  26. Skelton S.K. AI experts question tech industry’s ethical commitments. TechTarget, 2024. Available at: https://www.computerweekly.com/feature/AI-experts-question-tech-industrys-ethical-commitments
  27. Ivanov A.I., Ivanov A.P., Savinov K.N., Eremenko R.V. Virtual enhancement of the effect of parallelization of computing during the transition from binary neurons to the use of q-ary artificial neurons. Nadezhnost’ i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022;(4):89–97. (In Russ.)
  28. Shirinkina E.V. The mechanism of application of artificial intelligence in teaching. Nadezhnost’ i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022. № 4. S. 24–30. (In Russ.)

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».