О разделении ответственности за ошибки эксплуатации робототехнических систем

Обложка

Цитировать

Полный текст

Аннотация

Актуальность выбора предмета исследования как основы обеспечения безопасности применения робототехнических систем различного назначения, в первую очередь – использующих для управления искусственный интеллект, и объекта исследования, которым являются проблемы разделения ответственности за разработку и эксплуатацию робототехнических систем, определяется имеющимся противоречием между потребностью автономного применения робототехнических систем и сложностью программной реализации этого требования. В то же время, в робототехнике, довольно часто, именно ошибки алгоритмов управления служат источником большинства проблем. На основании анализа нормативных документов, регламентирующих разработку средств искусственного интеллекта, проанализированы возможные проблемы обеспечения безопасности применения автономных робототехнических систем. Синтезирован вывод, что в существующем состоянии данные документы не обеспечивают решения проблемы безопасности систем искусственного интеллекта.  В качестве методологической основы исследования был избран системный подход. Использование системного подхода, методов декомпозиции и сравнительного анализа, дало возможность рассматривать в комплексе проблемы разделения зон ответственности разработчиков и эксплуатантов автономных и частично автономных роботов, реализующих принципы управления на основе искусственного интеллекта. Источниковую базу исследования составили научные статьи, нормативные и законодательные документы, находящиеся в открытом доступе. Сделан вывод, что существующие подходы к обучению и самообучению систем искусственного интеллекта, управляющих автономными роботами “размывают” границы ответственности участников процесса, что, в теории, может приводить к возникновению критических ситуаций при эксплуатации. С учётом этого, на основе анализа типового процесса разработки и применения, предложено уточнить распределение ответственности, а также добавить в процесс новых участников: дополнить его специалистами, направленно занимающимися безопасностью и непредвзятостью искусственного интеллекта (AI Alignment), а таже обеспечить групповой подход в разработке алгоритмов искусственного интелелкта и машинного обучения, обеспечивающий снижение фактора субъективности. Применение синтезированых в статье принципов разделения ответственности, теоретически, обеспечит повышение безопасности робототехнических систем, построенных на основе использования искусственного интеллекта

Об авторах

Олег Васильевич Тиханычев

ГК "Техносерв"

Email: to.technoserv@gmail.com
ORCID iD: 0000-0003-4759-2931
заместитель начальника отдела управления перспективных разработок;

Список литературы

  1. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. 2018. № 2. С. 50-59. doi: 10.25136/2409-7543.2018.2.22737 URL: https://e-notabene.ru/nb/article_22737.html
  2. John W. Tammen NATO Basic Concept of Warfare: Looking Ahead – The Changing Nature of Warfare // NATO Review. 2021 URL: https://www.nato.int/docu/review/ru/articles/2021/07/09/bazovaya-kontseptsiya-boevyh-dejstvij-nato-v-perspektive-menyayushchijsya-harakter-vojny/index.html.
  3. Хрипунов С.П., Чиров Д.С., Благодарящев И.В. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422. URL: https://e-notabene.ru/tumag/article_67141.html
  4. Pflimlin É Drones et robots: La guerre des futurs. France: Levallois-Perret. 2017.
  5. Roosevelt, Ann. Army Directs Cuts, Adjustments, To FCS. Defense Daily. 2017.
  6. Hamilton T How AI will Alter Multi-Domain Warfare // Future Combat Air & Space Capabilities Summit. 2023. No.4. URL: https://www.aerosociety.com/events-calendar/raes-future-combat-air-and-space-capabilities-summit.
  7. Tikhanychev O.V. Exploring Morality and Politeness in the Context of Robotic Systems: A Conceptual Interpretation // BIO Web of Conferences. 2024, No.138. 03020. doi.org/10.1051/bioconf/202413803020.
  8. Beard J. Autonomous weapons and human responsibilities // Georgetown Journal of International Law. 2014. No. 45, рр. 617–681.
  9. Schuller A. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International Humanitarian Law // Harvard National Security Journal. 2017. No. 8. pp. 379-425.
  10. Ухоботов В.И., Изместьев И.В. Об одной задаче преследования при наличии сопротивлении среды // Вестник Южно-Уральского государственного университета. Серия «Математика. Механика. Физика». 2016. № 8(2). С. 62-66. doi.org/10.14529/mmph160208.
  11. Tikhanychev O.V. Self-Check System of Heuristic Algorithms as a "New Moral" of Intelligent Systems // AIP Conference Proceedings. 2023. No. 2700. 040028 https://doi.org/10.1063/5.0124956.
  12. Ćwiąkała P. Testing Procedure of Unmanned Aerial Vehicles (UAVs) Trajectory in Automatic Missions // Applied Science. 2019. No. 9. pp. 3488. doi.org/10.3390/app9173488.
  13. Johnson D Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. 2016. No. 8. pp. 195-204. doi.org/10.1007/s10676-006-9111.
  14. Дубанов А.А. Моделирование траектории преследователя в пространстве при методе параллельного сближения // Программные системы и вычислительные методы. 2021. № 2. С. 1-10. doi.org/10.7256/2454-0714.2021.2.36014.
  15. Tikhanychev O.V. Development of situational algorithms for the use of robotic systems // E3S Web of Conferences. 2024. No. 531. 02004. doi.org/10.1051/e3sconf/202453102004.
  16. Курденкова Е.О., Черепнина М.С., Чистякова А.С., Архипенко К.В. Влияние трансформаций на успешность состязательных атак для классификаторов изображений Clipped BagNet и ResNet. Труды ИСП РАН, том 34. Вып. 6. 2022. C. 101-116. doi.org/10.15514/ISPRAS-2022-34(6)-7.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».