Доверие к технологиям искусственного интеллекта

Обложка

Цитировать

Полный текст

Аннотация

Доверие к искусственному интеллекту является ключевым фактором широкого внедрения интеллектуальных технологий в экономику и социальную сферу. В статье рассматриваются различные аспекты данной проблемы. Это доверие к знаниям и данным, к моделям искусственного интеллекта и машинного обучения; риски и границы применимости используемых методов и технологий; объяснимость выдаваемых решений и человеко-ориентированность искусственного интеллекта; первичная валидация и вторичная валидация (верификация) создаваемых систем; галлюцинации и фальсификации ChatGPT; этические, юридические и организационные аспекты применения искусственного интеллекта.

Об авторах

Борис Аркадьевич Кобринский

Федеральный исследовательский центр «Информатика и управление» РАН; Российский национальный исследовательский медицинский университет им. Н.И. Пирогова

Автор, ответственный за переписку.
Email: kba_05@mail.ru

доктор медицинских наук, профессор, заслуженный деятель науки Российской Федерации, заведующий отделом систем интеллектуальной поддержки принятия решений; профессор кафедры медицинской кибернетики и информатики им. С.А. Гаспаряна

Россия, Москва; Москва

Список литературы

  1. Ethics Guidelines for Trustworthy AI. URL: https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines.1.html (accessed April 12, 2022).
  2. Information technology — Artificial intelligence — Overview of trustworthiness in artificial intelligence. ISO/IEC TR 24028:2020. URL: https://www.iso.org/standard/77608.html (accessed April 12, 2022).
  3. Calegari R., Ciatto G., Denti E., Omicini A. Logic-Based technologies for intelligent systems: State of the art and perspectives // Information. 2020. V. 11. No 3. Article ID 167. doi.org/10.3390/info11030167.
  4. Calegari R., Ciatto G., Mascardi V., Omicini A. Logicbased technologies for multi-agent systems: a systematic literature review // Autonomus Agents and Multi-Agent Systems. 2021. V. 35. Article ID 1. doi.org/10.1007/s10458-020-09478-3.
  5. Negro P., Pons C. Artificial Intelligence techniques based on the integration of symbolic logic and deep neural networks: A systematic review of the literature // Inteligencia Artificial. 2022. V. 25. No 69. P. 13–41. doi.org/10.4114/intartif.vol25iss69pp13-41.
  6. Кобринский Б.А. Принципы построения гибридной медицинской лингво-образной системы // Гибридные и синергетические интеллектуальные системы. Материалы VI Всероссийской Поспеловской конференции с международным участием [Электронный ресурс]: научное электронное издание. Калининград: Издательство БФУ им. И. Канта, 2022. С. 171-177.
  7. О развитии искусственного интеллекта в Российской Федерации // Указ Президента РФ от 10 октября 2019 г. № 490 (с изменениями и дополнениями). URL: https://base.garant.ru/72838946/ (accessed April 20, 2024).
  8. О внесении изменений в Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации» // Указ Президента РФ от 15.02.2024 № 124 (accessed April 20, 2024).
  9. Ларичев О.И. Теория и методы принятия решений. М.: Университетская книга, Логос, 2008. 392 c.
  10. Boehm B.W., Jain A. An initial theory of value-based software engineering // Value-based software engineering. Berlin, Heidelberg: Springer-Verlag, 2006. P. 15-37.
  11. Norsaremah S., Mendes E., Mendes F., Lekamlage Ch.D., Petersen K. Value-based software engineering: A systematic mapping study // e-Informatica software engineering journal. 2023. V. 17. No 1. Article ID 230106. doi: 10.37190/e-Inf230106 230106.
  12. Arioua A., Buche P., Croitoru M. Explanatory dialogs with argumentative faculties over inconsistent knowledge bases // Expert systems with applications. 2017. V. 80. No C. P. 244-262. doi.org/10.1016/j.eswa.2017.03.009.
  13. Финн В.К. Искусственный интеллект: Методология, применения, философия. Изд. 2-е, испр. и доп. М.: ЛЕНАНД, 2021. 468 с.
  14. Born J., Beymer D., Rajan D., Coy A., Mukherjee V.V., Manica M., et al. On the role of artificial intelligence in medical imaging of COVID-19 // Patterns. 2021. V. 2. No 6. Article ID 100269. doi: 10.1016/j.patter.2021.100269.
  15. Geraci J. Shattering cancer with quantum machine learning: A preview // Patterns. 2021. V. 2. No 6. P. 1-2. doi.org/10.1016/j.patter.2021.100281.
  16. Holzinger A., Müller H. Toward Human-AI interfaces to support explainability and causability in medical AI // Computer. 2021. V. 54. No 10. P. 78-86. doi: 10.1109/MC.2021.3092610.
  17. Phillips P.J., Hahn C.A., Fontana P.C., Broniatowski D.A., Przybocki M.A. Four principles of explainable artificial intelligence // National institute of standards and technology. Draft NISTIR 8312. 2020. URL: https://www.nist.gov/system/files/documents/2020/08/17/NIST%20Explainable%20AI%20Draft%20NISTIR8312%20%281%29.pdf (accessed January 30, 2024).
  18. Langer M., Oster D., Speith T., et al. What Do We Want from Explainable Artificial Intelligence (XAI)? A Stakeholder Perspective on XAI and a Conceptual Model Guiding Interdisciplinary XAI Research // Artificial Intelligence. 2021. V. 296. No 3. Article ID 103473. doi: 10.1016/j.artint.2021.103473.
  19. Marsala Ch., Bouchon-Meunier B. Fuzzy data mining and management of interpretable and subjective information // Fuzzy sets and systems. 2015. V. 281. P. 252-259. doi: 10.1016/j.fss.2015.08.021.
  20. Bouchon-Meunier B., Lesot M.J., Marsala C. Lotfi A. Zadeh, the visionary in explainable artificial intelligence // Turkic World Mathematical Society Journal and Applied Mathematics. 2021. V. 12. No 1, Special Issue. P. 5-13.
  21. Rifqi M., Bothorel S., Bouchon-Meunier B., Muller S. Similarity and prototype-based approach for classification of microcalcifications // Proceedings of the 7th IFSA World Congress. Prague. 1997. P. 123-128.
  22. Lurie A., Hartley S., Bouchon-Meunier B., Dusser D. Patients’ perception of astma severity // Respiratory Medicine. 2007. V. 101. No 10. P. 2145-2152. doi: 10.1016/j.rmed.2007.05.027.
  23. McKinsey & Company, Atlanta, GA, USA, 2021. URL: https://www. mckinsey.com/business-functions/mckinseyanalytics/our-insights/global-survey-the-state-of-ai-in2021 (дата обращения: 3 января 2024).
  24. Morrison R. WHO urges caution over use of generative AI in healthcare // Tech Monitor May 16, 2023. URL: https://techmonitor.ai/technology/ai-and-automation/ai-inhealthcare-who (accessed May 31, 2024).
  25. Гусев А.В., Астапенко Е.М., Иванов И.В., Зарубина Т.В., Кобринский Б.А. Принципы формирования доверия к системам искусственного интеллекта для сферы здравоохранения // Вестник Росздравнадзора. 2022. № 2. С. 25–33.
  26. Petersen E., Holm S., Ganz M., Feragen A. The path toward equal performance in medical machine learning // Patterns. 2023. V. 4. No 7. Article ID 100790. doi: 10.1016/j.patter.2023.100790.
  27. Larrazabal A.J, Nieto N., Peterson V., Milone D.H, Ferrante E. Gender imbalance in medical imaging datasets produces biased classifiers for computer-aided diagnosis // Proceedings of the National Academy of Sciences of the United States of America. 2020. V. 117. No 23. P. 12592-12594. doi: 10.1073/pnas.1919012117.
  28. Motwani A., Shukla P.K., Pawar M. Ubiquitous and smart healthcare monitoring frameworks based on machine learning: A comprehensive review // Artificial Intelligence in Medicine. 2022. V. 134. No C. Article ID 102431. doi.org/10.1016/j.artmed.2022.102431.
  29. Xu J., Xiao Y., Wang W.H., Ning Y., Shenkman E.A., Bian J., Wang F. Algorithmic fairness in computational medicine // eBioMedicine. 2022. V. 84. No 3. Article ID 104250. doi: 10.1016/j.ebiom.2022.104250.
  30. Wynants L., Van Calster B, Collins G. S., Riley R. D., Heinze G., Schuit E. et al. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal // BMJ. 2020. V. 369. Article ID m1328. doi: 10.1136/bmj.m1328.
  31. Roberts M., Driggs D., Thorpe M., Gilbey J., Yeung M., Ursprung S. et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans // Nature Machine Intelligence. 2021. V. 3. P. 199–217. doi.org/10.1038/s42256-021-00307-0.
  32. Wong A., Otles E., Donnelly J.P., Krumm A., McCullough J., DeTroyer-Cooley O. et al. External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients // JAMA Internal Medicine. 2021. V. 181. No 8. Article ID 1144. doi: 10.1001/jamainternmed.2021.2626.
  33. Tahaei M., Constantinides M., Quercia D., Muller M. A Systematic literature review of human-centered, ethical, and responsible AI // arXiv. 2023. Article ID 2302.05284v3. doi.org/10.48550/arXiv.2302.05284.
  34. Cheruvu R. Unconventional concerns for human-centered artificial intelligence // Computer. 2022. V. 55. No 7. P. 46-55. doi: 10.1109/MC.2022.3170423.
  35. Shneiderman B. Human-centered artificial intelligence: reliable, safe & trustworthy // arXiv. 2020. Article ID 2002.04087v2. doi.org/10.48550/arXiv.2002.04087.
  36. Steyerberg E.W., Vergouwe Y. Towards better clinical prediction models: Seven steps for development and an ABCD for validation // European Heart Journal. 2014. V. 35. No. 29. P. 1925–1931. doi: 10.1093/eurheartj/ehu207.
  37. Yoon J.H., Pinsky M.R., Clermont G. Artificial Intelligence in Critical Care Medicine // Critical care. 2022. V. 26. Article ID 75. doi.org/10.1186/s13054-022-03915-3.
  38. Scheek D., Rezazade Mehrizi M.H., Ranschaert E. Radiologists in the loop: The roles of radiologists in the development of AI applications // European radiology. 2021. V. 31. No 10. P. 7960-7968. doi: 10.1007/s00330-021-07879-w.
  39. Recht M.P., Dewey M., Dreyer K., et al. Integrating artificial intelligence into the clinical practice of radiology: challenges and recommendations // European radiology. 2020. V. 30. No 6. P. 3576–3584. doi.org/10.1007/s00330-020-06672-5.
  40. Van Assen M., Lee S.J., De Cecco C.N. Artificial intelligence from A to Z: from neural network to legal framework // European Journal of Radiology. 2020. V. 129. Article ID 109083. doi.org/10.1016/j.ejrad.2020.109083.
  41. Wiggins W.F., Caton M.T., Magudia K., et al. Preparing radiologists to lead in the era of artificial intelligence: designing and implementing a focused data science pathway for senior radiology residents // Radiology: Artificial Intelligence. 2020. V. 2. No 6. Article ID e200057. doi.org/10.1148/ryai.2020200057.
  42. Winter P., Carusi A. ‘If you’re going to trust the machine, then that trust has got to be based on something’: Validation and the co-constitution of trust in developing artificial intelligence (AI) for the early diagnosis of pulmonary hypertension (PH) // Science & Technology Studies. 2022. V. 35. No 4. Р. 58-77. doi.org/10.23987/sts.102198.
  43. Шадеркин И.А. Слабые стороны искусственного интеллекта в медицине // Российский журнал телемедицины и электронного здравоохранения. 2021. Т. 7. № 2. С. 50-52. doi.org/10.29188/2712-9217-2021-7-2-50-52.
  44. Kumar M., Mani U.A., Tripathi P., Saalim M., Roy S. Artificial hallucinations by google bard: Think before you leap // Cureus. 2023. V. 15. No 8. Article ID e43313. doi: 10.7759/cureus.43313.
  45. Ji Z., Lee N., Frieske R., Yu T., Su D., Xu Y.б et al. Survey of hallucination in natural language generation // arXiv. 2024. Article ID 2202.03629v6. doi.org/10.48550/arXiv.2202.03629.
  46. Alkaissi H., McFarlane S. Artificial hallucinations in ChatGPT: Implications in scientific writing // Cureus. 2023. V. 15. No 2. Article ID e35179. doi: 10.7759/cureus.35179.
  47. Emsley R. ChatGPT: these are not hallucinations – they’re fabrications and falsifications // Schizophrenia. 2023. V. 9. No 1. Article ID 52. doi.org/10.1038/s41537-023-00379-4.
  48. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения // ГОСТ Р 592762020. 2020. URL: https://protect.gost.ru/v.aspx?control=8&baseC=1&page=0&month=-1&year=1&search=&RegNum=1&DocOnPageCount=15&id=229230&pageK=2B37ADDB-BC6E-49CA-BA3A-9BADD9DF859F (дата обращения 20 марта 2024).
  49. Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology (US). 2023. 42 p. doi.org/10.6028/NIST.AI.100-1 (accessed March 22, 2024).
  50. Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities. Washington GAO@100. 112 p. URL: https://www.gao.gov/products/gao-21-519sp (accessed April 12, 2024).
  51. The Assesment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment. European Commission. B1049 Brussels, 2020. URL: https://digital-strategy.ec.europa.eu/en/library/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment (accessed April 10, 2024).
  52. Азиломарские принципы искусственного интеллекта // RoboTrends. 2017. URL: https://robotrends.ru/pub/1737/azilomarskie-principyiskusstvennogo-intellekta (дата обращения 10 апреля 2024).
  53. Кодекс этики в сфере искусственного интеллекта. 2021. URL: https://ethics.a-ai.ru (дата обращения 20 января 2024).
  54. Information technology – Artificial intelligence – Guidance on risk management // ISO/IEC 23894:2023. 2023. URL: https://www.iso.org/obp/ui/en/#iso:std:iso-iec:23894:ed1:v1:en (accessed April 2, 2024).
  55. Recommendation of the Council on Artificial Intelligence. 2024. Legal Instruments // OECD/LEGAL/0449. URL: https://legalinstruments.oecd.org/en/instruments/oecd-legal-0449 (accessed May 31, 2024).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».