Зрительные цели и нейронные сети

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Цель данного обзора – представить результаты собственных исследований нейронных сетей, обеспечивающих обнаружение и принятие решений при распознавании «повседневных» зрительных целей: лиц, букв, текста, порядка в хаосе. Цифровые методы синтеза и обработки изображений позволили синтезировать калиброванные наборы тестовых изображений, имитирующих зрительные сцены. Данные сцены содержат цели и помехи с заданными статистическими, пространственными и временными характеристиками, избирательно активирующие или тормозящие модули крупномасштабных нейронных сетей головного мозга человека. Показано, как взаимодействуют сети, представляющие фовеолярное и макулярное зрение. В результате работы оппонентных нейронных сетей префронтальной коры происходит принятие решений при распознавании целей. Каждая из крупномасштабных нейронных сетей мозга вовлекается в различные комбинации, обеспечивающие целенаправленную деятельность человека. Рассмотрена работа механизмов локального и глобального анализа сцен при поиске целей: распознавании текста, мимики и поворота лиц, матриц элементов Габора с разной степенью упорядоченности. На основе сверточных, диффузионных и генеративных нейронных сетей построены модели этих механизмов. Показано влияние статистических свойств изображений и их внутреннего контента на принятие решений человеком и машиной. Показаны пути развития психофизиологических исследований организации и деятельности крупномасштабных нейронных сетей «зрительной» системы человека.

Об авторах

Ю. Е. Шелепин

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН; Институт когнитивных наук и нейротехнологий ФГБУ “НМИЦ ПН им. В. П. Сербского” Минздрава России

Email: shelepin-yuri@infran.ru
Санкт-Петербург, 199034 Россия; Москва, 119034 Россия

О. В. Жукова

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: volgazhukova@gmail.com
Санкт-Петербург, 199034 Россия

Е. Ю. Шелепин

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: shelepiney@infran.ru
Санкт-Петербург, 199034 Россия

А. К. Хараузов

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: harauzov@infran.ru
Санкт-Петербург, 199034 Россия

К. Ю. Шелепин

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН; Институт когнитивных наук и нейротехнологий ФГБУ “НМИЦ ПН им. В. П. Сербского” Минздрава России

Email: shelepinky@infran.ru
Санкт-Петербург, 199034 Россия; Москва, 119034 Россия

К. Ю. Малахова

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: katerina@infran.ru
Санкт-Петербург, 199034 Россия

С. В. Пронин

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: proninsv@infran.ru
Санкт-Петербург, 199034 Россия

В. Н. Чихман

Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова РАН

Email: chikhmanvn@infran.ru
Санкт-Петербург, 199034 Россия

Список литературы

  1. Бехтерев В.М. Проводящие пути головного и спинного мозга. Казань. Императорский Казанский университет. 1893. 388 с.
  2. Вахрамеева О.А., Шелепин Ю.Е., Мезен- цев А.Ю., Пронин С.В. Изучение восприятия неполных контурных изображений различного размера // Российский физиологический журнал им. И.М. Сеченова. 2008. Т. 94. № 10. C. 1158–1170.
  3. Вахрамеева О.А., Сухинин М.В., Моисеенко Г.А. и др. Изучение порогов восприятия в зависимости от геометрии фовеа // Сенсорные системы. 2013. Т. 27. № 2. С. 122–129.
  4. Вахрамеева О.А., Хараузов А.К., Пронин С.В. и др. Зрительный прайминг при распознавании мелких изображений в сцене, содержащей объекты разного размера // Физиология человека. 2016. Т. 42. № 5. С. 39–48.
  5. Глезер В.Д. Зрение и мышление. Л.: Наука. 1993. 284 с.
  6. Данилова М.В., Моллон Д.Д. Кортикальная иконика: как зрительные стимулы представлены в мозге человека? // Оптический журнал. 2018. Т. 85. № 8. С. 87–94.
  7. Жукова (Борачук) О.В., Шелепин Ю.Е., Хараузов А.К. и др. Исследование влияния роли инструкции наблюдателю в задачах распознавания эмоционально окрашенных образов // Оптический журнал. 2015. Т. 82. № 10. С. 43–52.
  8. Жукова О.В., Васильев П.П. Перестройка нейронной сети и изменение стратегий операторов в процессе распознавания изображений лиц // Оптический журнал. 2020. Т. 87. № 10. С. 25–37
  9. Жукова О.В., Малахова Е.Ю., Шелепин Ю.Е. Джоконда и неопределенность распознавания улыбки человеком и искусственной нейронной сетью // Оптический журнал. 2019. Т. 86. № 11. С. 40–50.
  10. Кок Е.П. Зрительные агнозии: Синдромы расстройств высших зрительных функций при односторонних поражениях височно-затылочной и теменно-затылочной области мозга. Л.: Медицина, 1967. 224 с.
  11. Кононова Е.П. Анатомия и физиология затылочных долей на основании клинических, патологоанатомических и экспериментальных данных. М.: Изд-во МГУ, 1926. 147 с.
  12. Кононова Е.П. Лобная область большого мозга. Л.: Медгиз, 1962. 176 с.
  13. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Применение принципов оптимального наблюдателя при моделировании зрительной системы человека // Оптический журнал. 1999. Т. 66. № 9. С. 17–24.
  14. Ламминпия А.М., Вахрамеева О.А., Райт Д.В. и др. Влияние вейвлетной фильтрации изображений текстов на характеристики движений глаз при чтении // Сенсорные системы. 2013. Т. 27. № 1. С. 3–9.
  15. Ламминпия А.М., Моисеенко Г.А., Вахраме- ева О.А. и др. Изучение связи характеристик движений глаз с геометрией фовеа // Физиология человека. 2016. Т. 42. № 4. С. 32–37.
  16. Малахова Е.Ю. Визуализация информации, кодируемой нейронами высших областей зрительной системы // Оптический журнал. 2018. Т. 85. № 8. С. 61–66.
  17. Малахова Е.Ю. Пространство описания зрительной сцены в искусственных и биологических нейронных сетях // Оптический журнал. 2020. Т. 87. № 10. С. 50–58.
  18. Малахова К.Ю., Шелепин К.Ю., Шелепин Ю.Е. Обнаружение и распознавание изображений в условиях помехи // Оптический журнал. 2024. Т. 91. № 8. С. 60–74.
  19. Огородникова Е.А., Столярова Э.И., Баляко- ва А.А. Особенности слухоречевой сегментации у детей школьного возраста с нормальным слухом и нарушениями слуха и речи // Сенсорные системы. 2012. Т. 26. № 1. С. 20–31.
  20. Подвигин Н.Ф., Макаров Ф.Н., Шелепин Ю.Е. Структурно-функциональная организация зрительной и глазодвигательной систем. Л.: Наука, 1986. 252 с.
  21. Скуратова К.А., Шелепин Е.Ю., Малашин Р.О., Шелепин Ю.Е. Анализ изображений и поиск ошибок в текстах исходного программного кода // Оптический журнал. 2022. Т. 89. № 8. С. 64–75.
  22. Скуратова К.А., Шелепин Е.Ю., Яровая Н.П. Оптический поиск и зрительный навык // Оптический журнал. 2021. Т. 88. № 12. С. 28–35.
  23. Хараузов А.К., Васильев П.П., Соколов А.В. и др. Восприятие изображений в задачах зрительного поиска в условиях динамической помехи // Оптический журнал. 2015. Т. 82. № 5. С. 42–55.
  24. Хараузов А.К., Васильев П.П., Соколов А.В. и др. Анализ изображений функциональной магнитно-резонансной томографии головного мозга человека в задачах распознавания текстур // Оптический журн. 2018. Т. 85. № 8. С. 22–28.
  25. Хараузов А.К., Иванова Л.Е., Васильев П.П., Подвигина Д.Н.. фМРТ исследования оппонентных взаимодействий между областями головного мозга обезьян Macaca Mulatta // Журнал эволюционной биохимии и физиологии. 2022. Т. 58. № 4. С. 311–322.
  26. Хараузов А.К., Иванова Л.Е., Подвигина Д.Н. Томографические и электрофизиологические исследования оппонентных взаимодействий между различными областями мозга у обезьян макак-резусов // Сб. тезисов XXIV Съезда физиологического общества им. И.П. Павлова. Санкт-Петербург, 2023. С. 590.
  27. Чихман В.Н., Шелепин Ю.Е., Пронин С.В. Экспериментальное исследование инвариантного восприятия вейвлетных изображений // Оптический журнал. 2011. Т. 78. № 12. С. 50–56.
  28. Шелепин Е.Ю., Скуратова К.А. Движения глаз // Российский психологический журнал. 2024. №12, с. 168–194.
  29. Шелепин Е.Ю., Скуратова К.А. Глобальные и локальные механизмы восприятия «составных букв» // Оптический журнал. 2020. Т. 87. № 10. С. 81–88.
  30. Шелепин Е.Ю. Оптимизация контента сайта в обучающем процессе // Оптический журнал. 2018. Т. 85. № 8. С. 95–98.
  31. Шелепин Е.Ю., Жукова О.В., Пронин С.В. и др. Общность алгоритмов движений глаз, обеспечивающих распознавание жанровых сцен в текстах и в изображениях // Оптический журнал. 2019. Т. 86. № 11. С. 79–89.
  32. Шелепин Ю.Е. Введение в нейроиконику. СПб.: Троицкий мост, 2017. 350 с.
  33. Шелепин Ю.Е., Колесникова Л.Н., Левко- вич Ю.И. Визоконтрастометрия. Л.: Наука, 1985. 105 с.
  34. Шелепин Ю.Е., Луцив В.Р., Коротаев В.В. Оптические технологии и зрительная картина мира: иконика и нейроиконика // Оптический журнал. 2022. Т. 89. № 8. С. 3–7.
  35. Шелепин Ю.Е., Чихман В.Н., Пронин С.В., Фореман Н. Локальный и глобальный анализ в зрительной системе. Глава 15 в кн.: Современная психофизика. 2009. М.: Изд. ИП РАН. С. 310–334.
  36. Шелепин Ю.Е., Фокин В.А., Хараузов А.К. и др. Нейроиконика – пространственно-временное картирование активных областей головного мозга при распознавании изображений // Оптический журнал. 2011. Т. 78. № 12. С. 57–69.
  37. Шелепин Ю.Е., Фокин В.А., Меньшикова С.В. и др. Методы иконики и методы картирования мозга в оценке функционального состояния зрительной системы // Сенсорные системы. 2014. Т. 28. № 2. C. 61–75.
  38. Шелепин Ю.Е., Фокин В.А., Хараузов А.К., Пронин С.В., Чихман В.Н. Локализация центра принятия решений при восприятии формы зрительных стимулов // Доклады Российской Академии наук. 2009. Т. 429. № 6. С. 1–3.
  39. Шелепин Ю.Е., Хараузов А.К., Жукова О.В. и др. Маскировка и обнаружение скрытых сигналов в динамических изображениях // Оптический журнал. 2020. Т. 87. № 10. С. 89–102.
  40. Шелепин Ю.Е., Шелепин Е.Ю., Бондарко В.М., Чихман В.Н., Бондарко Д.В. Структурно-функциональная организация зрительной системы в обеспечении целенаправленной деятельности // Успехи физиологических наук. 2024. Т. 55. № 3. С. 3–21.
  41. Atilgan H., Town S., Wood K. et al. Integration of Visual Information in Auditory Cortex Promotes Auditory Scene Analysis through Multisensory Binding // Neuron. 2018. 97. P. 640–655.
  42. Borachuk (Zhukova) O.V., Shelepin Yu.E., Kharauzov A.K. et al. Study of the influence of the role of the instruction to the observer in tasks of recognizing emotionally colored patterns // Journal of Optical Technology. 2015. Vol. 82. Issue 10. P. 678–684.
  43. Chikhman V., Shelepin Y., Foreman N., Merku-ljev A., & Pronin S. 2006. Incomplete Figure Perception and Invisible Masking // Perception. 2006. 35(11). P. 1441–1457.
  44. Danilova M.V., Mollon J.D., Cerebral iconics: how are visual stimuli represented centrally in the human brain? (Кортикальная иконика: механизмы сенсорных сравнений в мозге человека) [на англ. яз.] // Оптический журнал. 2018. Т. 85. № 8. с. 87–94.
  45. Danilova M., Takahashi C, Mollon J., Separation in the visual field has divergent effects on discriminating the speed and the direction of motion // Current Biology. 2020. V. 30. P. 1233–1255.
  46. Danilova M.V., Takahashi C., Mollon J.D. How does the human visual system compare the speeds of spatially separated objects? // PLoS One. 2020. V. 15(4). e0231959.
  47. Harauzov A.K., Shelepin Y.E., Noskov Y.A., Vasilev P.P., Foreman N.P. // The time course of pattern discrimination in the human brain // Vision Research. 2016. V. 125. P. 55–63.
  48. Janelle F., Iorio-Morin C., D’amour and For- tin D. Superior Longitudinal Fasciculus: A Review of the Anatomical Descriptions With Functional Correlates // Front. Neurol. 2022. C. 1–12. 13:794618.
  49. Jang H., McCormack D., Tong F. Noise-trained deep neural networks effectively predict human vision and its neural responses to challenging images // PLoS Biol. 2021. V. 19(12). P. e3001418.
  50. Jellison B.J., Field A.S., Medow J., Lazar M., Salamat M.S., Alexander A.L. Diffusion tensor imaging of cerebral white matter: A pictorial review of physics, fiber tract anatomy // AJNR Am. J. Neuroradiol. 2004.
  51. Kamali A., Flanders A.E., Brody J., Hun- ter J.V., Hasan K.M. Tracing superior longitudinal fasciculus connectivity in the human brain using high resolution diffusion tensor tractography // Brain Struct Funct. 2013. doi: 10.1007/s00429-012-0498-y
  52. Kinchla R.A. Detecting target elements in multi-element arrays: A confusability model // Perception & Psychophysics. 1974. V. 15. P. 149–158.
  53. Klucharev V.A., Munneke M., Smidts A. and Fernández G. Downregulation of the Posterior Medial Frontal Cortex Prevents Social Confor-mit // Journal of Neuroscience 17 August 2011, 31 (33). P. 11934–11940. https://doi.org/10.1523/JNEUROSCI.1869-11.2011
  54. Lachmann T., Schmitt A., Braet W., Leeuwen C. Letters in the forest: Global precedence effect disappears for letters but not for non-letters under reading-like conditions // Front. Psychol. 2014. V. 5. P. 705.
  55. Lublinskaya V.V., Ross J., Ogorodnikova E.A. The auditory perception and processing of amplitude modulation in speech-like signals: Legacy of the Chistovich-Kozhevnikov group // Dynamics of Speech Production and Perception. Eds: P. Divenyi and G. Meyer. Amsterdam, IOP Press. 2006. P. 87–103
  56. Malakhova E.Yu. Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks // J. Opt. Technol. 2021. 88(12). P. 706–709
  57. Malakhova E.Yu., Shelepin E.Yu., Mala- shin R.O. Temporal data processing from webcam eye tracking using artificial neural networks // Journal of Optical Technology. 2018. 85(3). P. 186–188.
  58. Nam Y., Sato T., Malakhova E., Uchida G., Ullman Sh., Tanifuji M. View-tuned and view-invariant face encoding in IT cortex is explained by selected natural image fragments // Scientific Reports (Nature Portfolio). 2021. № 11. c. 7827.
  59. Navon D. Forest before trees: The precedence of global features in visual perception // Cognitive Psychology. 1977. V. 9. P. 353–383.
  60. Pelli D., Yiltiz H. What internal noise source limits peripheral vision? // Journal of Vision Cover Image for. 2017. V. 17. Issue 10.
  61. Pinna B., Shelepin E.Y., Deiana K. Chromatic accentuation in dyslexia: Useful implications for effective assistive technology // Video and Audio Signal Processing in the context of Neurotechnology. SPCN-2016. St.-Petersburg. Russia. P. 34–36.
  62. Poirel N., Pineau A., Mellet E. What does the nature of the stimuli tell us about the Global Precedence Effect? // Acta Physiol (Oxf). 2008. V. 127. № 1. P. 1–11.
  63. Ptak R. The frontoparietal attention network of the human brain: Action, saliency, and a priority map of the environment // The Neuroscientist. 2011. V. 18(5). P. 502–515.
  64. Qi T., Mandelli M.L., Watson Pereira C.L. et al. Anatomical and behavioral correlates of auditory perception in developmental dyslexia // Brain. 2025. 148. P. 833–844.
  65. Raichle M.E., MacLeod M.A., Snyder A.Z. et al. A Default Mode of Brain Function // Proc. National Acad Scien. USA, 2001. 98. P. 676–682.
  66. Rombach R., Blattmann A., Lorenz D. et al. High-resolution image synthesis with latent diffusion models // IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. c. 10674–10685.
  67. Schmitt A., Lachmann T., van Leeuwen C. Lost in the forest? Global to local interference depends on children’s reading skills // Acta Psychologica. 2019. V. 193. P. 11–17.
  68. Schrimpf M., Kubilius J., Hong H. Brain-Score: Which artificial neural network for object recognition is most brain-like? // bioRxiv. 2018.
  69. Simmons D.R., Robertson A.E., McKay L.S. et al. Vision in autism spectrum disorders // Vis. Res. 2009. V. 49. № 22. P. 2705–2739.
  70. Shelepin K.Yu., Trufanov G.E., Fokin V.A., et al. Digital visualization of the activity of neural networks of the human brain before, during, and after insight when images are being recognized // J. of Optic. Technol. 2018. Т. 85. № 8. P. 29–39.
  71. Shelepin K., Shelepin Y., Pronin S., Foreman N., Colorized Gollin incomplete figures test // XVI European cong. of psych. 2019. P. 2110.
  72. Shelepin K.Yu., Pronin S.V., Shelepin Yu.E. Recognizing fragmented images and the appearance of “Insight”// J. of Optic. Technol. 2015. Т. 82. № 10. P. 700–706.
  73. Snowden R.J. Visual attention to color: Parvocellular guidance of attentional resources? // Psycholog. Science. 2002. V. 13. P. 180–184.
  74. Song Y., Hakoda Y. Lack of global precedence and global-to-local interference without local processing deficit: A robust finding in children with attention-deficit/hyperactivity disorder under different visual angles of the Navon task // Neuropsychology. 2015. V. 29. № 6.
  75. Sörensen L.K.A., Bohté S.M., de Jong D., Slag-ter H.A., Scholte H.S. Mechanisms of human dynamic object recognition revealed by sequential deep neural networks // PLoS Comput Biol. 2023. V. 19(6).
  76. Ungerleider L.G., Mishkin M. Two cortical visual systems. In: Ingle M.A., Goodale M.I., Masfield R.J.W., editors // Analysis of Visual Behavior. Cambridge, MA: MIT Press. 1982. P. 549–586.
  77. Wang X, Pathak S., Stefaneanu L. et al. Subcomponents and connectivity of the superior longitudinal fasciculus in the human brain // Brain Structure & Function. 2016. V. 221. (N4). P. 2075–2092.
  78. Wilkins, A.J. and Evans, B.J.W. Vision, Reading Difficulties and Visual Stress // Springer Nature Switzerland. 2024. 9783031655678.
  79. Yu D. Training peripheral vision to read: Using stimulus exposure and identity priming // Front. Neurosci. 2022. 16:916447.
  80. Zhang X., Mlynaryk N., Ahmed S., Japee S., Ungerleider L.G. The role of inferior frontal junction in controlling the spatially global effect of feature-based attention in human visual areas // PLoS Biol. 2018. Jun 25; 16(6). e2005399.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Российская академия наук, 2025

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».