Visual Target and Neural Networks

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The objective of this review is to present the results of our own studies of neural networks that detect and make decisions when recognizing “everyday” visual targets: faces, letters, text, and order in chaos. Digital methods of image synthesis and processing have made it possible to synthesize calibrated and test image sets that simulate visual scenes. These scenes contain targets and noise with specified statistical, spatial, and temporal characteristics that selectively activate and inhibit modules of large-scale neural networks of the human brain. It is shown how networks representing foveolar and macular vision interact. As a result of the work of opponent neural networks of the prefrontal cortex, decisions are made when recognizing targets. Each of the large-scale neural networks of the brain is involved in various combinations that ensure purposeful human activity. The work of mechanisms of local and global scene analysis when searching for targets is considered: recognition of text, facial expressions, and face rotation, matrices of Gabor elements with varying degrees of ordering. Models of these mechanisms are built on the basis of convolutional, diffusion and generative neural networks. The influence of statistical properties of images and their internal content on decision-making by humans and machines is shown. The ways of development of psychophysiological studies of the organization and activity of large-scale neural networks of the human “visual” system shown.

About the authors

Y. E. Shelepin

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute; Federal State Budgetary Institution “V. Serbsky National Medical Research Centre for Psychiatry and Narcology” of the Ministry of Health of the Russian Federation

Email: shelepin-yuri@infran.ru
St. Petersburg, 199034 Russia; Moscow, 119034 Russia

O. V. Zhukova

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: volgazhukova@gmail.com
St. Petersburg, 199034 Russia

E. Y. Shelepin

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: shelepiney@infran.ru
St. Petersburg, 199034 Russia

A. K. Kharauzov

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: harauzov@infran.ru
St. Petersburg, 199034 Russia

K. Y. Shelepin

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute; Federal State Budgetary Institution “V. Serbsky National Medical Research Centre for Psychiatry and Narcology” of the Ministry of Health of the Russian Federation

Email: shelepinky@infran.ru
St. Petersburg, 199034 Russia; Moscow, 119034 Russia

K. Y. Malakhova

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: katerina@infran.ru
St. Petersburg, 199034 Russia

S. V. Pronin

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: proninsv@infran.ru
St. Petersburg, 199034 Russia

V. N. Chikhman

Federal State Budgetary Institution of Science Institute of Physiology named after I.P. Pavlov Institute

Email: chikhmanvn@infran.ru
St. Petersburg, 199034 Russia

References

  1. Бехтерев В.М. Проводящие пути головного и спинного мозга. Казань. Императорский Казанский университет. 1893. 388 с.
  2. Вахрамеева О.А., Шелепин Ю.Е., Мезен- цев А.Ю., Пронин С.В. Изучение восприятия неполных контурных изображений различного размера // Российский физиологический журнал им. И.М. Сеченова. 2008. Т. 94. № 10. C. 1158–1170.
  3. Вахрамеева О.А., Сухинин М.В., Моисеенко Г.А. и др. Изучение порогов восприятия в зависимости от геометрии фовеа // Сенсорные системы. 2013. Т. 27. № 2. С. 122–129.
  4. Вахрамеева О.А., Хараузов А.К., Пронин С.В. и др. Зрительный прайминг при распознавании мелких изображений в сцене, содержащей объекты разного размера // Физиология человека. 2016. Т. 42. № 5. С. 39–48.
  5. Глезер В.Д. Зрение и мышление. Л.: Наука. 1993. 284 с.
  6. Данилова М.В., Моллон Д.Д. Кортикальная иконика: как зрительные стимулы представлены в мозге человека? // Оптический журнал. 2018. Т. 85. № 8. С. 87–94.
  7. Жукова (Борачук) О.В., Шелепин Ю.Е., Хараузов А.К. и др. Исследование влияния роли инструкции наблюдателю в задачах распознавания эмоционально окрашенных образов // Оптический журнал. 2015. Т. 82. № 10. С. 43–52.
  8. Жукова О.В., Васильев П.П. Перестройка нейронной сети и изменение стратегий операторов в процессе распознавания изображений лиц // Оптический журнал. 2020. Т. 87. № 10. С. 25–37
  9. Жукова О.В., Малахова Е.Ю., Шелепин Ю.Е. Джоконда и неопределенность распознавания улыбки человеком и искусственной нейронной сетью // Оптический журнал. 2019. Т. 86. № 11. С. 40–50.
  10. Кок Е.П. Зрительные агнозии: Синдромы расстройств высших зрительных функций при односторонних поражениях височно-затылочной и теменно-затылочной области мозга. Л.: Медицина, 1967. 224 с.
  11. Кононова Е.П. Анатомия и физиология затылочных долей на основании клинических, патологоанатомических и экспериментальных данных. М.: Изд-во МГУ, 1926. 147 с.
  12. Кононова Е.П. Лобная область большого мозга. Л.: Медгиз, 1962. 176 с.
  13. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Применение принципов оптимального наблюдателя при моделировании зрительной системы человека // Оптический журнал. 1999. Т. 66. № 9. С. 17–24.
  14. Ламминпия А.М., Вахрамеева О.А., Райт Д.В. и др. Влияние вейвлетной фильтрации изображений текстов на характеристики движений глаз при чтении // Сенсорные системы. 2013. Т. 27. № 1. С. 3–9.
  15. Ламминпия А.М., Моисеенко Г.А., Вахраме- ева О.А. и др. Изучение связи характеристик движений глаз с геометрией фовеа // Физиология человека. 2016. Т. 42. № 4. С. 32–37.
  16. Малахова Е.Ю. Визуализация информации, кодируемой нейронами высших областей зрительной системы // Оптический журнал. 2018. Т. 85. № 8. С. 61–66.
  17. Малахова Е.Ю. Пространство описания зрительной сцены в искусственных и биологических нейронных сетях // Оптический журнал. 2020. Т. 87. № 10. С. 50–58.
  18. Малахова К.Ю., Шелепин К.Ю., Шелепин Ю.Е. Обнаружение и распознавание изображений в условиях помехи // Оптический журнал. 2024. Т. 91. № 8. С. 60–74.
  19. Огородникова Е.А., Столярова Э.И., Баляко- ва А.А. Особенности слухоречевой сегментации у детей школьного возраста с нормальным слухом и нарушениями слуха и речи // Сенсорные системы. 2012. Т. 26. № 1. С. 20–31.
  20. Подвигин Н.Ф., Макаров Ф.Н., Шелепин Ю.Е. Структурно-функциональная организация зрительной и глазодвигательной систем. Л.: Наука, 1986. 252 с.
  21. Скуратова К.А., Шелепин Е.Ю., Малашин Р.О., Шелепин Ю.Е. Анализ изображений и поиск ошибок в текстах исходного программного кода // Оптический журнал. 2022. Т. 89. № 8. С. 64–75.
  22. Скуратова К.А., Шелепин Е.Ю., Яровая Н.П. Оптический поиск и зрительный навык // Оптический журнал. 2021. Т. 88. № 12. С. 28–35.
  23. Хараузов А.К., Васильев П.П., Соколов А.В. и др. Восприятие изображений в задачах зрительного поиска в условиях динамической помехи // Оптический журнал. 2015. Т. 82. № 5. С. 42–55.
  24. Хараузов А.К., Васильев П.П., Соколов А.В. и др. Анализ изображений функциональной магнитно-резонансной томографии головного мозга человека в задачах распознавания текстур // Оптический журн. 2018. Т. 85. № 8. С. 22–28.
  25. Хараузов А.К., Иванова Л.Е., Васильев П.П., Подвигина Д.Н.. фМРТ исследования оппонентных взаимодействий между областями головного мозга обезьян Macaca Mulatta // Журнал эволюционной биохимии и физиологии. 2022. Т. 58. № 4. С. 311–322.
  26. Хараузов А.К., Иванова Л.Е., Подвигина Д.Н. Томографические и электрофизиологические исследования оппонентных взаимодействий между различными областями мозга у обезьян макак-резусов // Сб. тезисов XXIV Съезда физиологического общества им. И.П. Павлова. Санкт-Петербург, 2023. С. 590.
  27. Чихман В.Н., Шелепин Ю.Е., Пронин С.В. Экспериментальное исследование инвариантного восприятия вейвлетных изображений // Оптический журнал. 2011. Т. 78. № 12. С. 50–56.
  28. Шелепин Е.Ю., Скуратова К.А. Движения глаз // Российский психологический журнал. 2024. №12, с. 168–194.
  29. Шелепин Е.Ю., Скуратова К.А. Глобальные и локальные механизмы восприятия «составных букв» // Оптический журнал. 2020. Т. 87. № 10. С. 81–88.
  30. Шелепин Е.Ю. Оптимизация контента сайта в обучающем процессе // Оптический журнал. 2018. Т. 85. № 8. С. 95–98.
  31. Шелепин Е.Ю., Жукова О.В., Пронин С.В. и др. Общность алгоритмов движений глаз, обеспечивающих распознавание жанровых сцен в текстах и в изображениях // Оптический журнал. 2019. Т. 86. № 11. С. 79–89.
  32. Шелепин Ю.Е. Введение в нейроиконику. СПб.: Троицкий мост, 2017. 350 с.
  33. Шелепин Ю.Е., Колесникова Л.Н., Левко- вич Ю.И. Визоконтрастометрия. Л.: Наука, 1985. 105 с.
  34. Шелепин Ю.Е., Луцив В.Р., Коротаев В.В. Оптические технологии и зрительная картина мира: иконика и нейроиконика // Оптический журнал. 2022. Т. 89. № 8. С. 3–7.
  35. Шелепин Ю.Е., Чихман В.Н., Пронин С.В., Фореман Н. Локальный и глобальный анализ в зрительной системе. Глава 15 в кн.: Современная психофизика. 2009. М.: Изд. ИП РАН. С. 310–334.
  36. Шелепин Ю.Е., Фокин В.А., Хараузов А.К. и др. Нейроиконика – пространственно-временное картирование активных областей головного мозга при распознавании изображений // Оптический журнал. 2011. Т. 78. № 12. С. 57–69.
  37. Шелепин Ю.Е., Фокин В.А., Меньшикова С.В. и др. Методы иконики и методы картирования мозга в оценке функционального состояния зрительной системы // Сенсорные системы. 2014. Т. 28. № 2. C. 61–75.
  38. Шелепин Ю.Е., Фокин В.А., Хараузов А.К., Пронин С.В., Чихман В.Н. Локализация центра принятия решений при восприятии формы зрительных стимулов // Доклады Российской Академии наук. 2009. Т. 429. № 6. С. 1–3.
  39. Шелепин Ю.Е., Хараузов А.К., Жукова О.В. и др. Маскировка и обнаружение скрытых сигналов в динамических изображениях // Оптический журнал. 2020. Т. 87. № 10. С. 89–102.
  40. Шелепин Ю.Е., Шелепин Е.Ю., Бондарко В.М., Чихман В.Н., Бондарко Д.В. Структурно-функциональная организация зрительной системы в обеспечении целенаправленной деятельности // Успехи физиологических наук. 2024. Т. 55. № 3. С. 3–21.
  41. Atilgan H., Town S., Wood K. et al. Integration of Visual Information in Auditory Cortex Promotes Auditory Scene Analysis through Multisensory Binding // Neuron. 2018. 97. P. 640–655.
  42. Borachuk (Zhukova) O.V., Shelepin Yu.E., Kharauzov A.K. et al. Study of the influence of the role of the instruction to the observer in tasks of recognizing emotionally colored patterns // Journal of Optical Technology. 2015. Vol. 82. Issue 10. P. 678–684.
  43. Chikhman V., Shelepin Y., Foreman N., Merku-ljev A., & Pronin S. 2006. Incomplete Figure Perception and Invisible Masking // Perception. 2006. 35(11). P. 1441–1457.
  44. Danilova M.V., Mollon J.D., Cerebral iconics: how are visual stimuli represented centrally in the human brain? (Кортикальная иконика: механизмы сенсорных сравнений в мозге человека) [на англ. яз.] // Оптический журнал. 2018. Т. 85. № 8. с. 87–94.
  45. Danilova M., Takahashi C, Mollon J., Separation in the visual field has divergent effects on discriminating the speed and the direction of motion // Current Biology. 2020. V. 30. P. 1233–1255.
  46. Danilova M.V., Takahashi C., Mollon J.D. How does the human visual system compare the speeds of spatially separated objects? // PLoS One. 2020. V. 15(4). e0231959.
  47. Harauzov A.K., Shelepin Y.E., Noskov Y.A., Vasilev P.P., Foreman N.P. // The time course of pattern discrimination in the human brain // Vision Research. 2016. V. 125. P. 55–63.
  48. Janelle F., Iorio-Morin C., D’amour and For- tin D. Superior Longitudinal Fasciculus: A Review of the Anatomical Descriptions With Functional Correlates // Front. Neurol. 2022. C. 1–12. 13:794618.
  49. Jang H., McCormack D., Tong F. Noise-trained deep neural networks effectively predict human vision and its neural responses to challenging images // PLoS Biol. 2021. V. 19(12). P. e3001418.
  50. Jellison B.J., Field A.S., Medow J., Lazar M., Salamat M.S., Alexander A.L. Diffusion tensor imaging of cerebral white matter: A pictorial review of physics, fiber tract anatomy // AJNR Am. J. Neuroradiol. 2004.
  51. Kamali A., Flanders A.E., Brody J., Hun- ter J.V., Hasan K.M. Tracing superior longitudinal fasciculus connectivity in the human brain using high resolution diffusion tensor tractography // Brain Struct Funct. 2013. doi: 10.1007/s00429-012-0498-y
  52. Kinchla R.A. Detecting target elements in multi-element arrays: A confusability model // Perception & Psychophysics. 1974. V. 15. P. 149–158.
  53. Klucharev V.A., Munneke M., Smidts A. and Fernández G. Downregulation of the Posterior Medial Frontal Cortex Prevents Social Confor-mit // Journal of Neuroscience 17 August 2011, 31 (33). P. 11934–11940. https://doi.org/10.1523/JNEUROSCI.1869-11.2011
  54. Lachmann T., Schmitt A., Braet W., Leeuwen C. Letters in the forest: Global precedence effect disappears for letters but not for non-letters under reading-like conditions // Front. Psychol. 2014. V. 5. P. 705.
  55. Lublinskaya V.V., Ross J., Ogorodnikova E.A. The auditory perception and processing of amplitude modulation in speech-like signals: Legacy of the Chistovich-Kozhevnikov group // Dynamics of Speech Production and Perception. Eds: P. Divenyi and G. Meyer. Amsterdam, IOP Press. 2006. P. 87–103
  56. Malakhova E.Yu. Representation of categories through prototypes formed based on coordinated activity of units in convolutional neural networks // J. Opt. Technol. 2021. 88(12). P. 706–709
  57. Malakhova E.Yu., Shelepin E.Yu., Mala- shin R.O. Temporal data processing from webcam eye tracking using artificial neural networks // Journal of Optical Technology. 2018. 85(3). P. 186–188.
  58. Nam Y., Sato T., Malakhova E., Uchida G., Ullman Sh., Tanifuji M. View-tuned and view-invariant face encoding in IT cortex is explained by selected natural image fragments // Scientific Reports (Nature Portfolio). 2021. № 11. c. 7827.
  59. Navon D. Forest before trees: The precedence of global features in visual perception // Cognitive Psychology. 1977. V. 9. P. 353–383.
  60. Pelli D., Yiltiz H. What internal noise source limits peripheral vision? // Journal of Vision Cover Image for. 2017. V. 17. Issue 10.
  61. Pinna B., Shelepin E.Y., Deiana K. Chromatic accentuation in dyslexia: Useful implications for effective assistive technology // Video and Audio Signal Processing in the context of Neurotechnology. SPCN-2016. St.-Petersburg. Russia. P. 34–36.
  62. Poirel N., Pineau A., Mellet E. What does the nature of the stimuli tell us about the Global Precedence Effect? // Acta Physiol (Oxf). 2008. V. 127. № 1. P. 1–11.
  63. Ptak R. The frontoparietal attention network of the human brain: Action, saliency, and a priority map of the environment // The Neuroscientist. 2011. V. 18(5). P. 502–515.
  64. Qi T., Mandelli M.L., Watson Pereira C.L. et al. Anatomical and behavioral correlates of auditory perception in developmental dyslexia // Brain. 2025. 148. P. 833–844.
  65. Raichle M.E., MacLeod M.A., Snyder A.Z. et al. A Default Mode of Brain Function // Proc. National Acad Scien. USA, 2001. 98. P. 676–682.
  66. Rombach R., Blattmann A., Lorenz D. et al. High-resolution image synthesis with latent diffusion models // IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. c. 10674–10685.
  67. Schmitt A., Lachmann T., van Leeuwen C. Lost in the forest? Global to local interference depends on children’s reading skills // Acta Psychologica. 2019. V. 193. P. 11–17.
  68. Schrimpf M., Kubilius J., Hong H. Brain-Score: Which artificial neural network for object recognition is most brain-like? // bioRxiv. 2018.
  69. Simmons D.R., Robertson A.E., McKay L.S. et al. Vision in autism spectrum disorders // Vis. Res. 2009. V. 49. № 22. P. 2705–2739.
  70. Shelepin K.Yu., Trufanov G.E., Fokin V.A., et al. Digital visualization of the activity of neural networks of the human brain before, during, and after insight when images are being recognized // J. of Optic. Technol. 2018. Т. 85. № 8. P. 29–39.
  71. Shelepin K., Shelepin Y., Pronin S., Foreman N., Colorized Gollin incomplete figures test // XVI European cong. of psych. 2019. P. 2110.
  72. Shelepin K.Yu., Pronin S.V., Shelepin Yu.E. Recognizing fragmented images and the appearance of “Insight”// J. of Optic. Technol. 2015. Т. 82. № 10. P. 700–706.
  73. Snowden R.J. Visual attention to color: Parvocellular guidance of attentional resources? // Psycholog. Science. 2002. V. 13. P. 180–184.
  74. Song Y., Hakoda Y. Lack of global precedence and global-to-local interference without local processing deficit: A robust finding in children with attention-deficit/hyperactivity disorder under different visual angles of the Navon task // Neuropsychology. 2015. V. 29. № 6.
  75. Sörensen L.K.A., Bohté S.M., de Jong D., Slag-ter H.A., Scholte H.S. Mechanisms of human dynamic object recognition revealed by sequential deep neural networks // PLoS Comput Biol. 2023. V. 19(6).
  76. Ungerleider L.G., Mishkin M. Two cortical visual systems. In: Ingle M.A., Goodale M.I., Masfield R.J.W., editors // Analysis of Visual Behavior. Cambridge, MA: MIT Press. 1982. P. 549–586.
  77. Wang X, Pathak S., Stefaneanu L. et al. Subcomponents and connectivity of the superior longitudinal fasciculus in the human brain // Brain Structure & Function. 2016. V. 221. (N4). P. 2075–2092.
  78. Wilkins, A.J. and Evans, B.J.W. Vision, Reading Difficulties and Visual Stress // Springer Nature Switzerland. 2024. 9783031655678.
  79. Yu D. Training peripheral vision to read: Using stimulus exposure and identity priming // Front. Neurosci. 2022. 16:916447.
  80. Zhang X., Mlynaryk N., Ahmed S., Japee S., Ungerleider L.G. The role of inferior frontal junction in controlling the spatially global effect of feature-based attention in human visual areas // PLoS Biol. 2018. Jun 25; 16(6). e2005399.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».