Акустическая и семантическая слуховая обработка потоковой речи: исследование при помощи функции временного отклика для МЭГ-данных


Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Восприятие речи – комплексный процесс, включающий многоуровневую нейрофизиологическую обработку различных речевых компонентов. В данной работе использовали новый метод обработки зарегистрированного во время прослушивания потоковой речи сигнала магнитоэнцефалограммы (МЭГ) – функцию временного отклика (ФВО) для анализа нейронального ответа на аудиальные и семантические компоненты речи при ее восприятии в естественных условиях. Временной отклик на динамические изменения звуковой огибающей продемонстрировал ранний нейрофизиологический ответ: от 20 мс с пиком амплитуды на 100 мс, а ответ на восприятие начала слова имеет пиковую латентность на 120 мс. Семантическая компонента речи показала более поздний временной отклик: от 200 мс с пиковой латентностью 300 мс билатерально в височных отведениях. Таким образом, ФВО показала более поздний ответ на семантические изменения речи, чем на изменения акустических признаков в МЭГ-исследовании.

Об авторах

А. С. Овакимян

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН

Email: alena@ovakimian.ru
Москва, Россия

Г. А. Согоян

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН; Сколковский институт науки и технологий

Email: alena@ovakimian.ru
Москва, Россия; Москва, Россия

О. В. Мартынова

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН

Email: alena@ovakimian.ru
Москва, Россия

О. В. Сысоева

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН; Научно-технологический университет «Сириус»

Автор, ответственный за переписку.
Email: alena@ovakimian.ru
Москва, Россия; Сoчи, Россия

Список литературы

  1. Forseth K.J., Hickok G., Rollo P.S., Tandon N. Language prediction mechanisms in human auditory cortex // Nat. Commun. 2020. V. 11. № 1. P. 5240.
  2. Foti D., Roberts F. The neural dynamics of speech perception: Dissociable networks for processing linguistic content and monitoring speaker turn-taking // Brain Lang. 2016. V. 157. P. 63.
  3. Evans S., Davis M.H. Hierarchical organization of auditory and motor representations in speech perception: Evidence from searchlight similarity analysis // Cereb. Cortex. 2015. V. 25. № 12. P. 4772.
  4. Okada K., Rong F., Venezia J. et al. Hierarchical organization of human auditory cortex: Evidence from acoustic invariance in the response to intelligible speech // Cereb. Cortex. 2010. V. 20. № 10. P. 2486.
  5. Петрушевский А. Г., Майорова Л. А. фМРТ-корреляты категоризации звуков речевой и неречевой природы в слуховой коре // Физиология человека. 2019. Т. 45. № 6. С. 5.
  6. Henry M.J., Obleser J. Frequency modulation entrains slow neural oscillations and optimizes human listening behavior // Proc. Natl. Acad. Sci. 2012. V. 109. № 49. P. 20095.
  7. Kleeva D.F., Rebreikina A.B., Soghoyan G.A. et al. Generalization of sustained neurophysiological effects of short-term auditory 13-Hz stimulation to neighbouring frequency representation in humans // Eur. J. Neurosci. 2022. V. 55. № 1. P. 175.
  8. Tomé D., Barbosa F., Nowak K., Marques-Teixeira J. The development of the N1 and N2 components in auditory oddball paradigms: A systematic review with narrative analysis and suggested normative values // J. Neural Transm. 2015. V. 122. № 3. P. 375.
  9. Voola M., Nguyen A.T., Marinovic W. et al. Od- deven oddball task: Evaluating event-related potentials during word discrimination compared to speech-token and tone discrimination // Front. Neurosci. 2022. V. 16. P. 983498.
  10. Larionova E.V., Martynova O.V. Frequency effects on spelling error recognition: An ERP study // Front. Psychol. 2022. V. 13. P. 834852.
  11. Liaukovich K., Ukraintseva Y., Martynova O. Implicit auditory perception of local and global irregularities in passive listening condition // Neuropsychologia. 2022. V. 165. P. 108129.
  12. Ребрейкина А.Б., Ларионова Е.В., Мартынова О.В. Динамика вызванных потенциалов в процессе становления грамотности // Современная зарубежная психология. 2020. Т. 9. № 2. С. 21.
  13. Ребрейкина А.Б., Клеева Д.Ф., Согоян Г.А., Сысо- ева О.В. Влияние слуховой LTP-подобной стимуляции на обработку звуковых стимулов // Сенсорные Системы. 2021. Т. 35. № 2. С. 144.
  14. Kraus N., McGee T., Carrell T.D., Sharma A. Neurophysiologic bases of speech discrimination // Ear Hear. 1995. V. 16. № 1. P. 19.
  15. Sysoeva O.V., Molholm S., Djukic A. et al. Atypical processing of tones and phonemes in Rett Syndrome as biomarkers of disease progression // Transl. Psychiatry. 2020. V. 10. № 1. P. 188.
  16. Näätänen R. The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm) // Psychophysiology. 2001. V. 38. № 1. P. 1.
  17. Chen T.C., Hsieh M.H., Lin Y.T. et al. Mismatch negativity to different deviant changes in autism spectrum disorders: A meta-analysis // Clin. Neurophysiol. 2020. V. 131. № 3. P. 766.
  18. Рогачев А.О., Сысоева О.В. Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях // Современная зарубежная психология. 2024. Т. 13. № 1. С. 92.
  19. Lalor E.C., Pearlmutter B.A., Reilly R.B. et al. The VESPA: A method for the rapid estimation of a visual evoked potential // Neuroimage. 2006. V. 32. № 4. P. 1549.
  20. Lalor E.C., Power A.J., Reilly R.B., Foxe J.J. Resolving precise temporal processing properties of the auditory system using continuous stimuli // J. Neurophysiol. 2009. V. 102. № 1. P. 349.
  21. Brodbeck C., Simon J. Z. Continuous speech proces-sing // Curr. Opin. Physiol. 2020. V. 18. P. 25.
  22. Brodbeck C., Das P., Gillis M. et al. Eelbrain, a Python toolkit for time-continuous analysis with temporal response functions // Elife. 2023. V. 12. P. e85012.
  23. Brodbeck C., Hong L.E., Simon J.Z. Rapid transformation from auditory to linguistic represe- ntations of continuous speech // Curr. Biol. 2018. V. 28. № 24. P. 3976.
  24. Donhauser P.W., Baillet S. Two distinct neural timescales for predictive speech processing // Neuron. 2020. V. 105. № 2. P. 385.
  25. Майорова Л.А., Мартынова О.В., Балабан П.М. и др. Негативность рассогласования и ее гемодинамический эквивалент (по данным фМРТ) в исследованиях восприятия речи в норме и при речевых расстройствах // Усп. физ. наук. 2014. Т. 45. № 1. С. 27.
  26. Буторина А. В., Шестакова А.Н., Николаева А.Ю. и др. Функциональное картирование речевых зон мозга человека: перспективы использования метода магнитоэнцефалографии (МЭГ) // Современная зарубежная психология. 2012. Т. 1. № 1. С. 103.
  27. Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic encoding of acoustic features in neural responses to continuous speech // J. Neurosci. 2017. V. 37. № 8. P. 2176.
  28. MacGregor L.J., Pulvermüller F., van Casteren M., Shtyrov Y. Ultra-rapid access to words in the brain // Nat. Commun. 2012. V. 3. № 1. P. 711.
  29. Lowe M.X., Mohsenzadeh Y., Lahner B. et al. Cochlea to categories: The spatiotemporal dynamics of semantic auditory representations // Cogn. Neuropsychol. 2021. V. 38. № 7-8. P. 468.
  30. Верхлютов В.М., Бурлаков Е.О., Гуртовой К.Г., Введенский В.Л. Распознавание устной речи по данным МЭГ с использованием ковариационных фильтров // Журн. высш. нерв. деят. им. И.П. Пав- лова. 2023. Т. 73. № 6. C. 800.
  31. Van Petten C., Coulson S., Rubin S. et al. Time course of word identification and semantic integration in spoken language // J. Exp. Psychol. Learn. Mem. Cogn. 1999. V. 25. № 2. P. 394.
  32. Orepic P., Truccolo W., Halgren E. et al. Neural mani-folds carry reactivation of phonetic representations during semantic processing // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2023.10.30.564638
  33. Broderick M.P., Anderson A.J., Lalor E C. Semantic context enhances the early auditory encoding of natural speech // J. Neurosci. 2019. V. 39. № 38. P. 7564.
  34. Getz L.M., Toscano J.C. Electrophysiological evidence for top-down lexical influences on early speech perception // Psychol. Sci. 2019. V. 30. № 6. P. 830.
  35. Вайтулевич С.Ф., Петропавловская Е.А., Шестопалова Л.Б., Никитин Н.И. Функциональная межполушарная асимметрия мозга человека и слуховая функция // Физиология человека. 2019. Т. 45. № 2. С. 103.
  36. Дмитриева Е.С., Гельман В.Я., Зайцева К.А., Ор- лов А.М. Оценка связи восприятия эмоциональной интонации речи с компонентами эмоционального интеллекта // Психология. Журнал ВШЭ. 2012. T. 9. № 1. C. 126.
  37. Лебедева Н.Н., Каримова Е.Д., Казимирова Е.А. Анализ речевого сигнала в исследованиях функционального состояния человека // Биомедицинская радиоэлектроника. 2015. № 2. С. 3.
  38. Verwoert M., Amigó-Vega J., Gao Y. et al. Whole-brain dynamics of articulatory, acoustic and semantic speech representations // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2024.08.15.608082
  39. Menenti L., Petersson K.M., Hagoort P. From reference to sense: How the brain encodes meaning for speaking // Front. Psychol. 2012. V. 2. P. 384.
  40. Luthra S. The role of the right hemisphere in processing phonetic variability between talkers // Neurobiol. Lang. 2021. V. 2. № 1. P. 138.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Российская академия наук, 2025

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».