Acoustic and semantic auditory processing of continuous speech: a time response function analysis for MEG data


Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Speech perception is a complex process involving multilevel neurophysiological processing of various speech components. In the presented work, we used temporal response function (TRF), a novel method of processing the magnetoencephalogram (MEG) recorded while listening to continuous speech to analyse the neural response to auditory and semantic components of speech during its perception in vivo. The temporal response to dynamic changes in the sound envelope demonstrated an early neurophysiological response: from 20 ms with an amplitude peak at 100 ms, and the response to the perception of word onset had a peak latency at 120 ms. The semantic component of speech showed a later temporal response: from 200 ms with a peak latency of 300 ms bilaterally in temporal magnetometers. Thus, TRF showed a later response to semantic changes in speech than to changes in acoustic features in the MEG study.

About the authors

A. S. Ovakimian

Institute of Higher Nervous Activity and Neurophysiology of the RAS

Email: alena@ovakimian.ru
Moscow, Russia

G. A. Soghoyan

Institute of Higher Nervous Activity and Neurophysiology of the RAS; Skolkovo Institute of Science and Technology

Email: alena@ovakimian.ru
Moscow, Russia; Moscow, Russia

O. V. Martynova

Institute of Higher Nervous Activity and Neurophysiology of the RAS

Email: alena@ovakimian.ru
Moscow, Russia

O. V. Sysoeva

Institute of Higher Nervous Activity and Neurophysiology of the RAS; Sirius University of Science and Technology

Author for correspondence.
Email: alena@ovakimian.ru
Moscow, Russia; Sochi, Russia

References

  1. Forseth K.J., Hickok G., Rollo P.S., Tandon N. Language prediction mechanisms in human auditory cortex // Nat. Commun. 2020. V. 11. № 1. P. 5240.
  2. Foti D., Roberts F. The neural dynamics of speech perception: Dissociable networks for processing linguistic content and monitoring speaker turn-taking // Brain Lang. 2016. V. 157. P. 63.
  3. Evans S., Davis M.H. Hierarchical organization of auditory and motor representations in speech perception: Evidence from searchlight similarity analysis // Cereb. Cortex. 2015. V. 25. № 12. P. 4772.
  4. Okada K., Rong F., Venezia J. et al. Hierarchical organization of human auditory cortex: Evidence from acoustic invariance in the response to intelligible speech // Cereb. Cortex. 2010. V. 20. № 10. P. 2486.
  5. Petrushevskiy A.G., Mayorova L.A. Speech and Non-Speech Sound Categorization in Auditory Cortex: fMRI Correlates // Human Physiology. 2019. V. 45. № 6. P. 5.
  6. Henry M.J., Obleser J. Frequency modulation entrains slow neural oscillations and optimizes human listening behavior // Proc. Natl. Acad. Sci. 2012. V. 109. № 49. P. 20095.
  7. Kleeva D.F., Rebreikina A.B., Soghoyan G.A. et al. Generalization of sustained neurophysiological effects of short-term auditory 13-Hz stimulation to neighbouring frequency representation in humans // Eur. J. Neurosci. 2022. V. 55. № 1. P. 175.
  8. Tomé D., Barbosa F., Nowak K., Marques-Teixeira J. The development of the N1 and N2 components in auditory oddball paradigms: A systematic review with narrative analysis and suggested normative values // J. Neural Transm. 2015. V. 122. № 3. P. 375.
  9. Voola M., Nguyen A.T., Marinovic W. et al. Od- deven oddball task: Evaluating event-related potentials during word discrimination compared to speech-token and tone discrimination // Front. Neurosci. 2022. V. 16. P. 983498.
  10. Larionova E.V., Martynova O.V. Frequency effects on spelling error recognition: An ERP study // Front. Psychol. 2022. V. 13. P. 834852.
  11. Liaukovich K., Ukraintseva Y., Martynova O. Implicit auditory perception of local and global irregularities in passive listening condition // Neuropsychologia. 2022. V. 165. P. 108129.
  12. Rebreikina A.B., Larionova E.V., Martynova O.V. Event-related potentials during literacy acquisition // J. Mod. Foreign Psychol. 2020. V. 9. № 2. P. 21.
  13. Rebreikina A.B., Kleeva D.F., Soghoyan G.A., Syso- eva O.V. [Effect of auditory ltp-like stimulation on the processing of sounds] // Sensornye Sistemy [Sensory Systems]. 2021. V. 35. № 2. P. 144.
  14. Kraus N., McGee T., Carrell T.D., Sharma A. Neurophysiologic bases of speech discrimination // Ear Hear. 1995. V. 16. № 1. P. 19.
  15. Sysoeva O.V., Molholm S., Djukic A. et al. Atypical processing of tones and phonemes in Rett Syndrome as biomarkers of disease progression // Transl. Psychiatry. 2020. V. 10. № 1. P. 188.
  16. Näätänen R. The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm) // Psychophysiology. 2001. V. 38. № 1. P. 1.
  17. Chen T.C., Hsieh M.H., Lin Y.T. et al. Mismatch negativity to different deviant changes in autism spectrum disorders: A meta-analysis // Clin. Neurophysiol. 2020. V. 131. № 3. P. 766.
  18. Rogachev A.O, Sysoeva O.V. The Temporal Response Function — a New Method for Investigating Neurophysiological Mechanisms of Speech Perception under Ecologically Valid Conditions // J. Mod. Foreign Psychol. 2024. V. 13. № 1. P. 92.
  19. Lalor E.C., Pearlmutter B.A., Reilly R.B. et al. The VESPA: A method for the rapid estimation of a visual evoked potential // Neuroimage. 2006. V. 32. № 4. P. 1549.
  20. Lalor E.C., Power A.J., Reilly R.B., Foxe J.J. Resolving precise temporal processing properties of the auditory system using continuous stimuli // J. Neurophysiol. 2009. V. 102. № 1. P. 349.
  21. Brodbeck C., Simon J. Z. Continuous speech processing // Curr. Opin. Physiol. 2020. V. 18. P. 25.
  22. Brodbeck C., Das P., Gillis M. et al. Eelbrain, a Python toolkit for time-continuous analysis with temporal response functions // Elife. 2023. V. 12. P. e85012.
  23. Brodbeck C., Hong L.E., Simon J.Z. Rapid trans-formation from auditory to linguistic representations of continuous speech // Curr. Biol. 2018. V. 28. № 24. P. 3976.
  24. Donhauser P.W., Baillet S. Two distinct neural timescales for predictive speech processing // Neuron. 2020. V. 105. № 2. P. 385.
  25. Mayorova L.A., Martynova O.V., Balaban P.M. et al. [Mismatch Negativity and its Hemodynamic Equivalent (Based on fMRI in Research of Speech Perception in Healthy and in Speech Disorders] // Usp. Fiz. Nauk. 2014. V. 45. № 1. P. 27.
  26. Butorina A.V. Shestakova A.N., Nikolaeva A.Y. et al. Magneto encephalography (MEG): Perspectives of speech areas functional mapping in human subjects // J. Mod. Foreign Psychol. 2012. V. 1. № 1. P. 103.
  27. Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic encoding of acoustic features in neural responses to continuous speech // J. Neurosci. 2017. V. 37. № 8. P. 2176.
  28. MacGregor L.J., Pulvermüller F., van Casteren M., Shtyrov Y. Ultra-rapid access to words in the brain // Nat. Commun. 2012. V. 3. № 1. P. 711.
  29. Lowe M.X., Mohsenzadeh Y., Lahner B. et al. Cochlea to categories: The spatiotemporal dynamics of semantic auditory representations // Cogn. Neuropsychol. 2021. V. 38. № 7–8. P. 468.
  30. Verkhlyutov V.M., Burlakov. E.O., Gurtovoy K.G., Vvedensky V.L. [Recognition of oral speech according to MEG data by covariance filters] // Zh. Vyssh. Nerv. Deyat. Im. I.P. Pavlova. 2023. V. 73. № 6. P. 800.
  31. Van Petten C., Coulson S., Rubin S. et al. Time course of word identification and semantic integration in spoken language // J. Exp. Psychol. Learn. Mem. Cogn. 1999. V. 25. № 2. P. 394.
  32. Orepic P., Truccolo W., Halgren E. et al. Neural manifolds carry reactivation of phonetic representations during semantic processing // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2023.10.30.564638
  33. Broderick M.P., Anderson A.J., Lalor E C. Semantic context enhances the early auditory encoding of natural speech // J. Neurosci. 2019. V. 39. № 38. P. 7564.
  34. Getz L.M., Toscano J.C. Electrophysiological evidence for top-down lexical influences on early speech perception // Psychol. Sci. 2019. V. 30. № 6. P. 830.
  35. Vaitulevich S.F., Petropavlovskaya E.A., Shestopalo- va L.B., Nikitin N.I. Functional hemispheric asymmetry of the human brain in audition // Human Physiology. 2019. V. 45. № 2. P. 103.
  36. Dmitrieva E.S., Gelman V.Y., Zayceva K.A., Or- lov A.M. [Measuring the Association Between Emotional Prosody Perception and Emotional Intelligence Components] // Psychol. J. High. Sch. Econ. 2012. V. 9. № 1. P. 126.
  37. Lebedeva N.N., Karimova E.D., Kazimitova E.A. [Speech signal analysis in human functional status studies] // Biomed. Radioelectron. 2015. № 2. P. 3.
  38. Verwoert M., Amigó-Vega J., Gao Y. et al. Whole-brain dynamics of articulatory, acoustic and semantic speech representations // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2024.08.15.608082
  39. Menenti L., Petersson K.M., Hagoort P. From reference to sense: how the brain encodes meaning for speaking // Front. Psychol. 2012. V. 2. P. 384.
  40. Luthra S. The role of the right hemisphere in processing phonetic variability between talkers // Neurobiol. Lang. 2021. V. 2. № 1. P. 138.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».