Дифференциация функциональных систем речи и языка и изучение различий обеспечивающих их нейросетей

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В данной статье рассматривается проблема дифференциации систем речи и языка человека. На основе современных представлений в области психологии речи, речеведения, интонологии формируется понятие о единицах (формах) речи как неязыковых феноменах, имеющих в человеческой коммуникации функцию трансляции иллокутивных смыслов, т.е., прежде всего, коммуникативных и социальных целей, а также качества социальных отношений. В подтверждение концепции “Речь vs. Язык” представлены результаты исследования функциональной магнитно-резонансной томографии (фМРТ), проведенного на выборке взрослых. Установлены отличия нейросетей головного мозга человека, обеспечивающих восприятие форм естественной устной речи – собственно речевого и минимального по структуре речеязыкового сигналов, имеющих одно и то же прагмасемантическое содержание. В связи с полученными данными обсуждаются перспективы исследования, связанные с анализом функциональной связности в структурах двух типов сетей, последовательным усложнением речевого и языкового компонентов высказывания и предъявлением мультимодальных естественных речекоммуникативных стимулов. Анализ различий процессов и нейросетей речи и языка значим для разработки технологий синтеза речи, диагностического и коммуникативного искусственного интеллекта.

Об авторах

И. Г. Маланчук

ФГБУ “Национальный исследовательский центр
“Курчатовский институт”

Автор, ответственный за переписку.
Email: cora1@inbox.ru
Россия, Москва

В. А. Орлов

ФГБУ “Национальный исследовательский центр
“Курчатовский институт”

Email: cora1@inbox.ru
Россия, Москва

С. И. Карташов

ФГБУ “Национальный исследовательский центр
“Курчатовский институт”

Email: cora1@inbox.ru
Россия, Москва

Д. Г. Малахов

ФГБУ “Национальный исследовательский центр
“Курчатовский институт”

Email: cora1@inbox.ru
Россия, Москва

Список литературы

  1. Heuvel M.P., Sporns O. Rich-club organization of the human connectome // J. Neurosci. 2011. V. 31. № 44. P. 15775.
  2. Poli D., Pastore V.P., Martinoia S., Massobrio P. From functional to structural connectivity using partial correlation in neuronal assemblies // J. Neural Eng. 2016. V. 13. № 2. P. 026023.
  3. Tremblay P., Dick A.S. Broca and Wernicke are dead, or moving past the classic model of language neurobiology // Brain Lang. 2016. V. 162. P. 60.
  4. Hamilton L.S., Oganian Yu., Hall J., Chang E.F. Parallel and distributed encoding of speech across human auditory cortex // Cell. 2021. V. 184. № 18. P. 4626.
  5. Берлов Д.Н., Никитина Е.А. Функциональные ансамбли в мозге человека и животных // Физиология человека. 2021. Т. 47. № 5. С. 118. Berlov D.N., Nikitina E.A. Functional ensembles in the brain of human and animals // Human Physiology. 2021. V. 47. № 5. P. 579.
  6. Steinschneider M., Nourski K.V., Rhone A.E. et al. Differential activation of human core, non-core and auditory-related cortex during speech categorization tasks as revealed by intracranial recordings // Front. Neurosci. 2014. V. 8. P. 240.
  7. Щемелева О.В., Жукова О.В., Шелепин Ю.Е. и др. Электрофизиологические показатели деятельности мозга в процессе вербального и невербального взаимодействия собеседников // Физиология человека. 2019. Т. 45. № 6. С. 16. Shchemeleva О.V., Zhukova О.V., Shelepin Yu.Е. et al. Electrophysiological indicators of brain activity in the process of verbal and non-verbal communication during the dialogue // Human Physiology. 2019. V. 45. № 6. P. 587.
  8. Weiller C., Bormann T., Saur D. et al. How the ventral pathway got lost – And what its recovery might mean // Brain and Lang. 2011. V. 118. № 1-2. P. 29.
  9. Больгина Т.А., Малютина С.А., Завьялова В.В. и др. Парадигма для определения латерализации языка в мозге: естественнонаучный метод на службе лингвистики // Вестник Российского фонда фундаментальных исследований. 2016. № 3(91). С. 83. Bolgina T.A., Malyutina S.A., Zavyalova V.V. et al. The paradigm of language lateralization in the brain: natural sciences method for linguistics // Russ. Found. Basic Res. J. 2016. № 3(91). P. 83.
  10. Жирнова В.А., Зырянов А.С., Гордеева Е.А. и др. Функциональное интраоперационное картирование левой височной доли: задание имеет значение / Когнитивная наука в Москве: новые исследования // Материалы конференции, Москва, 19 июня 2019 г. Издательство: БукиВеди, 2019. С. 609.
  11. Черниговская Т.В., Давтян С.Э., Петрова Н.Н., Стрельников К.Н. Специфика полушарной асимметрии восприятия интонаций в норме и при шизофрении // Физиология человека. 2004. Т. 30. № 4. С. 32. Chernigovskaya T.V., Davtian S.E., Petrova N.N., Strelnikov K.N. Hemispheric asymmetry in prosody perception by healthy subjects and schizophrenic patients // Human Physiology. 2004. V. 30. № 4. P. 403.
  12. Бахтин М.М. Проблема речевых жанров / Эстетика словесного творчества. М.: Искусство, 1979. С. 237.
  13. Шмелева Т.В. Модель речевого жанра / Жанры речи. Вып. 1. Саратов: “Колледж”, 1997. С. 88.
  14. Седов К.Ф. Общая и антропоцентрическая лингвистика. М.: Изд. Дом ЯСК, 2016. 440 с.
  15. Дементьев В.В. Теория речевых жанров: Монография. М.: Знак, 2010. 600 с.
  16. Балашова Л.В., Дементьев В.В. Русские речевые жанры. 2-е изд. М.: Изд. Дом ЯСК, 2022. 832 с.
  17. Брызгунова Е.А. Интонация / Русская грамматика. М.: Наука, 1980. Т. 1. С. 96.
  18. Кодзасов С.В. Исследования в области русской просодии. М.: Языки славянских культур, 2009. 491 с.
  19. Янко Т.Е. Интонационные стратегии русской речи в сопоставительном аспекте. М.: Языки славянских культур, 2008. 312 с.
  20. Янко Т.Е. Просодии и жесты как средства выражения иллокуций / Слово и жест. Научная конференция, посвященная памяти Е.А. Гришиной (“Гришинские чтения”), Москва, 8 февраля 2018 г. М.: Институт русского языка им. В.В. Виноградова РАН, 2018. С. 24.
  21. Yanko T.E. The system of the Russian prosody // Przegląd Wschodnioeuropejski. (East European Rew.) 2020. V. 11. № 1. P. 317.
  22. Янко Т.Е. Интеграция речевых актов в структуру дискурса: просодические стратегии // Когнитивные исследования языка. 2019. № 38. С. 587. Yanko T.E. [Speech acts in discourse: the prosodic strategies of marking the discourse links] // Cognitive Studies of Language. 2019. № 38. P. 587.
  23. Маланчук И.Г. Речь как психический процесс: Монография. Красноярск: КГПУ им. В.П. Астафьева, 2009. 285 с.
  24. Аннушкин В.И. История русской риторики: Хрестоматия. М.: Флинта, 2016. С. 246.
  25. Новое в зарубежной лингвистике. Вып. 17. Теория речевых актов. М.: Прогресс, 1986. 423 с.
  26. Вежбицка А. Речевые жанры / Жанры речи. Вып. 1. Саратов, Колледж, 1997. С. 99.
  27. Антология речевых жанров: повседневная коммуникация. Под ред. Седова К.Ф. М.: Лабиринт, 2007. 118 с.
  28. Эффективное речевое общение (базовые компетенции). Под ред. Сковородникова А.П. Красноярск: СФУ, 2014. 852 с.
  29. Веккер Л.М. Психика и реальность: Единая теория психических процессов. М.: Смысл, 1998. Гл. 21. 679 с.
  30. Львов М.Р. Язык и речь // Начальная школа. 2001. № 1. С. 83.
  31. Коваленко Н.А. Системный подход к фразовой просодии слова: автореф. дис. … д-ра филол. наук. М.: ИЯ РАН, 2002. 42 с.
  32. Попов М.Б. Фонетика современного русского языка: учеб. для вузов. СПб.: СПбГУ, 2014. 303 с.
  33. Беар М., Коннорс Б.В., Парадизо М.А. Нейронауки. Исследование мозга. 4-е изд., в 3-х т. Т. 3. Мозг и поведение. Изменяющийся мозг. М., СПб.: Диалектика, 2021. Гл. 20. С. 279.
  34. Баарс Б., Гейдж Н. Мозг, познание, разум: введение в когнитивные нейронауки: в 2-х т. Т. 2. 5-е изд. М.: Лаборатория знаний, 2021. 464 с.
  35. Циркин В.И., Трухина С.И., Трухин А.Н. Нейрофизиология: основы психофизиологии: учебник для вузов. 2-е изд. М.: Юрайт, 2022. 577 с.
  36. Больгина Т.А., Малютина С.А., Завьялова В.В. и др. Русскоязычная фМРТ-парадигма для локализации речевых зон в мозге / Седьмая международная конференция по когнитивной науке. Светлогорск, 20–24 июня 2016 г. Тезисы докладов. 2016. С. 163.
  37. Egorova N., Shtyrov Yu., Pulvermüller F. Brain basis of communicative action in language // Neuroimage. 2016. V. 125. P. 857.
  38. Guex R., Grandjean D., Frühholz S. Behaioral correlates of temporal attention biases during emotional prosody perception // Sci. Rep. 2022. V. 12. № 1. P. 16754.
  39. Sheppard S., Stockbridge M., Murray L., Blake M. The company prosodic deficits keep following right hemisphere stroke: a systematic review // J. Int. Neuropsychol. Soc. 2022. V. 28. № 10. P. 1075.
  40. Petkov C.I., Jarvis E.D. Birds, primates, and spoken language origins: behavioral phenotypes and neurobiological substrates // Front. Evol. Neurosci. 2012. V. 4. P. 12.
  41. Scharff C., Friederici A.D., Petrides M. Neurobiology of human language and its evolution: primate and non-primate perspectives // Front. Evol. Neurosci. 2013. V. 5. P. 1.
  42. Searcy W.A., Nowicki S. Birdsong learning, avian cognition and the evolution of language // Anim. Behav. 2019. V. 151. P. 217.
  43. Lipkind D., Geambasu A., Levelt C. The development of structured vocalizations in songbirds and humans: a comparative analysis // Top. Cogn. Sci. 2020. V. 12. № 3. P. 894.
  44. Bruno J.H., Jarvis E.D., Liberman M., Tchernichovski O. Birdsongs learning and culture: analogies with human spoken language // Ann. Rew. Ling. 2021. V. 7. № 1. P. 449.
  45. Jüchter C., Beutelmann R., Klump G.M. Speech sound discrimination by Mongolian gerbils // Hear. Res. 2022. V. 418. P. 108472.
  46. Scott S.K., Wise R.J.S. The functional neuroanatomy of prelexical processing in speech perception // Cognition. 2004. V. 92. № 1–2. P. 13.
  47. Ляксо Е.Е. Вокально-речевое развитие ребенка в первый год жизни // Рос. физиол. журн. им. И.М. Сеченова. 2003. Т. 89. № 2. С. 207. Lyakso E.E. [Vocal and speech development of a child in the first year of life] // Ross. Fiziol. Zh. Im. I. M. Sechenova. 2003. V. 89. № 2. P. 207.
  48. Цейтлин С.Н. Некоторые особенности начального детского синтаксиса / Русское слово и русский текст: история и современность. Сб. науч. статей. СПб.: РГПУ им. А.И. Герцена, 2007. С. 189.
  49. Mahmoudzadeh M., Dehaene–Lambertz G., Fournier M. et al. Sillabic discrimination in premature human infants prior to complete formation of cortical layers // PNAS. 2013. V. 110. № 12. P. 4846.
  50. Friedrich M., Friederici A.D. The origins of word learning: Brain responses of 3-month-olds indicate their rapid association of object and words // Dev. Sci. 2015. V. 20. № 2. P. e12357.
  51. Dehaene–Lambertz G. The human infant brain: A neural architecture able to learn language // Psychon. Bull. Rev. 2017. V. 24. № 1. P. 48.
  52. Fló A., Benjamin L., Palu M., Dehaene–Lambertz G. Sleeping neonates track transitional probabilities in speech but only retain the first syllable of words // Sci. Rep. 2022. V. 12. № 1. P. 4391.
  53. Menn K.H., Michel C., Meyer L. et al. Natural infant-directed speech facilitates neural tracking of prosody // Neuroimage. 2022. V. 251. P. 118991.
  54. Stern D.N. The first relationship: infant and mother. Cambridge: Harvard Univ. Press, 1977. 149 p.
  55. Маланчук И.Г. Развитие диалогических форм речи у ребенка на первом году жизни / Детская речь как предмет лингвистического исследования: материалы междунар. конф. Отв. ред. С.Н. Цейтлин. СПб., 2004. С. 163.
  56. Dore J. The development of speech acts. The Hague: Mouton, 1975.
  57. Николаева Т.М. О “лингвистике речи” (в частности, о междометии) // Вопросы языкознания. 2015. № 4. С. 7. Nikolaeva T.M. [On the “linguistics of speech”] // Voprosy Jazykoznanija. 2015. № 4. P. 7.
  58. Выпуск 5: Жанр и культура / Жанры речи. Отв. ред. В.В. Дементьев. Саратов: ИЦ “Наука”, 2007. 440 с.
  59. Сидоренко А.В. Детская клятва в советскую эпоху: речежанровые характеристики // Жанры речи. 2016. № 2(14). С. 72. Sidorenko A.V. Children’s oath in the Soviet era: speech genre characteristics // Speech Genres. 2016. № 2(14). P. 72.
  60. Кощеева О.В. Ребенок, речевой жанр и творчество: к проблеме становления жанров в детской речи / Жанры речи: сб. науч. ст. Саратов; М.: Лабиринт, 2012. Вып. 8. С. 237.
  61. Пешковский А.М. Русский синтаксис в научном освещении. 8-е изд., доп. М.: Языки славянской культуры, 2001. 544 с.
  62. Рабенко Т.Г. Инвариантные и вариантные признаки жанров естественной письменной речи (на материале жанров “личный дневник”, “личное письмо”, “личная записка”) // Жанры речи. 2020. № 1(25). С. 6. Rabenko T.G. The genres of natural writing “personal diary”, “personal letter”, “personal note”: invariant and variant // Speech Genres. 2020. № 1(25). P. 6.
  63. Gillis M., Vanthornhout J., Simon J.Z. et al. Neural markers of speech comprehension: measuring EEG tracking of linguistic speech representations, controlling the speech acoustics // J. Neurosci. 2021. V. 41. № 50. P. 10316.
  64. Broderick M.P., Zuk N.J., Anderson A.J., Lalor E.C. More than words: neurophysiological correlates of semantic dissimilarity depend on comprehension of the speech narrative // Eur. J. Neurosci. 2022. V. 56. № 8. P. 5201.
  65. Preisig B.C., Riecke L., Hervais-Adelman A. Speech sound categorization: The contribution of non-auditory and auditory cortical regions // Neuroimage. 2022. V. 258. P. 119375.
  66. Tomasello R., Grisoni L., Boux I. et al. Instantaneous neural processing of communicative functions conveyed by speech prosody // Cereb. Cortex. 2022. V. 32. № 21. P. 4885.
  67. Кантер Л.А. Просодические характеристики речи как объект системного анализа: автореф. дис. … докт. филол. наук. М.: ИЯ АН СССР, 1990. 52 с.
  68. Ischebeck A.K., Friederici A.D., Alter K. Processing prosodic boundaries in natural and hummed speech: an fMRI study // Cereb. Cortex. 2008. V. 18. № 3. P. 541.
  69. Steinhauer K., Alter K., Friederici A.D. Brain potentials indicate immediately use of prosodic cues in natural speech processing // Nat. Neurosci. 1999. V. 2. № 2. P. 191.
  70. Ćwiek A., Fuchs S., Draxler Ch. et al. Novel vocalizations are understood across cultures // Sci. Rep. 2021. V. 11. № 1. P. 1.
  71. Aso M., Takamichi Sh., Takamune N., Saruwatari H. Acoustic model-based subword tokenization and prosodic-context extraction without language knowledge for text-to-speech synthesis // Speech Comm. 2020. V. 125. P. 53.
  72. Dick A.S., Bernal B., Tremblay P. The language connectome: new pathways, new concepts // Neuroscientist. 2014. V. 20. № 5. P. 453.
  73. Gansonre C., Højlund A., Leminen A. et al. Task-free auditory EEG paradigm for probing multiple levels of speech processing in the brain // Psychophysiology. 2018. V. 55. № 11. P. e13216.
  74. Brown E.C., Stedelin B., Koike S. et al. Speech-related auditory salience detection in the posterior superior temporal region // Neuroimage. 2022. V. 248. P. 118840.
  75. Soltani A., Koechlin E. Computational models of adaptive behavior and prefrontal cortex // Neuropsychopharmacol. 2022. V. 47. № 1. P. 58.
  76. Schmahmann J.D., Guell X., Stoodley C.J., Halko M.A. The theory and neuroscience of cerebellar cognition // Annu. Rev. Neurosci. 2019. V. 42. P. 337.
  77. Runnqvist E., Chanoine V., Strijkers K. et al. The cerebellum is involved in internal and external speech error monitoring // Cereb. Cortex Comm. 2021. V. 2. № 2. P. tgab038.
  78. LeBel A., Jain S., Huth A.G. Voxelwise encoding models show that cerebellar language representations are highly conceptual // J. Neurosci. 2021. V. 41. № 50. P. 10341.
  79. Morales M., Patel T., Tamm A. et al. Similar neural networks respond to coherence during comprehension and production of discourse // Cereb. Cortex. 2022. V. 32. № 19. P. 4317.
  80. Battiston F., Guillon J., Chavez M. et al. Multiplex core-periphery organization of the human connectome // J. R. Soc. Interface. 2018. V. 15. № 146. P. 20180514.
  81. Severijnen G.G.A., Bosker H.R., Piai V., McQueen J.M. Listeners track talker-specific prosody to deal with talker-variability // Brain Res. 2021. V. 1769. P. 147605.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2.

Скачать (94KB)
Метаданные
3.

Скачать (142KB)
Метаданные
4.

Скачать (212KB)
Метаданные
5.

Скачать (252KB)
Метаданные

© И.Г. Маланчук, В.А. Орлов, С.И. Карташов, Д.Г. Малахов, 2023

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах