Мультимодальные коммуникативные действия в экспозитивном диалоге: развитие общей и новой темы

Обложка

Цитировать

Полный текст

Аннотация

Устанавливается распределение и структура мультимодальных кластеров, включающих коммуникативные действия запроса, развития темы и ответного действия в экспозитивном диалоге. Гипотеза исследования заключается в том, что формирование мультимодальных кластеров действий определяется развитием общей (для двух участников диалога) или новой темы - коммуникативного действия, которое определяет ядро кластера. Для проверки гипотезы проводится мультимодальный эксперимент, в ходе которого организуется запись жестового поведения участников с применением технологии захвата движения (Perception Neuron Motion Capture) и их зрительного поведения с помощью очков-айтрекеров (Tobii Pro Glasses 2), а также их речи и мультимодального поведения в целом с помощью стационарной камеры. В результате установлены значительные различия в использовании взгляда, направленного на лицо собеседника, и контактоустанавливающих жестов под влиянием запроса и ответного действия в кластерах с ядром - развитием общей или новой темы; при этом использование взгляда, направленного на лицо собеседника, демонстрирует большую активность (частотность) и разнообразие. Исследование показало, что использование взаимно направленного взгляда преобладает в ходе запроса в составе кластера развития общей темы, в то время как развитие новой темы определяет более интенсивное использование взгляда слушающим в ходе ответного действия. Также выявлено, что одновременное (обоими участниками) вербальное развитие темы чаще происходит на этапе развития общей темы. Результаты доказывают, что социальное взаимодействие и коммуникация в экспозитивном диалоге характеризуются мультимодальностью и определяют роль взгляда, жеста и вербального действия в структуре мультимодальных кластеров.

Об авторах

Мария Ивановна Киосе

Московский государственный лингвистический университет; Институт языкознания РАН

Автор, ответственный за переписку.
Email: maria_kiose@mail.ru
ORCID iD: 0000-0001-7215-0604
Scopus Author ID: 56642747500
ResearcherId: AAB-7989-2019

доктор филологических наук, доцент, ведущий научный сотрудник Центра Cоциокогнитивных исследований дискурса Московского государственного лингвистического университета ; ведущий научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Анна Васильевна Леонтьева

Московский государственный лингвистический университет; Институт языкознания РАН

Email: lentevanja27@gmail.com
кандидат филологических наук, научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН 119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Ольга Владимировна Агафонова

Московский государственный лингвистический университет; Институт языкознания РАН

Email: olga.agafonova92@gmail.com
ORCID iD: 0000-0002-2184-163X
SPIN-код: 3516-1947

младший научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Андрей Андреевич Петров

Московский государственный лингвистический университет; Институт языкознания РАН

Email: petrov.drew@yandex.ru
ORCID iD: 0000-0003-0368-8800
SPIN-код: 7290-4450

научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Список литературы

  1. Carlson, L. (1983). Dialogue Games. An Approach to Discourse Analysis. Dordrecht: D. Reidel Publ.
  2. Baranov, A.N. & Kreydlin, G.E. (1992). Illocutionary Forcing in the Structure of Dialogue. Topics in the Study of Language, 2, 84-99. (In Russ.).
  3. Shvedova, N.Yu. (2003). Essays on the syntax of Russian spoken speech. Moscow: Azbukovnik. Шведова Н.Ю. Очерки по синтаксису русской разговорной речи. М.: Азбуковник, 2003.
  4. Kendon, A. (1995). Gestures as illocutionary and discourse structure markers in Southern Italian conversation. Journal of Pragmatics, 23(3), 247-279.
  5. Brône, G., Feyaerts, K. & Oben, B. (2013). Multimodal turn-taking in dialogue: on the interplay of eye gaze, speech and gesture. In: Proceedings of AFLiCo5: Empirical approaches to multi-modality and to language variation. Lille. pp. 21-22.
  6. Kendrick, K.H. & Holler, J. (2017). Gaze direction signals response preference in conversation. Research on Language and Social Interaction, 50, 12-32.
  7. Korotaev, N.A. (2023). Collaborative constructions in Russian conversations: A multichannel perspective. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 22. Moscow. pp. 250-258. (In Russ.).
  8. Haxby, J.V., Hoffman, E.A. & Gobbini, M.I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4, 223-233.
  9. Senju, A. & Johnson, M.H. (2009). The eye contact effect: mechanisms and development. Trends in Cognitive Sciences, 13, 127-134.
  10. Burgoon, J.K., Guerrero, L.K. & Floyd, K. (2010). Nonverbal Communication. London: Routledge.
  11. Givón, T. (1987). Beyond foreground and background. In: R.S. Tomlin (Ed.) Coherence and grounding in discourse. Amsterdam: Benjamins. pp. 175-188.
  12. Chafe, W. (1994). Discourse, Consciousness, and Time. The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: The University of Chicago Press.
  13. Longacre, R. (1983). The grammar of discourse. New York: Plenum.
  14. Duncan, S. (1974). On the structure of speaker-auditor interaction during speaking turns. Language and Society, 3, 161-180.
  15. Mann, W.C. & Thompson, S.A. (1987). Rhetorical Structure Theory. A Theory of text Organization. California: University of Southern California.
  16. Kibrik, A.A. & Podlesskaya, V.I. (2009). Night Dream Stories. A corpus study of spoken Russian discourse. Moscow: Languages of Slavic Culture.
  17. Maschler, Y. & Schiffrin, D. (2015). Discourse Markers: Language, Meaning, and Context. In: The Handbook of Discourse Analysis. Second Edition. Vol. I. London: Bloomsbury Publishing Plc. pp. 189-221.
  18. Sharonov, I.A. (2016). Discursive words and communicatives. In: Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference “Dialogue”, 15. Moscow. pp. 605-615. (In Russ.).
  19. Sherstinova, T.Yu. (2016). The Structure of everyday dialogue as the sequence of speech acts. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 15. Moscow. pp. 616-631.
  20. Bogdanova-Beglarian, N., Sherstinova, T., Blinova, O. & Martynenko, G. (2017). Linguistic Features and Sociolinguistic Variability in Everyday Spoken Russian. In: Karpov A., Potapova R., Mporas I. (eds) Speech and Computer. SPECOM 2017. Lecture Notes in Computer Science. Vol. 10458. Springer: Cham. pp. 503-511.
  21. Troshchenkova, E.V. & Blinova, O.V. (2020). Pragmatic markers in the aspect of communicative alignment. Science Journal of Volgograd State University. Linguistics, 19(3), 49-58.
  22. Nippold, M.A. & Scott, C.M. (eds.). (2010). Expository discourse in children, adolescents, and adults: Development and disorders. New York: Psychology Press.
  23. Lundine, J.P. (2016). The Language of Learning: Expository Discourse and the Influences of Cognition and Language [dissertation]. Columbus: The Ohio State University publ.
  24. Iriskhanova, O.K., Kiose, M.I., Leonteva, A.V. & Agafonova, O.V. (2023). Vague reference in expository discourse: multimodal regularities of speech and gesture. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 22. Moscow. pp. 172-180.
  25. Schiffrin, D. (1987). Discourse Markers. Studies in Interactional Sociolinguistics. Vol. 5. Cambridge: Cambridge University Press.
  26. Blakemore, D. (2002). Relevance and Linguistic Meaning: The Semantics and Pragmatics of Discourse Markers. Cambridge: Cambridge University Press.
  27. Fraser, B. (2015). The combining of Discourse Markers. A beginning. Journal of Pragmatics, 86, 48-53.
  28. Putina, O.N. (2021). Functioning of discourse markers in a dialogue unity RequestResponse (featuring Russian and English languages) [dissertation]. Perm. (In Russ.).
  29. Bulygina, Т.V. & Shmelev, A.D. (1982). Dialogical functions of several types of questions. The Bulletin of the Russian Academy of Sciences. Studies in Literature and Language, 41(4), 314-326. (In Russ.).
  30. Curioni, A., Knoblich, G.K., Sebanz, N. & Sacheli, L.M. (2020). The engaging nature of interactive gestures. PLoS ONE, 15(4). https://doi. org/10.1371/journal.pone.0232128
  31. Bavelas, J.B., Chovil, N., Coates, L. & Roe, L. (1995). Gestures Specialized for Dialogue. Personality and Social Psychology Bulletin, 21(4), 394-405. https://doi. org/10.1177/0146167295214010
  32. Alibali, M.W., Spencer, R., Knox, L. & Kita, S. (2011). Spontaneous gestures influence strategy choices in problem solving. Psychological Science, 22, 1138-1144.
  33. Gukson, T., Goldin-Meadow, S., Newcombe, N. & Shipley, T. (2013). Individual differences in mental rotation: What does gesture tell us? Cognitive Processing, 14, 153-162.
  34. Kang, S., Tversky, B. & Black, J.B. (2014). Gesture and speech in explanations to experts and novices. Spatial Cognition and Computation, 15, 1-26.
  35. Tam, G. & Tellier, M. (2021). Gesture Helps Second and Foreign Language Learning and Teaching. In: Morgenstern, A. & Goldin-Meadow, S. (eds). Gesture in Language: Development Across the Lifespan. Berlin: Mouton de Gruyter. pp. 336-363.
  36. Beilock, S.L. & Goldin-Meadow, S. (2010). Gesture changes thought by grounding it in action. Psychological Science, 21, 1605-1611.
  37. Yasui, E. (2013). Collaborative idea construction: Repetition of gestures and talk in joint brainstorming. Journal of Pragmatics, 46(1), 157-172.
  38. Rodero, E. (2022). Effectiveness, Attractiveness, and Emotional Response to Voice Pitch and Hand Gestures in Public Speaking. Frontiers in Communication, 7, 869084. https:// doi: 10.3389/fcomm.2022.869084
  39. George, N. & Conty, L. (2008). Facing the gaze of others. Neurophysiologie Clinique, 38(3), 197-207.
  40. Brône, G., Oben, B., Jehoul, A., Vranjes, J. & Feyaerts, K. (2017). Eye gaze and viewpoint in multimodal interaction management. Cognitive Linguistics, 28(3), 449-483.
  41. Richardson, D.C. & Dale, R. (2005). Looking to understand: The coupling between speakers’ and listeners’ eye movements and its relationship to discourse comprehension. Cognitive Science, 29(6), 1045-1060.
  42. Clark, H.H. & Krych, M.A. (2004). Speaking while monitoring addressees for understanding. Journal of Memory and Language, 50(1), 62-81.
  43. Amati, F. & Brennan, S.E. (2018). Eye gaze as a cue for recognizing intention and coordinating joint action. In: Brône, G. & Oben, B. (eds.), Eye-tracking in Interaction: Studies on the role of eye gaze in dialogue, 21-46. Amsterdam / Philadelphia: John Benjamins Publ.
  44. Rossano, F. (2012). Gaze in conversation. In: J. Sidnell & T. Stivers (eds.) The handbook of conversation analysis. Malden, MA: Wiley-Blackwell. pp. 308-329.
  45. Goodwin, C. (1981). Conversational organization: Interaction between speakers and hearers. New York: Academic Press.
  46. Beattie, G.W. (1979). Planning units in spontaneous speech: Some evidence from hesitations in speech and speaker gaze direction in conversation. Linguistics, 17, 61-78.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».