Мультимодальный характер цифровой коммуникации: функционирование эмодзи в межличностном общении

Обложка

Цитировать

Полный текст

Аннотация

Технологические изменения и развитие цифровых средств коммуникации привели к формированию особой семиотики в цифровой сфере, отличающейся мультимодальным характером и включающим помимо прочего такие паралингвистические знаки как эмодзи, эмотиконы, мемы и др., которые выступают своего рода компенсаторным механизмом в новых реалиях коммуникативного взаимодействия. Повышенный интерес пользователей к различным иконическим знакам в цифровом общении вызывает значительный интерес исследователей самых разных областей научного знания. Цель исследования заключается в рассмотрении когнитивной, семиотической и психолингвистической природы эмодзи в рамках межличностного взаимодействия путем анализа их функционирования в текстах быстрых сообщений и постах в соцсетях, а также в попытке выявить механизмы их воздействия на адресата. Материалом исследования послужили англоязычные, русскоязычные и франкоязычные поликодовые тексты быстрых сообщений в различных мессенджерах и в постах в сети Интернет, а также общедоступные публикации в социальных сетях и рассылки рекламного характера. Исследование проводилось с помощью методов контекстуального, лингво-прагматического и контент-анализа. В ходе исследования было установлено, что эмодзи в рамках межличностной коммуникации выполняют функции невербальной составляющей общения, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую функции. Данные символы, вводимые в контекст цифрового общения, служат помимо компенсаторного механизма и как средство воздействия на адресата, реципиента сообщения. Слияние вербальной и иконической составляющих запускает механизм двойного фокусирования, при котором восприятие обеспечивается всеми когнитивными механизмами, с подключением рациональной и эмоционально-бессознательной составляющих.

Об авторах

Елена Александровна Кольцова

Санкт-Петербургский горный университет

Автор, ответственный за переписку.
Email: elena.a.koltsova@gmail.com
ORCID iD: 0000-0001-8724-2181

кандидат филологических наук, доцент, доцент кафедры иностранных языков

199106, Российская Федерация, Санкт-Петербург, Васильевский остров, 21 линия, д. 2

Фаина Иосифовна Карташкова

Ивановский государственный университет

Email: kartashkova@rambler.ru
ORCID iD: 0000-0001-7095-9143

доктор филологических наук, профессор, профессор кафедры зарубежной филологии, почетный работник высшего профессионального образования РФ, руководитель НОЦ «Лаборатория коммуникативного поведения человека»

153025, Российская Федерация, Иваново, ул. Ермака, д. 39

Список литературы

  1. Dresner, E., & Herring, S.C. (2010). Functions of the Nonverbal in CMC: Emoticons and Illocutionary Force. Communication Theory, 20(3), 249-268. https://doi.org/10.1111/ j.1468-2885.2010.01362
  2. Aull, B. (2019). A study of phatic emoji use in WhatsApp communication. Internet Pragmatics, 2(2), 206-232. https://doi.org/10.1075/ip.00029.aul
  3. Bai, Q., Dan, Q., Mu, Z., & Yang, M. (2019). A Systematic Review of Emoji: Current Research and Future Perspectives. Frontiers in Psychology, 10. https://doi.org/10.3389/ fpsyg.2019.02221
  4. Evans, V. (2017). The Emoji Code: The Linguistics Behind Smiley Faces and Scaredy Cats. UK: Michael O’Mara Publ.
  5. Prada, M., Rodrigues, D.L., Garrido, M.V., Lopes, D., Cavalheiro, B., & Gaspar, R. (2018). Motives, frequency and attitudes toward emoji and emoticon use. Telematics and Informatics, 35(7), 1925-1934. https://doi.org/10.1016/j.tele.2018.06.005
  6. Rodrigues, D., Prada, M., Gaspar, R., Garrido, M.V., & Lopes, D. (2017). Lisbon Emoji and Emoticon Database (LEED): Norms for emoji and emoticons in seven evaluative dimensions. Behavior Research Methods, 50(1), 392-405. https://doi.org/10.3758/s13428-017-0878-6
  7. Danesi, M. (2016). The semiotics of emoji: The rise of visual language in the age of the internet. Bloomsbury Publ.
  8. McLuhan, M. (1962). The Gutenberg Galaxy: The Making of Typographic Man. London & New York.
  9. Emoji Report 2015. Emoji Research Team 2015. URL: http://emogi.com/documents/Emoji_ Report_2015.pdf. (accessed: 20.12.2021).
  10. Kaye, L.K., Wall, H.J., & Malone, S.A. (2016). “Turn that frown upside-down”: A contextual account of emoticon usage on different virtual platforms. Computers in Human Behavior, 60, 463-467. https://doi.org/10.1016/j.chb.2016.02.088
  11. Ge, J. (2019). Emoji Sequence Use in Enacting Personal Identity. In: Companion Proceedings of The 2019 World Wide Web Conference. https://doi.org/1145/3308560.3316545
  12. Lu, X., Ai, W., Liu, X., Li, Q., Wang, N., Huang, G., & Mei, Q. (2016). Learning from the ubiquitous language. In: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. https://doi.org/10.1145/2971648.2971724
  13. Ljubešić, N., & Fišer, D. (2016). A Global Analysis of Emoji Usage. In: Proceedings of the 10th Web as Corpus Workshop. https://doi.org/10.18653/v1/w16-2610
  14. Cheng, L. (2017). Do I mean what I say and say what I mean? A cross cultural approach to the use of emoticons & emojis in CMC messages. Fonseca Journal of Communication, 15, 199-217. https://doi.org/10.14201/fjc201715199217
  15. Chik, A., & Vásquez, C. (2017). A comparative multimodal analysis of restaurant reviews from two geographical contexts. Visual Communication, 16(1), 3-26. https://doi.org/10.1177/1470357216634005
  16. Lin, T.J., & Chen, C.H. (2018). A preliminary study of the form and status of passionate affection emoticons. International Journal of Design, 12(2), 75-90.
  17. Koltsova, Е.А. (2020). New mechanisms of online communication in the 21st century. In: A Person in Modern Communication. Ivanovo. pp. 23-30. (In Russ.).
  18. Herring, S.C., & Dainas, A.R. (2020). Gender and Age Influences on Interpretation of Emoji Functions. ACM Transactions on Social Computing, 3(2), 1-26. https://doi.org/10.1145/3375629
  19. Chen, Z., Lu, X., Ai, W., Li, H., Mei, Q., and Liu, X. (2018). Through a gender lens: learning usage patterns of emojis from large-scale android users. In: Paper Presented at the 2018 World Wide Web Conference on World Wide Web (Lyon). https://doi.org/10.1145/3178876.3186157
  20. Butterworth, S.E., Giuliano, T.A., White, J., Cantu, L., & Fraser, K.C. (2019). Sender Gender Influences Emoji Interpretation in Text Messages. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.00784
  21. Cappallo, S., Svetlichnaya, S., Garrigues, P., Mensink, T., & Snoek, C.G.M. (2019). New Modality: Emoji Challenges in Prediction, Anticipation, and Retrieval. IEEE Transactions on Multimedia, 21(2), 402-415. https://doi.org/10.1109/tmm.2018.2862363
  22. Gawne, L., & McCulloch, G. (2019). Emoji as digital gestures. Language@ Internet, 17(2).
  23. Na’aman, N., Provenza, H., & Montoya, O. (2017). Varying Linguistic Purposes of Emoji in (Twitter) Context. In: Proceedings of ACL 2017, Student Research Workshop. https://doi.org/10.18653/v1/p17-3022
  24. Das, G., Wiener, H.J.D., & Kareklas, I. (2019). To emoji or not to emoji? Examining the influence of emoji on consumer reactions to advertising. Journal of Business Research, 96, 147-156. https://doi.org/10.1016/j.jbusres.2018.11.007
  25. Ge, J., & Gretzel, U. (2018). Emoji rhetoric: a social media influencer perspective. Journal of Marketing Management, 34(15-16), 1272-1295. https://doi.org/10.1080/026725 7x.2018.1483960
  26. Voinov, D.A. (2016). Emoji as a technology for political communication on the Internet. Electronic Periodical Scientific Journal the Age of Quality, 4, 103-112. (In Russ.).
  27. Esposito, G., Hernández, P., van Bavel, R., & Vila, J. (2017). Nudging to prevent the purchase of incompatible digital products online: An experimental study. PloS one, 12(3), e0173333.
  28. Moreno-Sandoval, L.G., Sánchez-Barriga, C., Buitrago, K.E., Pomares-Quimbaya, A., & Garcia, J.C. (2018). Spanish Twitter Data Used as a Source of Information About Consumer Food Choice. Machine Learning and Knowledge Extraction, 134-146. https://doi.org/10.1007/978-3-319-99740-7_9
  29. McShane, L., Pancer, E., Poole, M., & Deng, Q. (2021). Emoji, Playfulness, and Brand Engagement on Twitter. Journal of Interactive Marketing, 53, 96-110. https://doi.org/10.1016/j. intmar.2020.06.002
  30. Chairunnisa, S., & A.S., B. (2017). Analysis of Emoji and Emoticon Usage in Interpersonal Communication of Blackberry Messenger and WhatsApp Application User. International Journal of Social Sciences and Management, 4(2), 120-126 https://doi.org/10.3126/ijssm. v4i2.17173
  31. Gibson, W., Huang, P., & Yu, Q. (2018). Emoji and communicative action: The semiotics, sequence and gestural actions of “face covering hand.” Discourse, Context & Media, 26, 91-99 https://doi.org/10.1016/j.dcm.2018.05.005
  32. Phan, W.M. J., Amrhein, R., Rounds, J., & Lewis, P. (2017). Contextualizing Interest Scales with Emojis: Implications for Measurement and Validity. Journal of Career Assessment, 27(1), 114-133. https://doi.org/10.1177/1069072717748647
  33. Brody, N., & Caldwell, L. (2017). Cues filtered in, cues filtered out, cues cute, and cues grotesque: Teaching mediated communication with emoji Pictionary. Communication Teacher, 33(2), 127-131. https://doi.org/10.1080/17404622.2017.1401730
  34. Kelly, R., & Watts, L. (2015). Characterising the inventive appropriation of emoji as relationally meaningful in mediated close personal relationships. Experiences of technology appropriation: Unanticipated users, usage, circumstances, and design, 2.
  35. Koltsova, Е.А. (2018). Emoji as a new form of communication: functional and cognitive aspects. Cognitive Studies of Language, 35, 121-128. (In Russ.).
  36. Goren, C.C., Sarty, M., & Wu, P.Y. (1975). Visual following and pattern discrimination of facelike stimuli by newborn infants. Pediatrics, 56(4), 544-549.
  37. Johnson, M.H. (1991). Information processing and storage during filial imprinting. Cambridge: Cambridge University Press.
  38. Ekman, P., Friesen, W.V., & Ellsworth, P. (1972). Introduction to Research Findings. Emotion in the Human Face. https://doi.org/10.1016/b978-0-08-016643-8.50023-9
  39. Haxby, J.V., Hoffman, E.A., & Gobbini, M.I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4(6), 223-233. https://doi.org/10.1016/ s1364-6613(00)01482-0
  40. Haxby, J.V., Hoffman, E.A., & Gobbini, M.I. (2002). Human neural systems for face recognition and social communication. Biological Psychiatry, 51(1), 59-67. https://doi.org/10.1016/ s0006-3223(01)01330-0
  41. Yuasa, M., Saito, K., & Mukawa, N. (2011). Brain activity when reading sentences and emoticons: an fMRI study of verbal and nonverbal communication. Electronics and Communications in Japan, 94(5), 17-24. https://doi.org/10.1002/ecj.10311

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».