Readers' Comprehension of New Text Formats. Part II. Main Theoretical Frameworks and their Empirical Implementation in International Cognitive Science5

封面

如何引用文章

全文:

开放存取 开放存取
受限制的访问 ##reader.subscriptionAccessGranted##
受限制的访问 订阅存取

详细

In this article, we analyze the state-of-the-art in international research on comprehension of texts of new formats. We describe the concept of “multimedia text”, which is widely accepted in literature, as well as discuss its alternatives. Also, we thoroughly describe key theoretical models, such as the Cognitive Theory of Multimedia Learning and the Integrated Model of Text and Picture Comprehension, which are often employed in formulating and testing research hypotheses in this field. Furthermore, we offer a brief overview of meta-analytical studies in this area, which suggests a range of consistent effects (such as a positive impact of illustrations on text comprehension) as well as various external and internal factors influencing these effects (e.g., presence of visual navigation aids or level of a reader’s relevant background knowledge). Finally, we address some emerging research questions which should be tackled in future research. We also highlight the lack of such studies on Russian-language materials and conclude that introducing these questions into Russian psycholinguistics will be beneficial for advancing this field within the global scientific multilingual research context.

作者简介

E. Blinova

Humboldt University of Berlin

编辑信件的主要联系方式.
Email: blinova_e.n@mail.ru

PhD in Psychology, Postgraduate Student, Institute of Psychology

德国, 10117, Berlin, Unter den Linden, 6

O. Shcherbakova

Saint Petersburg State University

Email: o.scherbakova@gmail.com

PhD in Psychology, Leading Research Fellow, Faculty of Psychology

俄罗斯联邦, 199034, St. Petersburg, Universitetskaya emb., 7–9

参考

  1. Atkinson C., Shiffrin R.M. The control of short-term memory // Scientific American. 1971. V. 225. № 2. P. 82–90.
  2. Baddeley A. Working memory // Science. 1992. V. 255. № 5044. P. 556–559.
  3. Baddeley A.D., Hitch G. Working memory // The psychology of learning and motivation. Ed. Bower G.A. Academic Press, 1974. P. 48–79.
  4. Barsalou L.W. Grounded cognition: past, present, and future // Topics in Cognitive Science. 2010. V. 2. № 4. P. 716–724.
  5. Barsalou L.W. Perceptual symbol systems // Behavioral and Brain Sciences. 1999. V. 22. № 4. P. 577–660.
  6. Cohn N. Visual narrative structure // Cognitive Science. 2012. V. 37. № 3. P. 413–452.
  7. Dolan R.J. Emotion, Cognition, and Behavior // Science. 2002. V. 298. № 5596. P. 1191–1194.
  8. England E., Finney A. Interactive Media — What’s that? Who’s involved? ATSF White Paper — Interactive Media UK. 2002. URL: http://www.atsf.co.uk/atsf/interactive_media.pdf (date of access: 17.09.2024).
  9. Glenberg A.M. Few believe the world is flat: How embodied cognition is changing the scientific understanding of cognition // Canadian Journal of Experimental Psychology. 2015. V. 69. № 2. P. 165–171.
  10. Guo D., Zhang S., Wright K.L., McTigue E.M. Do you get the picture? A meta-analysis of the effect of graphics on reading comprehension // AERA Open. 2020. V. 6. № 1.
  11. Hu L., Chen G., Li P., Huang J. Multimedia effect in problem solving: A meta-analysis // Educational Psychology Review. 2021. V. 33. № 3. P. 1717–1747.
  12. Huang W., Roscoe R.D., Craig S.D., Johnson-Glenberg M.C. Extending the cognitive-affective theory of learning with media in virtual reality learning: A structural equation modeling approach // Journal of Educational Computing Research. 2022. V. 60. № 4. P. 807–842.
  13. Johnson-Glenberg M.C. Embodied education in mixed and mediated realties // Virtual, augmented, and mixed realities in education. Smart computing and intelligence / Eds. Liu D., Dede C., Huang R., Richards J. Singapore: Springer, 2017. P. 193–217.
  14. Johnson-Glenberg M.C., Birchfield D.A., Tolentino L., Koziupa T. Collaborative embodied learning in mixed reality motion-capture environments: Two science studies // Journal of Educational Psychology. 2014. V. 106. № 1. P. 86–104.
  15. Johnson-Glenberg M.C., Yu C.S.P., Liu F. et al. Embodied mixed reality with passive haptics in STEM education: Randomized control study with chemistry titration // Frontiers in Virtual Reality. 2023. V. 4. Art. 1047833.
  16. Lakoff G., Johnson M. Metaphors we live by. Chicago: University of Chicago Press, 2003. 308 p.
  17. Lakoff G., Johnson M. Philosophy in the flesh. N.Y.: Basic Books, 1999. 624 p.
  18. Locke E. Motivation, cognition, and action: An analysis of studies of task goals and knowledge // Applied Psychology. 2000. V. 49. № 3. P. 408–429.
  19. Mayer R.E. Applying the science of learning: Evidence-based principles for the design of multimedia instruction // The American Psychologist. 2008. V. 63. № 8. P. 760–769.
  20. Mayer R.E. Cognitive theory of multimedia learning // The Cambridge Handbook of Multimedia Learning / Ed. R. Mayer. Cambridge: Cambridge University Press, 2014. P. 43–71.
  21. Mayer R.E. Introduction to multimedia learning // The Cambridge Handbook of Multimedia Learning / Ed. R. Mayer. Cambridge: Cambridge University Press, 2014. P. 1–24.
  22. Mayer R.E. Principles based on social cues in multimedia learning: Personalization, voice, image, and embodiment principles // The Cambridge Handbook of Multimedia Learning / Ed. R. Mayer. Cambridge: Cambridge University Press, 2014. P. 345–368.
  23. Moreno R. Does the modality principle hold for different media? A test of the method-affects-learning hypothesis // Journal of Computer Assisted Learning. 2006. V. 22. № 3. P. 149–158.
  24. Moreno R. Instructional technology: Promise and pitfalls // Technology-Based Education: Bringing Researchers and Practitioners Together / Eds. L. PytlikZillig, M. Bodvarsson, R. Bruning. Greenwich, CT: Information Age Publishing, 2005. P. 1–19.
  25. Noetel M., Griffith S., Delaney O. et al. Multimedia design for learning: An overview of reviews with meta-meta-analysis // Review of Educational Research. 2022. V. 92. № 3. P. 413–454.
  26. Noetel M., Griffith S., Delaney O. et al. Video improves learning in higher education: A systematic review // Review of Educational Research. 2021. V. 91. № 2. P. 204–236.
  27. Paivio A. Mental representations: A dual-coding approach. Oxford, England: Oxford University Press, 1986. 322 p.
  28. Richter J., Scheiter K., Eitel A. Signaling text-picture relations in multimedia learning: A comprehensive meta-analysis // Educational Research Review. 2016. V. 17. P. 19–36.
  29. Rolfe V.E., Gray D.T. Are multimedia resources effective in life science education? A meta-analysis // Bioscience Education. 2011. V. 18. № 1. P. 1–14.
  30. Sadoski M. Reading Comprehension is Embodied: Theoretical and Practical Considerations // Educational Psychology Review. 2017. V. 30. № 2. P. 331–349.
  31. Sadoski M., Paivio A. Imagery and text: a dual coding theory of reading and writing. N.Y.: Routledge, 2013. 168 p.
  32. Schnotz W. An integrated model of text and picture comprehension // The Cambridge Handbook of Multimedia Learning / Ed. R. Mayer. Cambridge: Cambridge University Press, 2014. P. 72–103.
  33. Serafini F. Expanding perspectives for comprehending visual images in multimodal texts // Journal of Adolescent and Adult Literacy. 2011. V. 54. № 5. P. 342–350.
  34. Sweller J. Cognitive load theory, learning difficulty, and instructional design // Learning and Instruction. 1994. V. 4. № 4. P. 295–312.
  35. Sweller J., Chandler P. Why some material is difficult to learn // Cognition and Instruction. 1994. V. 12. № 3. P. 185–233.
  36. Sweller J., van Merriënboer J.J.G., Paas F. Cognitive architecture and instructional design: 20 years later // Educational Psychology Review. 2019. V. 31. № 2. P. 261–292.
  37. van Merriënboer J.J.G., Sweller J. Cognitive Load Theory and complex learning: Recent developments and future directions // Educational Psychology Review. 2005. V. 17. № 2. P. 147–177.
  38. Werner W. Reading Visual Texts // Theory and Research in Social Education. 2002. V. 30. № 3. P. 401–428.
  39. Wittrock M.C. Generative processes of comprehension // Educational Psychologist. 1989. V. 24. № 4. P. 345– 376.
  40. Wong R.M., Adesope O.O. Meta-analysis of emotional designs in multimedia learning: A replication and extension study // Educational Psychology Review. 2020. V. 33. P. 357–385.
  41. Xie H., Wang F., Hao Y. et al. The more total cognitive load is reduced by cues, the better retention and transfer of multimedia learning: A meta-analysis and two meta-regression analyses // PLoS ONE. 2017. V. 12. № 8. e0183884.
  42. Young J.Q., Irby D.M., Barilla-LaBarca M.L. et al. Measuring cognitive load: Mixed results from a handover simulation for medical students // Perspectives on Medical Education. 2016. V. 5. № 1. P. 24–32.

补充文件

附件文件
动作
1. JATS XML
下载

版权所有 © Russian Academy of Sciences, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».