Readers' Comprehension of New Text Formats. Part I. Empirical Evidence from Russian and Research Methodology Behind It

Full Text

Информационное пространство современного человека характеризуется разнообразием текстовых форматов, используемых для получения и передачи знаний. На смену классическому вербальному тексту, напечатанному на бумаге, приходят тексты электронные, при создании которых словесно представленная информация подвергается активному форматированию и, что особенно важно, зачастую дополняется элементами иных семиотических систем: статичными и динамичными иллюстрациями, видео- и аудиозаписями. Вслед за описанными изменениями неизбежно трансформируется и архитектура навыка чтения — сложной формы познавательной деятельности человека, освоение которой начинается далеко не сразу после рождения и занимает значительное время. Данная тенденция активно обсуждается специалистами, работающими в области психологии, когнитивных и педагогических наук. Российские эксперты поднимают вопросы о том, насколько новыми для человека являются практики комбинированного использования символов, принадлежащих к разным семиотическим системам, внутри одного текста [28; 39], как современная форма существования текста влияет на когнитивные умения человека [24], какое психологическое воздействие оказывают на читателя тексты новых форматов [19; 23; 36] и каковы когнитивные механизмы их понимания [6; 8; 23; 38].

Несмотря на высокую актуальность обозначенной проблемы, на сегодняшний день в русскоязычном исследовательском пространстве остаются нерешенными многие вопросы, критически значимые для эффективного исследования психологических аспектов работы читателей с текстами новых форматов. Для их осмысления нами была предпринята попытка систематического анализа релевантной научной литературы. Составленный нами обзор состоит из двух частей. В первой части описана текущая ситуация в отношении исследования когнитивных механизмов понимания текстов новых форматов в России, а во второй представлены сведения о практиках изучения аналогичных феноменов в зарубежной научной среде. Таким образом, две части данной статьи обладают взаимодополняющими целями — ознакомить читателей с актуальным ландшафтом исследований обозначенной проблемы внутри российского академического сообщества (часть 1) и предоставить описание наиболее востребованных зарубежных теоретических моделей и методологических решений (часть 2). Это позволит расширить круг исследовательских вопросов и усовершенствовать экспериментальные парадигмы, использующиеся российскими исследователями.

СОВРЕМЕННЫЙ ТЕКСТ: ТЕРМИНОЛОГИЧЕСКАЯ ПРОБЛЕМА

Первым шагом на пути к изучению психологических аспектов работы читателей с текстами новых форматов является выработка единой терминологической системы для обозначения материалов такого рода, так как именно эта мера может значительно способствовать интеграции исследовательских данных, облегчая процессы поиска и анализа научной литературы.

Для описания текстов современных форматов специалисты предлагают множество терминов, различающихся по двум ключевым параметрам: 1) степени их обобщенности и 2) тому, какая из особенностей материала оказывается в фокусе внимания исследователей — наличие в нем знаков различных семиотических групп или же возможность читателя воспринимать текст посредством более чем одной сенсорной системы.

К числу высокообобщенных понятий, используемых для обозначения текстов новых форматов, можно отнести предложенную Е.И. Казаковой категорию текста новой природы как “мысли, зафиксированной на каком-либо носителе, для отображения которой используется связанная последовательность разнородных символов (знаков вербальной и невербальной природы)” [19, с. 104] (здесь и далее курсив наш. — Е.Б., О.Щ.). Близким по смыслу является понятие “креолизированный текст”, которое Ю.А. Сорокин и Т.Ф. Тарасов определяют как “текст, фактура которого состоит из двух негомогенных частей: вербальной (языковой/речевой) и невербальной (принадлежащей к другим знаковым системам, нежели естественный язык)” [41, с. 180]. Однако ряд специалистов критикуют данный термин за недостаточную точность. Как отмечает А.А. Бернацкая, на сегодняшний день отсутствует исчерпывающий список инструментов креолизации текста [5], при этом среди используемых обнаруживаются те, что меняют форму вербального текста, не дополняя его знаками других семиотических систем (например, тип и цвет шрифта). Кроме того, по мнению исследователей, само слово “креолизованный” может вызывать ложные ассоциации с креолизованными языками, а страдательная форма данного причастия — становиться причиной неоправданных представлений читателя о намеренном характере креолизации “классического” вербального текста [4; 28; 37].

Далее можно выделить группу терминов, используемых авторами для указания на тексты, включающие в свой состав элементы различных семиотических систем. Наиболее популярной категорией данной группы является “поликодовый текст” [1; 32; 40; 44; 48]. Впервые поликодовые тексты были противопоставлены монокодовым Г.В. Ейгером и В.Л. Юхтом [17], отмечавшими, что использование первой категории уместно в случаях, когда внутри материала происходит взаимодействие естественного языкового кода с кодом какой-либо иной семиотической системы, в том числе с изобразительными элементами, музыкальным сопровождением и т.д. Схожего определения придерживается А.Г. Сонин, использующий понятие поликодового текста для указания на “текст, построенный на соединении в едином графическом пространстве семиотически гетерогенных составляющих — вербального текста в устной или письменной форме, изображения, а также знаков иной природы” [40, с. 117].

В качестве альтернативных (полностью или частично синонимичных) категории поликодового текста в научной литературе встречаются понятия “контаминированный текст” [3], “интерсемиотический текст” [9] и “видеовербальный текст” [34]. В отдельных случаях авторами используется и категория “мультимедийный текст”, прочно ассоциированная в зарубежном научном дискурсе с материалами: 1) предназначенными для восприятия посредством разных сенсорных систем (например, зрения и слуха) и 2) включающими в свой состав информационные единицы разного типа (например, вербальный нарратив и иллюстрации) [50]. Однако в русскоязычном контексте данному термину приписывается несколько иное значение, основанное на возможности интерактивного, регулируемого компьютерной программой взаимодействия с текстом [39].

Еще одна группа терминов используется авторами для того, чтобы сделать акцент на способе взаимодействия человека с получаемой им из внешнего мира информацией (посредством одной или нескольких сенсорных систем). Как правило, для отражения данного условия используются термины “мульти-” или “полимодальный” [20; 30]. Так, А.А. Кибрик подчеркивает, что категория мультимодальности указывает на различия, которые релевантны для восприятия информации посредством разных органов чувств [20], а Е.Д. Некрасова отмечает, что феномен полимодальности основан на актуализации у человека различных перцептивных каналов [30].

Можно заключить, что ключевое отличие поликодовых текстов от мультимодальных состоит в том, что поликодовые тексты чаще определяют через наличие в материале информационных единиц разного типа, в то время как мультимодальные — через взаимодействие читателя с текстом посредством более чем одной сенсорной системы. Корректность именно такого способа терминологической дифференциации подчеркивается многими специалистами [2; 30; 38] (для ознакомления с альтернативной точкой зрения см.: [11]). Однако, к сожалению, данная категориальная сетка не является строгой, и в некоторых случаях авторы используют оба термина как взаимозаменяемые (см., например: [24; 33]).

Для более детального анализа практик реального использования перечисленных терминов в научной литературе нами был осуществлен поиск публикаций, содержащих каждую из категорий, на портале eLibrary. Для анализа были отобраны публикации, отвечающие следующим критериям: 1) являются статьями, главами монографий и диссертациями, 2) вышли в период с 2003 по 2023 г. и 3) рубрицируются в рамках тематики “Психология”. Результаты поиска, выполненного для каждого из терминов (табл. 1), позволяют заключить, что практики наименования текстов современных форматов не отвечают требованию соблюдения терминологической строгости. Как было показано в предшествующей части данного раздела, наиболее точными категориями можно считать категорию “поликодовый текст”, использующуюся для указания на материал, включающий знаки разных типов (вербальные и невербальные), и категорию “мультимодальный текст” — для указания на материал, элементы которого читатели обрабатывают посредством различных сенсорных систем. В действительности же исследователи чаще всего используют более общую категорию “креолизованный текст” (442 вхождения). Помимо отмеченных ранее “поликодового” (306) и “мультимодального” (163) текстов высоковостребованными оказались также понятия “текст новой природы” (214) и “мультимедийный текст” (166).

 

Таблица 1. Частота использования различных терминов для указания на тексты современных форматов в научных публикациях

Термин	Количество публикаций
Креолизованный текст	442
Поликодовый текст	306
Текст новой природы	214
Мультимедийный текст	166
Мультимодальный текст	94	163
Полимодальный текст	69
Интерсемиотический текст	14
Контаминированный текст	11
Видеовербальный текст	3

 

Данное распределение позволяет заключить, что специалисты склонны к использованию терминов, не имеющих строго очерченного значения и описывающих широкий класс информационных материалов. Представляется, что качество научной коммуникации в области изучения работы читателей с текстами новых форматов может быть повышено при соблюдении исследователями двух требований: 1) выборе наиболее точной категории для указания на использованный ими тип материала и 2) эксплицитном обосновании этого выбора в тексте работы. Данное решение может способствовать открытой дискуссии и в конечном итоге выработке устоявшейся терминологической системы.

В рамках нашей собственной научной деятельности мы использовали термин “иконический текст” для указания на частный случай реализации поликодового материала, при котором текст содержит элементы двух семиотических систем: вербальной (представленной в виде письменной речи) и иконической (представленной в виде иллюстраций). При этом элементы обеих групп выполняют смыслообразующие функции, а для успешного понимания прочитанного читателю необходимо усвоить семантику всех содержащихся в тексте знаков и связей между ними [6; 8]. Представляется, что выбор более специфичных — конкретизирующих — терминов является важным шагом в развитии отдельных направлений внутри общей области исследований понимания современных текстов. Однако оптимальность предложенной нами категории остается предметом дальнейших дискуссий, поскольку в отдельных случаях она используется специалистами для указания на иной тип материала — сугубо иллюстративный (см., например: [31]).

ТЕОРЕТИЧЕСКИЕ МОДЕЛИ ПОНИМАНИЯ СОВРЕМЕННОГО ТЕКСТА

Следующим этапом в процессе изучения взаимодействия читателя с современным текстом можно считать создание и/или выбор теоретической модели, объясняющей логику функционирования соответствующих когнитивных процессов. В отличие от зарубежной традиции, в рамках которой исследователи в большинстве случаев отдают предпочтение когнитивной теории мультимедийного обучения, предложенной Р. Майером (Cognitive Theory of Multimedia Learning, CTML, [50]; см. часть 2 настоящей статьи), в русскоязычном научном пространстве отсутствует общепринятый теоретический подход.

Выполненный нами обзор научной литературы позволил обнаружить крайне ограниченное число публикаций, в которых российские исследователи предлагают оригинальные разработки в области концептуального моделирования когнитивных процессов, опосредующих понимание текстов новых форматов.

Так, сотрудниками отдела психолингвистики Института языкознания РАН были проведены многочисленные экспериментальные исследования, посвященные восприятию креолизованного текста¹. С помощью метода семантического дифференциала специалистам удалось выявить и описать различные эффекты взаимодействия вербальных и невербальных компонентов креолизованного текста, которые в обобщенном виде позволяют судить о наличии у материалов такого типа свойства системности. В выпущенной по материалам данных исследований монографии [23] авторы обозначают два допущения, которые необходимо учитывать при обращении к проблеме когнитивной работы читателей с креолизованным текстом. Оба этих допущения основаны на теории деятельности, предложенной А.Н. Леонтьевым [26]: первое из них предполагает, что процесс понимания креолизованного текста погружен в совместную деятельность ряда людей. Второе же подчеркивает необходимость наличия у коммуникантов “общности сознаний”, возникающей вследствие интериоризации одних и тех же культурных паттернов. Названные допущения важны для успешного понимания креолизованных текстов, поскольку данный процесс состоит, по мнению авторов, из ряда этапов, включающих первичное восприятие вербальной и иллюстративной информации в форме “сенсорной массы” с последующим выделением отдельных сенсорных единиц (тела языкового знака и объекта соответственно) за счет их сравнения с сенсорными эталонами. Далее на этапе перцептивной обработки происходит сличение полученной сенсорной информации с имеющимися у человека перцептивными эталонами и — на финальных этапах работы с текстом — интерпретация, сопоставление и интеграция знаний, полученных в форме семантических единиц разного типа. Таким образом, описанные ранее допущения оказываются особенно релевантны для поиска подходящих для осмысления текста эталонов — культурно обусловленных интерпретативных схем.

Схожая модель понимания поликодовых текстов была представлена ранее в диссертационном исследовании А.Г. Сонина [38]. Обоснование своей модели автор начинает с описания функционирования концепта, которое во многом предвосхищает современные исследования, выполненные в парадигме “воплощенного познания” (для обзора см.: [55]). Так, А.Г. Сонин отмечает, что основой построения концепта выступает особая конфигурация нейронной сети (как совокупности нейрональных структур), имеющая функциональную природу. Ключевые узлы такой сети определяются тем, как часто одни и те же ее компоненты (перцептивные, моторные и эмоциональные) становятся активны в условиях определенного взаимодействия человека с окружающей его средой.

Переходя непосредственно к описанию когнитивных механизмов обработки вербальной и невербальной составляющих поликодовых текстов, автор отмечает, что между ними существуют как сходства, так и различия. В частности, на ранних этапах взаимодействие читателя с вербальным текстом и иллюстрациями происходит схожим образом — поступающая в психику информация проходит процедуру первичной обработки, при которой отдельные компоненты визуальных стимулов подвергаются независимому анализу и последующей интеграции в ассоциативных участках коры головного мозга². Разница в усвоении смысла вербальных и иллюстративных элементов текста обнаруживается на втором этапе когнитивного взаимодействия с информацией: изображение вызывает актуализацию соответствующей ему семантической репрезентации сразу после его перцептивной обработки и уже затем связывается с релевантной лексической единицей (или единицами). Графический образ слова, напротив, требует актуализации его лексической репрезентации для получения доступа к семантическому наполнению соответствующего концепта.

По мнению автора, такое несовпадение в последовательности актуализации различных компонентов концептуальных структур, соответствующих вербальным и невербальным составляющим текста, обусловливает то, каким образом человек интерпретирует предложенный ему материал в целом. Так, на основе иллюстративного наполнения текста читатель формирует предварительную ментальную модель описанного, содержание которой усиливает семантику релевантных концептов, представленных вербально, и ингибирует — семантику нерелевантных. Это позволяет сделать вывод о том, что невербальные компоненты являются ключевыми для общего понимания смысла поликодового текста, в то время как вербальные могут оказывать лишь модулирующее воздействие на результаты построения целостной ментальной репрезентации.

Несмотря на то что представленная А.Г. Сониным теоретическая модель была апробирована в ходе многочисленных экспериментальных исследований и частично согласуется с результатами работ, демонстрирующих значимое влияние изображений на понимание читателями смысла поликодовых текстов [6; 12; 32 и др.], важно отметить, что на сегодняшний день существует несколько экспериментально выявленных фактов, ограничивающих пространство ее применимости.

В их числе, например, установленная склонность читателей начинать работу с текстом с изучения его вербального наполнения [6] и уделять ему значительно больше внимания [51; 52], чем иллюстрациям, даже в тех случаях, когда последние имеют первостепенную значимость (как, например, в случае чтения учебных материалов по геометрии [49]). Как отмечают специалисты, читатели используют разные стратегии при обработке двух названных компонентов поликодового текста: его вербальное наполнение, как правило, анализируется последовательно и тщательно — с целью составления общего представления о смысле прочитанного, в то время как к изображениям люди обращаются ситуативно — при необходимости поиска релевантных для решения задачи визуальных элементов [54; 56]. Таким образом, иллюстрации — даже в случае первоочередного их изучения — позволяют сформировать лишь приблизительную, “черновую” модель знания о структуре/функциях/смысле изучаемого объекта или явления и не могут восприниматься как материал, эквивалентный вербальному тексту с точки зрения итогового объема информации, доступной читателю для усвоения.

Подводя итоги данного раздела, можно заключить, что на сегодняшний день в российском академическом пространстве отсутствует консенсус в отношении предпочтительных теоретических схем для анализа работы читателей с текстами современных форматов. Представляется, что заполнение данного пробела может существенно повысить качество проводимых исследований, обеспечив им общую и выверенную методологию, и, кроме того, способствовать интеграции многочисленных эмпирических результатов, некоторые из которых будут описаны в следующем разделе статьи.

РЕЗУЛЬТАТЫ ЭМПИРИЧЕСКИХ ИССЛЕДОВАНИЙ ПОНИМАНИЯ СОВРЕМЕННОГО ТЕКСТА

Для анализа результатов эмпирических исследований, посвященных проблеме понимания текстов современных форматов, нами был выполнен критический обзор релевантных публикаций. При его подготовке мы отобрали русскоязычные статьи, содержащие ключевые слова, перечисленные в табл. 1 и индексируемые в базе данных WoS, а также статьи, содержащие те же самые слова и слово “эксперимент*”, опубликованные на портале eLibrary (поиск был ограничен периодом 2003–2023 гг.).

После исключения текстов, не отвечающих тематике нашего обзора и/или требованиям к дизайну экспериментальных исследований, нами было получено 13 публикаций (описывающих 10 исследований). Мы осознаем, что столь строгий подход вынудил нас отказаться от рассмотрения значительного числа существующих эмпирических исследований. Однако мы предпочли сосредоточиться на ограниченной выборке материалов, поскольку она, с одной стороны, отражает результаты работ, носящих подчеркнуто экспериментальный характер и/или отвечающих высоким стандартам проведения такого рода исследований, а с другой — позволяет выявить наиболее общие тенденции и распространенные ограничения, встречающиеся в русскоязычных публикациях по данной проблеме.

Результаты проведенного нами анализа позволили заключить, что когнитивная работа читателей с текстами новых форматов зачастую анализируется исследователями в прикладном ключе — как элемент других, более широких социальных практик. Так, четыре исследования были сфокусированы на эффективности использования текстов новых форматов в сфере образования [18; 32; 35; 42]; три исследования были посвящены анализу восприятия интернет-мемов и демотиваторов различной тематики [10; 14–16; 36]; предметом двух работ стало восприятие рекламы как частного случая реализации поликодового текста [21; 22; 25]; и только одна статья не имела выраженного прикладного характера и ставила своей целью сравнение механизмов восприятия людьми целостного креолизованного текста и его отдельных компонентов [29]. При этом в большинстве случаев при описании методологических оснований исследований их авторы ограничивались упоминанием различных концепций (психологических, лингвистических или педагогических), но не представляли детального описания теоретических моделей, лежащих в основе сформулированных ими гипотез.

Другим важным фактором, препятствующим сопоставлению эмпирических данных, полученных в разных работах, стала неоднородность предпочитаемых специалистами методических решений. Так, в представленных исследованиях были реализованы следующие методы (приведены в порядке убывания частотности): анкетирование и анализ устных комментариев испытуемых в отношении материала или способов взаимодействия с ним [10; 13–16; 25; 32; 36], формирующий эксперимент (предоставление испытуемым информационных материалов различного типа и последующее тестирование) [18; 21; 32; 35; 42], метод семантического дифференциала [21; 25; 29], анализ окуломоторных паттернов читателей [14–16; 32], метод классификации текстов по их тематической принадлежности [14–16] и цветовой ассоциативный эксперимент [22].

Кроме того, в проанализированных нами исследованиях были выявлены ограничения, связанные с объемом и алгоритмами анализа полученных данных. Так, в некоторых случаях к экспериментам привлекались малые (например: [42]) или неравные по размеру (например: [21; 22; 32; 35]) группы респондентов, а успешность выполнения методик анализировалась с помощью инструментов, позволяющих говорить об описательных результатах исследования (таких, как сравнение описательных статистик [18; 21; 42] и подсчет частот различных ответов участников [22]), а не о статистической проверке достоверности эффектов, предсказываемых гипотезами.

Несмотря на выявленные ограничения, авторы упомянутых работ продемонстрировали множество интересных тенденций, значимых как для дальнейшего изучения проблемы понимания текстов новых форматов в целом, так и для рассмотрения функций такого материала в различных прикладных областях в частности.

Так, при проведении исследований с помощью метода семантического дифференциала было показано, что отдельные составляющие креолизованного текста (вербальную и иллюстративную) люди воспринимают иначе, чем целостный материал, включающий знаки обеих систем [29] (более широко исследования авторов статьи представлены в [23]), что позволяет судить об их синергетическом взаимодействии в случае одновременного предъявления. В другом исследовании со схожей методологией было обнаружено, что аудиальная и визуальная составляющие рекламных роликов по отдельности оцениваются респондентами более позитивно, чем целостные видеозаписи [21]. При этом, как отмечает автор, содержание материала усваивается людьми с равной эффективностью во всех трех случаях, а более тонкие методы оценки эмоциональных реакций участников — например, цветовой ассоциативный эксперимент — указывают на то, что наиболее положительные и однородные эмоциональные реакции респонденты проявляют при просмотре целостных видеороликов [22]. Представляется, что подобные несоответствия могут быть вызваны дополнительными условиями проведения исследований, такими как когнитивная сложность материала, последовательность и способ его предъявления (так, в первом эксперименте вербальное наполнение текста предъявлялось визуально, а во втором — аудиально; т.е. только во втором случае воздействие было мультимодальным) и пр.

При анализе результатов работ, сфокусированных на эффективности использования текстов новых форматов в образовательном контексте [18; 32; 35; 42], обнаруживаются эффекты, подтверждающие гипотезу о позитивном влиянии таких материалов на результаты обучения. Однако важно отметить, что дизайн некоторых исследований данной категории не полностью отвечал требованиям к проведению экспериментов (например, отсутствие прямого сравнения данных различных экспериментальных групп и контроля сложности материалов для тестирования в [35]). Кроме того, отсутствие последовательного обоснования решений о добавлении невербальных элементов в текст не позволяет с уверенностью говорить о психологических (когнитивных) причинах их положительного воздействия на усвоение знаний обучающимися. Так, например, О.А. Жарина и А.А. Гичева отмечают, что обнаруженные ими позитивные эффекты могут быть обусловлены большей эмоциональной вовлеченностью читателей [18] (которой, разумеется, можно достигнуть и при использовании альтернативных — сугубо вербальных — инструментов).

Эмоциональное воздействие поликодовых текстов на читателей действительно было неоднократно показано, например, в исследованиях, посвященных восприятию интернет-мемов. Наиболее предпочитаемым форматом таких материалов среди подростков оказались видеомемы [36], а эмоциональная вовлеченность взрослой аудитории в процессе изучения мемов, посвященных социальным проблемам (пандемии COVID-19), оказалась связана с актуальностью их темы [10]. Кроме того, интересным является тот факт, что при интерпретации смысла мемов читатели продемонстрировали достаточно высокий уровень когнитивной и метакогнитивной эффективности: фокусировались на ключевой идее материала и могли абстрагироваться от конкретных, ситуативных деталей [Там же]. Результаты исследования Т.В. Лаврентьевой [25] также позволяют взглянуть на динамику эмоционального отношения к мультимедийным материалам (в частности, рекламным постам) у читателей разного возраста. В проведенном автором эксперименте было показано, что молодые люди отдают предпочтение рекламе, в которой присутствует развлекательный контент, в то время как респонденты более зрелого возраста сфокусированы на информационном наполнении постов и вместе с тем имеют более позитивное общее отношение к рекламным материалам.

При анализе физиологических коррелятов когнитивной работы читателей с текстами новых форматов было показано, что продолжительность визуального изучения материала связана с наличием у читателей предварительных знаний и навыков — как общих (например, владением русским языком как родным [32]), так и профильных (например, экспертной информированностью о фактах экстремистского дискурса [14; 16]). При этом такая связь не всегда оказывается линейной. Так, А.В. Горбачева с коллегами указывают на большее время изучения текстов новичками и экспертами (в сравнении с людьми, обладающими средней информированностью), но объясняют их разными причинами: а именно тем, что новички осуществляют детальный анализ материалов, а эксперты тщательно проверяют собственные предположения, сделанные при интерпретации текста [16]. Кроме того, авторами было показано, что продолжительность и интенсивность когнитивной работы читателей с текстами зависит не только от индивидуальных особенностей реципиентов, но и от объективных (жанровых) характеристик материала. Так, при сравнении работы читателей с демотиваторами и мемами было выявлено, что демотиваторы актуализируют более “плотные” паттерны визуального сканирования (большее количество коротких фиксаций и быстрых саккад). По мнению авторов, данная тенденция может отражать сложность понимания такого материала и указывать на большую доступность смысла мемов [15].

Авторами настоящей статьи также был проведен ряд собственных экспериментов, выполненных в парадигме разрабатываемого в Ленинградской—Петербургской психологической школе подхода к пониманию как к процессу полного и взаимообратимого перевода знания с языка вербальных знаков на язык образных структур (данный подход основан на идеях Л.М. Веккера [13] и получил свое последующее развитие в исследованиях сотрудников факультета психологии СПбГУ [27; 31; 43; 45–47; 53 и др.]). По результатам этой работы был обнаружен и описан ряд паттернов когнитивного и окуломоторного поведения читателей, отражающего процессы понимания поликодовых (иконических) текстов. В частности, было показано, что содержание как иконических, так и классических (вербальных) текстов усваивается людьми с приблизительно равной эффективностью, за исключением случаев изучения концептуально сложной информации [8]. В таких условиях вербальный текст оказывается более эффективен. Результаты последующих уточняющих экспериментов позволили заключить, что иллюстрации играют разную роль в процессе чтения текстов конкретного и абстрактного содержания. Так, их наличие в текстах конкретного содержания помогает человеку быстрее сформировать визуальный образ описанного объекта или явления, в то время как при чтении абстрактного текста, идея которого может быть визуализирована множеством различных способов, внешние образные компоненты, напротив, могут вступать в противоречие с самостоятельно выстроенной читателем ментальной моделью [6]. Ограничивающая функция иллюстративных компонентов текста была обнаружена нами и при анализе их влияния на оценку достоверности информации: так, читатели чаще оценивали вымышленные факты как истинные в тех случаях, если они были предъявлены в сугубо вербальной форме [7]. Можно предположить, что в таких условиях людям оказывалось проще сформировать для себя правдоподобную ментальную репрезентацию предложенного факта, в то время как его внешнее образное представление содержало детали, указывающие на явное несоответствие условиям реальной жизни.

ВЫВОДЫ

1. Терминология, используемая сегодня в русскоязычном научном дискурсе для указания на тексты новых форматов, характеризуется высокой разнородностью и неоднозначностью. Представляется, что термины “поликодовый” и “мультимодальный” являются оптимальными для отражения двух ключевых характеристик современных текстовых материалов (наличия в них элементов разных семиотических групп и их воздействия на различные сенсорные системы читателя). Однако вне зависимости от конкретного терминологического решения его эксплицитное теоретическое обоснование может способствовать выработке общепринятой терминологии;
2. На сегодняшний день в российском исследовательском сообществе отсутствует консенсус в отношении теоретических моделей, оптимальных для описания когнитивных механизмов понимания текстов новых форматов, а число авторских разработок в этой области очень мало. Представляется, что их создание или адаптация (на основе работ зарубежных авторов) могут улучшить методологию русскоязычных эмпирических исследований по данной проблеме и сделать их результаты более сопоставимыми как между собой, так и с выводами иностранных специалистов;
3. Анализ ряда экспериментальных работ позволяет заключить, что существуют воспроизводимые тенденции, отражающие как когнитивные, так и эмоциональные аспекты взаимодействия читателей с текстами новых форматов. При этом существующие исследования характеризуются множеством ограничений: отсутствием явно указываемых теоретических оснований; разнородностью методического инструментария; малыми или неравными объемами выборочных групп; использованием ненадежных методов статистического анализа данных и отсутствием контроля вмешивающихся переменных.

Можно предположить, что знакомство с методологией зарубежных исследований, посвященных когнитивным механизмам понимания текстов новых форматов, может предоставить ряд идей касательно преодоления выделенных ограничений. Вторая часть настоящей статьи будет посвящена анализу обозначенных вопросов в контексте зарубежного научного дискурса.

 

¹ В первом разделе текста настоящей статьи подробно описана проблема отсутствия устоявшейся терминологии для указания на тексты новых форматов. Здесь и далее мы используем те или иные категории вслед за авторами соответствующих работ, поскольку их выбор может быть концептуально значим и теоретически мотивирован, даже если он не был обоснован в эксплицитной форме.

² Важно отметить, что данная теоретическая модель является абстракцией, поскольку в рамках цитируемой работы автор не проводил исследований с использованием методов нейровизуализации или нейромодуляции.

About the authors

E. N. Blinova

Humboldt University of Berlin

Author for correspondence.
Email: blinova_e.n@mail.ru

PhD in Psychology, Postgraduate Student, Institute of Psychology

Germany, 10117, Berlin, Unter den Linden, 6

O. V. Shcherbakova

Saint Petersburg State University

Email: o.scherbakova@gmail.com

PhD in Psychology, Leading Research Fellow, Faculty of Psychology

Russian Federation, 199034, St. Petersburg, Universitetskaya emb., 7–9

References

Supplementary files