Динамика диаметра зрачка как индикатор когнитивной нагрузки респондента: методический эксперимент по сравнению CASI и P&PSI вопросников

Обложка

Цитировать

Полный текст

Аннотация

В последние годы наряду с ростом общего интереса к методам измерения когнитивной нагрузки и субъективно ощущаемого умственного усилия, связанных с решением различных задач и межличностной коммуникацией, наблюдается и рост специфического интереса социальных исследователей к возможностям мультимодальной оценки когнитивной нагрузки интервьюера и респондента с использованием объективных и субъективных индикаторов, включая параданные и данные веб-камер, в целях оптимизации ее воздействия на качество опросных данных. При этом все еще недооценены возможности сравнительно новых подходов к измерению когнитивной нагрузки - с помощью нейрофизиологических методов, таких как использование малозаметных и не нарушающих естественное протекание деятельности респондентов и интервьюеров современных устройств для окулографии (айтрекинга и пупиллометрии), которые обеспечивают точную временную привязку динамики измеряемых показателей (прежде всего размера зрачка) к формату вопроса, способу и фазе заполнения анкеты, наличию локализованного во времени внешнего воздействия и т.д. Количественные исследования когнитивной нагрузки в ходе социологических опросов и ее возможного влияния на качество опросных данных фокусировались преимущественно на компьютеризованном (CAPI) или использующем бумажные технологии (PAPI) интервьюировании, тогда как специфика когнитивной нагрузки в процессе самостоятельного заполнения респондентами компьютеризованных (CASI) и бумажных (P&PSI) вопросников оставалась малоизученной. В статье представлены результаты методического эксперимента, в котором использовалась модифицированная версия разработанного ранее мультимодального подхода к сравнительной оценке когнитивной нагрузки интервьюеров при заполнении бумажных и компьютеризованных версий анкеты - для оценки когнитивной нагрузки респондентов. Мы расширили диапазон методов оценки когнитивной нагрузки за счет использования окулографического устройства (айтрекера) в целях измерения динамики величины зрачка, связанной с заполнением отдельных вопросов. Результаты эксперимента подтвердили гипотезу о приблизительной эквивалентности двух способов заполнения анкеты с точки зрения когнитивной нагрузки для молодых респондентов с высокой функциональной компьютерной грамотностью, а также позволили провести первичную оценку технических и метрологических возможностей и ограничений использования показателей динамики зрачка, измеряемых с помощью окулографического устройства, для изучения когнитивной нагрузки респондента.

Об авторах

Инна Феликсовна Девятко

Национальный исследовательский университет «Высшая школа экономики»; Институт социологии ФНИСЦ РАН

Автор, ответственный за переписку.
Email: deviatko@gmail.com

доктор социологических наук, заведующая кафедрой анализа социальных институтов

ул. Мясницкая, 11, Москва, 101000, Россия; ул. Кржижановского, 24/35, к. 5, Москва, 117218, Россия

Михаил Богданович Богданов

Национальный исследовательский университет «Высшая школа экономики»

Email: bogdanovmikle@mail.ru

младший научный сотрудник Лаборатории культурсоциологии и антропологии образования

ул. Мясницкая, 11, Москва, 101000, Россия

Даниил Вадимович Лебедев

Национальный исследовательский университет «Высшая школа экономики»

Email: zenon-daniil@yandex.ru

стажер-исследователь Международной лаборатории исследований социальной интеграции

ул. Мясницкая, 11, Москва, 101000, Россия

Список литературы

  1. Bogdanov M.B., Lebedev D.V. “Glavnoe ne boyatsya!” - vozdeystvie treningov na ozhidaniya interviyuerov pri perekhode ot PAPI k CAPI [“Do not worry!” - training’s impact on interviewers’ expectations under the transition from PAPI to CAPI]. Sotsiologiya: 4M. 2017; 45. (In Russ.).
  2. Deviatko I.F. Razrabotka podkhoda k kolichestvennoy multimodalnoy otsenke kognitivnoy nagruzki interviyuerov: rezultaty pilotnogo kvazieksperimenta [Developing an approach to the multimodal quantitative assessment of interviewers’ cognitive load: First results of a field quasi experiment]. RUDN Journal of Sociology. 2018; 18 (4) (In Russ.).
  3. Deviatko I.F., Lebedev D.V. Glazami interviyuera, glazami respondenta: kontury novogo podkhoda k otsenke kognitivnoy nagruzki pri provedenii oprosa [Through the eyes of the interviewer, through the eyes of the respondent: Outlining a new approach towards the assessment of cognitive load during the interview]. Monitoring of Public Opinion: Economic and Social Changes. 2017; 5 (1). (In Russ.).
  4. Lebedev D.V., Bogdanov M.B. Perekhod s PAPI na CAPI: opyt interviyuerov i kharakteristiki, vliyayushchie na ikh ozhidaniya [Transition from PAPI to CAPI: Interviewers’ experience and factors influencing their expectations]. Monitoring of Public Opinion: Economic and Social Changes. 2019; 4. (In Russ.).
  5. Terentiev E.A., Mavletova A.M., Kosolapov M.S. Interviyuirovanie s pomoshchiyu kompiyuternykh tekhnologiy v longityudnykh obsledovaniyakh domokhozyaystv [Computer-assisted personal interviewing for longitudinal household studies]. Monitoring of Public Opinion: Economic and Social Changes. 2018; 3 (In Russ.).
  6. Baier D. Computer-assisted versus paper-and-pencil self-report delinquency surveys: Results of an experimental study. European Journal of Criminology. 2018: 15 (4).
  7. Baker R.P., Bradburn N.M., Johnson R.A. Computer-assisted personal interviewing: An experimental evaluation of data quality and cost. Journal of Official Statistics. 1995; 11 (4).
  8. Beatty J., Lucero-Wagoner B. The pupillary system. Handbook of Psychophysiology. 2000; 2.
  9. Beebe T.J., Harrison P.A., Park E., McRae J.A., Evams J. The effects of data collection mode and disclosure on adolescent reporting of health behavior. Social Science Computer Review. 2006; 24 (4).
  10. Chen F., Zhou J., Wang Y., Yu K., Arshad S.Z., Khawaji A., Conway D. Robust Multimodal Cognitive Load Measurement. Cham; 2016.
  11. Colasante E., Benedetti E., Fortunato L., Scalese M., Potente R., Cutilli A., Molinari S. Paper and-pencil versus computerized administration mode: Comparison of data quality and risk behavior prevalence estimates in the European School Survey Project on Alcohol and Other Drugs (ESPAD). PloS One. 2019; 14 (11).
  12. Costa V.D., Rudebeck P.H. More than meets the eye: The relationship between pupil size and locus coeruleus activity. Neuron. 2016; 89 (1).
  13. Couper M.P., Burt G. Interviewer attitudes toward computer-assisted personal interviewing (CAPI). Social Science Computer Review. 1994; 12 (1).
  14. De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. A review. Market Research Society. 1995; 37 (4).
  15. Eynon R., Fry J., Schroeder R. The ethics of Internet research. Sage Internet Research Methods. Sage; 2008.
  16. Hartmann M., Fischer M.H. Pupillometry: The eyes shed fresh light on the mind. Current Biology. 2014; 24 (7).
  17. Höhne J.K. Eye-tracking methodology: Exploring the processing of question formats in web surveys. International Journal of Social Research Methodology. 2019; 22 (2).
  18. Höhne J.K., Schlosser S., Krebs D. Investigating cognitive effort and response quality of question formats in web surveys using paradata. Field Methods. 2017; 29 (4).
  19. Hoogerheide V., Renkl A., Fiorella L., Paas F., van Gog T. Enhancing example-based learning: Teaching on video increases arousal and improves problem-solving performance. Journal of Educational Psychology. 2019; 111 (1).
  20. Jbara A., Feitelson D.G. How programmers read regular code: A controlled experiment using eye tracking. Empirical Software Engineering. 2017; 22 (3).
  21. Joinson A.N., Ulf-Dietrich R., Buchanan T., Paine Schofield C.B. Privacy, trust, and selfdisclosure online. Human-Computer Interaction. 2010; 25 (1).
  22. Kaminska O., Foulsham T. Real-world eye-tracking in face-to-face and web modes. Journal of Survey Statistics and Methodology. 2014; 2 (3).
  23. Kennedy D.O., Scholey A.B. Glucose administration, heart rate and cognitive performance: Effects of increasing mental effort. Psychopharmacology. 2000; 149 (1).
  24. Laeng B., Sirois S., Gredebäck G. Pupillometry: A window to the preconscious? Perspectives on Psychological Science. 2012; 7 (1).
  25. Laurie H. From PAPI to CAPI: Consequences for Data Quality on the British Household Panel Study. ISER Working Paper Series, 2003. No. 2003-14.
  26. Lucia S., Herrmann L., Killias M. How important are interview methods and questionnaire designs in research on self-reported juvenile delinquency? An experimental comparison of Internet vs paper-and-pencil questionnaires and different definitions of the reference period. Journal of Experimental Criminology. 2007; 3 (1).
  27. Mathôt S. Pupillometry: Psychology, physiology, and function. Journal of Cognition. 2018; 1 (1).
  28. Paas F., Tuovinen J.E., Tabbers H., van Gerven P.W.M. Cognitive load measurement as a means to advance cognitive load theory. Educational Pychologist. 2003; 38 (1).
  29. Schmeck A., Opfermann M., van Gog T., Paas F., Leutner D. Measuring cognitive load with subjective rating scales during problem solving: Differences between immediate and delayed ratings. Instructional Science. 2015; 43 (1).
  30. Schomakers E.M., Chantal L., Müllmann D., Ziefle M. Internet users’ perceptions of information sensitivity - insights from Germany. International Journal of Information Management. 2019; 46.
  31. Schräpler J.-P., Schupp J., Wagner G.G. Changing from PAPI to CAPI: Introducing CAPI in a longitudinal study. Journal of Official Statistics. 2010; 26 (2).
  32. Spark S., Lewis D., Vaisey A., Smyth E., Wood A., Temple-Smith M., Lorch R., Guy R., Hocking J. Using computer-assisted survey instruments instead of paper and pencil increased completeness of self-administered sexual behavior questionnaires. Journal of Clinical Epidemiology. 2015; 68 (1).
  33. Stodel M. But what will people think? Getting beyond social desirability bias by increasing cognitive load. International Journal of Market Research. 2015; 57 (2).
  34. Turner C.F., Ku L., Rogers S.M., Lindberg L.S., Pleck J.H., Sonenstein F.L Adolescent sexual behavior, drug use, and violence: Increased reporting with computer survey technology. Science. 1998; 280.
  35. Wright D.L., Aquilino W.S., Supple A.J. A comparison of computer-assisted and paper-andpencil self-administered questionnaires in a survey on smoking, alcohol, and drug use. Public Opinion Quarterly. 1998.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».