DEMOGRAPHIC CORRELATES OF ATTRITION IN LONGITUDINAL ONLINE SURVEYS IN RUSSIA: EVIDENCE FROM FOUR WAVES OF THE "VALUES IN CRISIS" PROJECT

Cover Page

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

This study explores the demographic correlates of attrition in longitudinal online surveys by utilizing data from four Russian waves of the international «Values in Crisis» project (designed to examine societal consequences of the COVID‑19 pandemic). Respondents were recruited from an online consumer panel, maintained by OMI, a leading Russian marketing research company. Data collection occurred in June 2020, April-May 2021, November-December 2021, and July-September 2022. Only 606 (39.7 %) out of 1527 initial participants took part in all four rounds; the rest missed at least one round or dropped out. Both descriptive statistics and binary logistic regression analysis reveal that older, male, wealthier, and more educated participants had a higher probability of completing all four rounds. To sum up, attrition in online panels in the Russian context can be substantial and is largely non-random in demographic terms. Researchers should take this into account when planning longitudinal web surveys and interpreting their results.

About the authors

B. O. SOKOLOV

HSE – St.Petersburg; Ronald F. Inglehart Laboratory for Comparative Social Research, HSE University

Email: bssokolov@hse.ru
St.Petersburg, Russia; Moscow, Russia

V. I. KORSUNAVA

Ronald F. Inglehart Laboratory for Comparative Social Research, HSE University

Email: vikorsunova@hse.ru
Moscow, Russia

References

  1. Afanasyeva Y. A., Sokolov B. O., Shirokanova A. A. (2024) Variability of COVID Skeptical Attitudes in Russia: Findings from Two Waves of the "Values in Crisis" Longitudinal Survey. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nye peremeny [Monitoring of Public Opinion: Economic and Social Changes]. No. 2: 53–77. doi: 10.14515/monitoring.2024.2.2523. (In Russ.)
  2. Arel-Bundock V, Greifer N, Heiss A. (2024) How to Interpret Statistical Models Using marginaleffects for R and Python. Journal of Statistical Software. Vol. 111(9): 1–32. doi: 10.18637/jss.v111.i09.
  3. Barber J., Kusunoki Y., Gatny H., Schulz P. (2016) Participation in an Intensive Longitudinal Study with Weekly Web Surveys Over 2.5 Years. Journal of Medical Internet Research. Vol. 18(6): e105. doi: 10.2196/jmir.5422.
  4. Bu F., Cernat A., Steptoe A., Fancourt D. (2025) Online Survey Retention and Re-engagement: Learning from the COVID-19 Social Study. Field Methods. Vol. 37(3): 244–259. doi: 10.1177/1525822X241289870.
  5. Castorena O., Lupu N. et al. (2023) Online Surveys in Latin America. PS: Political Science & Politics. Vol. 56(2): 273–280. doi: 10.1017/S1049096522001287.
  6. Churikov A. V. (2020) Fundamentals of Sampling Design for Sociological Research. Moscow: In-t f-da “Obshchestvennoye mneniye” (In Russ.)
  7. Deng Y., Hillygus D. S. et al. (2013) Handling Attrition in Longitudinal Studies: The Case for Refreshment Samples. Statistical Science. Vol. 28(2): 238–256. doi: 10.1214/13-STS414.
  8. Deviatko I. F. (1998) Methods of Sociological Research. Yekaterinburg: Uralskii un-t. (In Russ.)
  9. Devyatko I. F. (2010) Online Research and Methodology of Social Sciences: New Horizons, New (and Not So New) Challenges. In: Shashkin A. V., Devyatko I. F., Davydova S. G. (eds) Online Research in Russia. 2.0. Moscow: OMI RUSSIA: 17–30. URL: https://omirussia.ru/knowledge/books/12/ (accessed 01.02.2025). (In Russ.)
  10. Frankel L. L., Hillygus D. S. (2014) Looking Beyond Demographics: Panel Attrition in the ANES and GSS. Political Analysis. Vol. 22(3): 336–353. doi: 10.1093/pan/mpt020.
  11. Gavrilov K. A. (2022) Toloka Platform as a Source of Online Survey Participants: An Experience of Assessing Data Quality. Sociologija: 4M [Sociology: Methodology, Methods, Mathematical Modeling (Sociology: 4M)]. No. 53: 165–209. doi: 10.19181/4m.2021.53.5. (In Russ.)
  12. Herron M. C. (1999) Postestimation Uncertainty in Limited Dependent Variable Models. Political Analysis. Vol. 8(1): 83–98. doi: 10.1093/oxfordjournals.pan.a029806.
  13. Korsunava V. I., Ponarin E. D. et al. (2024) Values in Crisis- International 2020–2022. Certificate No. RU 2024621301. URL: http://www1.fips.ru/fips_servl/fips_servlet? DB=DB&DocNumber=2024621301&TypeFile=html? (accessed 25.01.2025). (In Russ.)
  14. Korsunava V. I., Sokolov B. O. (2022) Value Orientations in Russia: Comparing Evidence from Online and Face-to-Face Surveys. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nye peremeny [Monitoring of Public Opinion: Economic and Social Changes]. No. 3: 4–27. doi: 10.14515/monitoring.2022.3.2083. (In Russ.)
  15. Korsunava V. I., Sokolov B. O. (2023) Support for Emancipative Values in Russia during the COVID-19 Pandemic. Sotsiologicheskiy zhurnal [Russian Sociological Journal]. Vol. 29. No. 2: 8–24. doi: 10.19181/socjour.2023.29.2.1. (In Russ.)
  16. Lüdecke D., Ben-Shachar M. S. et al. (2021) performance: An R Package for Assessment, Comparison and Testing of Statistical Models. Journal of Open Source Software. Vol. 6(60): 3139. doi: 10.21105/joss.03139.
  17. Lugtig P. (2014) Panel Attrition: Separating Stayers, Fast Attriters, Gradual Attriters, and Lurkers. Sociological Methods & Research. Vol. 43(4): 699–723. doi: 10.1177/0049124113520305.
  18. Lynn P. (2017) Tackling Panel Attrition. In: Vannette D. L., Krosnick D. L. (eds) The Palgrave Handbook of Survey Research. Cham, Switzerland: Palgrave Macmillan: 143–153.
  19. Maslovskaya O., Lugtig P. (2022) Representativeness in Six Waves of Cross-National Online Survey (CRONOS) Panel. Journal of the Royal Statistical Society Series A: Statistics in Society. Vol. 185(3): 851–871. doi: 10.1111/rssa.12801.
  20. Mavletova A. M. (2010). Sociological Online Surveys: How to Construct a Typology. Sociologija: 4M [Sociology: Methodology, Methods, Mathematical Modeling (Sociology: 4M)]. No. 31: 115–134. (In Russ.)
  21. Nekrasov S. I. (2011) An Experimental Comparison of Online and Offline Survey Data: A Case of Questionnaires with Different Level of Difficulty. Sociologija: 4M [Sociology: Methodology, Methods, Mathematical Modeling (Sociology: 4M)]. No. 32: 53–74. (In Russ).
  22. R Core Team. R: A Language and Environment for Statistical Computing. (2024) Vienna: R Foundation for Statistical Computing. URL: https://www.R-project.org/ (accessed 25.01.2025).
  23. Rübsamen N., Akmatov M. K. et al. (2017) Factors Associated with Attrition in a Longitudinal Online Study: Results from the HaBIDS Panel. BMC Medical Research Methodology. Vol. 17: 132. doi: 10.1186/s12874-017-0408-3.
  24. Sokolov B. O., Zavadskaya M. A. (2021) Socio-Demographic Profiles, Personality Traits, Values, and Attitudes of COVID-Skeptics in Russia. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nye peremeny [Monitoring of Public Opinion: Economic and Social Changes]. No. 6: 410–435. doi: 10.14515/monitoring.2021.6.1938. (In Russ).
  25. Terentev E. A., Mavletova A. M., Kosolapov M. S. (2018) Computer-Assisted Personal Interviewing for Longitudinal Household Studies. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nye peremeny [Monitoring of Public Opinion: Economic and Social Changes]. No. 3: 47–64. doi: 10.14515/monitoring.2018.3.03. (In Russ.)
  26. Yu T., Chen J. et al. (2022) Predicting Panel Attrition in Longitudinal HRQoL Surveys During the COVID-19 Pandemic in the US. Health and Quality of Life Outcomes. Vol. 20: 104. doi: 10.1186/s12955-022-02015-8.
  27. Zhang C., Antoun C. et al. (2020) Professional Respondents in Opt-In Online Panels: What do we Really Know? Social Science Computer Review. Vol. 38(6): 703–719. doi: 10.1177/0894439319845102.
  28. Zhou H., Fishbach A. (2016) The Pitfall of Experimenting on the Web: How Unattended Selective Attrition Leads to Surprising (Yet False) Research Conclusions. Journal of Personality and Social Psychology. Vol. 111(4): 493–504. doi: 10.1037/pspa0000056.

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».