Focus Groups as a Questionnaire Pretest for Surveys in Cross-Cultural and Cross-National Comparative Research

Cover Page

Cite item

Full Text

Abstract

As a research method, focus groups have methodological advantages for understanding the views and behavior of group members or for understanding the social system as a whole, since it covers the interaction between people, groups, and the interpersonal environment quite well that widely recognized in the social sciences. These advantages are introduced in the context of mixed-methods, including conducting a survey together with focus groups as a pretest questionnaire in a comparative perspective in cross-national and cross-culture research. Focus groups provide to reach construct equivalence and elaborate an appropriate context-oriented language for questionnaire questions. Using the focus groups in this way can be an effective approach to overcoming the initial limited ability of surveys to valid measure more complex socially constructed concepts, the meaning of which can vary significantly from one group to another, especially from a comparative perspective in cross-national and cross-culture research. Using focus groups, data is collected in a more “natural” way, that is, more close to the real world, while the generalization is ensured by a detailed description of specific conditions, participants, and research environment. In addition, the discussion group is a miniature thinking society, and unlike dyadic interviews or surveys, focus group discussions give participants the opportunity to express their opinions, discuss their views and opinions with other participants, listen to other people’s opinions, disagree or to develop thoughts by reasoning out loud - this is similar to what happens in real life. This increased awareness about the described advantages of the approach for cross-cultural and cross-national comparative research likely contributes to its more active employ.

About the authors

Dmitry Sergeevich Grigoryev

National Research University Higher School of Economics

Author for correspondence.
Email: dgrigoryev@hse.ru
ORCID iD: 0000-0003-4511-7942

PhD, is Research Fellow, Center for Sociocultural Research

20 Myasnitskaya St, Moscow, 101000, Russian Federation

References

  1. Albrecht, T.L., Johnson, G.M., & Walther, J.B. (1993). Understanding communication processes in focus group. In D. Morgan (Ed.), Successful Focus Groups: Advancing the State of the Art (pp. 51–64). Newbury Park, CA: Sage.
  2. Ayrton, R. (2019). The micro-dynamics of power and performance in focus groups: An example from discussions on national identity with the South Sudanese diaspora in the UK. Qualitative Research, 19(3), 323–339. https://doi.org/10.1177/1468794118757102
  3. Belanovskiy, S.A. (2001). Metod fokus-grupp. Moscow: Nikkolo-Media Publ. (In Russ.)
  4. Benítez, I., van de Vijver, F., & Padilla, J.L. (in press). A mixed methods approach to the analysis of bias in cross-cultural studies. Sociological Methods & Research. https://doi.org/10.1177/0049124119852390
  5. Berry, J.W. (2019). Ecocultural psychology (D. Grigoryev, Transl.). Кul'turno-Istoricheskaya Psikhologiya, 15(4), 4–16. (In Russ.) https://doi.org/10.17759/chp.2019150401
  6. Berry, J.W., Poortinga, Y.H., Breugelmans, S.M., Chasiotis, A., & Sam, D.L. (2011). Cross-cultural psychology: research and applications. 3rd ed. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511974274
  7. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77–101. https://doi.org/10.1191/1478088706qp063oa
  8. Chekhovskiy, I.V. (2009). O znachimosti oshibok, voznikayushchikh pri ispol'zovanii metoda fokus-grupp (po rezul'tatam poiskovogo issledovaniya). RUDN Journal of Sociology, (2), 83–92. (In Russ.)
  9. Chekhovskiy, I.V. (2017). Metod fokus-grupp: Faktory effektivnogo ispol'zovaniya. Moscow: RUDN University. (In Russ.)
  10. Davidov, E., Schmidt, P., & Billiet, J. (Eds.). (2011). Cross-cultural analysis: Methods and applications. New York, NY: Routledge, Taylor & Francis Group.
  11. Dmitrieva, E.V. (1999). Metod fokus-grupp: Problemy podgotovki, provedeniya, analiza. Sotsiologicheskie Issledovaniya, (8), 133–138. (In Russ.)
  12. Fowler, S., & Willis, G.B. (2019). The practice of cognitive interviewing through web probing. In Advances in Questionnaire Design, Development, Evaluation and Testing (pp. 451–469). Hoboken, NJ: Wiley. https://doi.org/10.1002/9781119263685.ch18
  13. Glenton, C., & Carlsen, B. (2019). When “normal” becomes normative: A case study of researchers’ quotation errors when referring to a focus group sample size study. International Journal of Qualitative Methods, 18, 1–6. https://doi.org/10.1177/1609406919841251
  14. Hennink, M.M. (2017). Cross-cultural focus group discussions. In R. Barbour, D. Morgan (Eds), A New Era in Focus Group Research (pp. 59–82). London: Palgrave Macmillan. https://doi.org/10.1057/978-1-137-58614-8_4
  15. Inglehart, R., & Welzel, C. (2003). Political culture and democracy: Analyzing cross-level linkages. Comparative Politics, 36(1), 61–79. https://doi.org/10.2307/4150160
  16. Jack, R.E., Crivelli, C., & Wheatley, T. (2018). Data-driven methods to diversify knowledge of human psychology. Trends in Cognitive Sciences, 22(1), 1–5. https://doi.org/10.1016/j.tics.2017.10.002
  17. Jung, H., & Ro, E. (2019). Validating common experiences through focus group interaction. Journal of Pragmatics, 143, 169–184. https://doi.org/10.1016/j.pragma.2019.02.019
  18. Kruger, L.J., Rodgers, R.F., Long, S.J., & Lowy, A.S. (2019). Individual interviews or focus groups? Interview format and women’s self-disclosure. International Journal of Social Research Methodology, 22(3), 245–255. https://doi.org/10.1080/13645579.2018.1518857
  19. Lauri, M.A. (2019). WASP (Write a Scientific Paper): Collecting qualitative data using focus groups. Early Human Development, 133, 65–68. https://doi.org/10.1016/j.earlhumdev.2019.03.015
  20. Matsumoto, D., & van de Vijver, F. (Eds.). (2011). Cross-cultural research methods in psychology. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511779381
  21. Melnikova, O.T. (2007). Fokus-gruppy: Metody, metodologiya, moderirovanie. Moscow: Aspekt Press Publ. (In Russ.)
  22. Morgan, D.L. (1996). Focus groups. Annual Review of Sociology, 22(1), 129–152. https://doi.org/10.1146/annurev.soc.22.1.129
  23. Munafò, M.R., Nosek, B.A., Bishop, D.V.M., Button, K.S., Chambers, C.D., Percie du Sert, N., … & Ioannidis, J.P.A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(21), 1–9. https://doi.org/10.1038/s41562-016-0021
  24. Nosek, B.A., Ebersole, C.R., DeHaven, A.C., & Mellor, D.T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
  25. Novikova, I.A., Novikov, A.L., Gridunova, M.V., & Zamaldinova, G.N. (2017). Intercultural competence profiles in Russian university students. RUDN Journal of Psychology and Pedagogics, 14(3), 326–338. https://doi.org/10.22363/2313-1683-2017-14-3-326-338
  26. Tashakkori, A., & Teddlie, C. (2008). Quality of inferences in mixed methods research: Calling for an integrative framework. In M.M. Bergman (Ed.), Advances in Mixed Methods Research: Theories and Applications (pp. 101–119). Thousand Oaks, CA: Sage.
  27. Tatarova, G.G., & Chekhovskiy, I.V. (2012). Focus groups: Expert assessments of “fail factors”. Sotsiologiya: Metodologiya, Metody, Matematicheskoe Modelirovanie (4M), (34), 5–31. (In Russ.)
  28. Van de Vijver, F. (2018). Towards an integrated framework of bias in noncognitive assessment in international large-scale studies: Challenges and prospects. Educational Measurement: Issues and Practice, 37(4), 49–56. https://doi.org/10.1111/emip.12227
  29. Van de Vijver, F., & Leung, K. (1997). Methods and data analysis for cross-cultural research. Thousand Oaks, CA: Sage.
  30. Van de Vijver, F., Chasiotis, A., & Breugelmans, S.M. (Eds.). (2011). Fundamental Questions in Cross-Cultural Psychology. Cambridge: Cambridge University Press. https://doi.org/10.1017/cbo9780511974090
  31. Welzel, C., & Inglehart, R.F. (2016). Misconceptions of measurement equivalence: Time for a paradigm shift. Comparative Political Studies, 49(8), 1068–1094. https://doi.org/10.1177/0010414016628275
  32. Willis, G.B. (2004). Cognitive interviewing: A tool for improving questionnaire design. Thousand Oaks, CA: Sage.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».