Kulback-Leibler measure as a means of assessment learning process performance

Cover Page

Cite item

Full Text

Abstract

The purpose of this paper is to demonstrate the approach developed by the authors to assess the current performance of students using the Kullback-Leibler information measure. The methods used are informational, statistical methods. They found their application to the analysis of event pedagogy. The key events under investigation in the article are the results of computerized testing. They can be considered as random events that are influenced by different circumstances and the events are difficult to control. The paper uses the well-known Kullback-Leibler information method. In order for an information method to become a working applied technology, it must be accompanied by a number of additional procedures and tasks related to 1) the preparation of data for the calculations, 2) the calculations themselves, taking into account the limitations and fulfilment of the applicability criteria of the method, and 3) possible techniques for analysing the results of the study. A description of these procedures can be found in the paper. The proposed method for evaluating student test scores takes into account expectations of student success based on prior academic achievement, as well as performance in the context of whole student group performance. In addition, the paper shows the consistency of the obtained results when comparing them with those obtained when using the Mann – Whitney method in pedagogy and psychology research in hypothesis testing. The scientific novelty of the work consists in building appropriate procedures with orientation on pedagogical applications. The presentation is based on the use of specific experimental data obtained as part of the current control after the study of a topic in physics. The practical significance of the work is seen in the possibility of applying the Kullback-Leibler measure to the study of the role of latent variables in the educational process, as well as in the course of experimental teaching by future candidates for degrees in pedagogy.

About the authors

Yulia Anatolevna Alyabysheva

Altai State Pedagogical University

Email: alyabysheva_y@mail.ru
Barnaul, Russian Federation

Anatoliy Alekseyevich Veryayev

Altai State Pedagogical University

Email: veryaev_aa@mail.ru
Barnaul, Russian Federation

Yulia Eduardovna Losychenko

Branch of the Russian State Social University

Email: uliya_l@mail.ru
Anapa, Russian Federation

References

  1. Кульбак С. Теория информации и статистика. М.: Наука, 1976. 409 с.
  2. Kullback S., Leibler R.A. On information and sufficiency // The Annals of Mathematical Statistics. 1951. Vol. 22, № 1. P. 79-86.
  3. Звонников В.И. Современные средства оценивания результатов обучения. Москва: Академия, 2007. 224 с.
  4. Агальцов В.П. Контроль знаний – доминирующая составляющая образовательного процесса // Информатика и образование. 2005. № 2. С. 94–96.
  5. Bloom B.S., Engelhart M.D., Furst E.J., Hill W.H., Krathwohl D.R. Taxonomy of educational objectives. The classification of educational goals. NYC: David McKay Company, 1956. 216 с.
  6. Anderson L.W., Krathwohl D.R. A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. New York: Addison Wesley Longman, 2001. 333 p.
  7. Handbook of Polytomous Item Response Theory Models / Edited by M.L. Nering, R.Ostini. Routledge, 2010. 307 p.
  8. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. М.: Логос, 2010. 668 c.
  9. Rasch G. Probabilistic models for some intelligence and attainment tests. Chicago: University of Chicago Press, 1980. 199 p.
  10. Uchaikin V.V. Fractional Derivatives for Physicists and Engineers. Vol. I : Background and Theory. Springer, 2013. 400 p.
  11. Reckase M.D. The difficulty of test items that measure more than one dimension // Applied Psychological Measurement. 1985. № 9. P. 401–412.
  12. Handbook of Item Response Theory: Statistical Tools. Vol. 2 / Edited by Wim J. van der Linden. CRC Press, 2016. 442 p.
  13. Wind S., Hua C. Rasch Measurement Theory Analysis in R. New York: Chapman and Hal. 2022. 323 p.
  14. D’Elia A., Piccolo D. A mixture model for preferences data analysis // Computational Statistics & Data Analysis. 2005. № 49. P. 917–934. URL: https://www.labstat.it/home/wp-content/uploads/2015/10/0deec526a04cff09db000000-1.pdf (accessed 10 January 2025).
  15. Corduas M. A statistical procedure for clustering ordinal data / Quaderni di statistica. 2008; 10. P. 177–189. URL: https://www.labstat.it/home/wp-content/uploads/2015/03/Corduas_2008.pdf (дата обращения: 10.01.2025)
  16. Bini M., Monari P., Piccolo D., Salmaso L. Statistical methods for the evaluation of educational services and quality of products. 2009. 243 p.
  17. Алябышева Ю.А., Антонов А.Ю., Веряев А.А. Цифровизация тезаурусного подхода в образовании // Информатика и образование. 2020. № 1. С. 51–58.
  18. Бокова О.А., Веряев А.А. Субъективное восприятие неравенства и несправедливости школьниками и студенческой молодежью // Перспективы науки и образования. 2022. № 2 (56). С. 381–407.
  19. Samawi H.M., Yin J., Zhang X., Yu L., Rochani H. et al. Kullback-Leibler Divergence for Medical Diagnostics Accuracy and Cut-point Selection Criterion: How it is related to the Youden Index // J Appl Bioinforma Comput Biol. 2020, Vol. 9, Issue URL: https://www.scitechnol.com/peer-review/kullbackleibler-divergence-for-medical-diagnostics-accuracy-and-cutpoint-selection-criterion-how-it-is-related-to-the-youden-index-zT5p.php?article_id=11036 (дата обращения: 10.01.2025)
  20. Clim A., Zota R., Tinica G. Procedia. The Kullback-Leibler Divergence Used in Machine Learning Algorithms for Health Care Applications and Hypertension Prediction: A Literature Review // Computer Science. 2018. Vol. 141. P. 448–453.
  21. Applications of Information Theory to Epidemiology. URL: https://www.mdpi.com/journal/entropy/special_issues/epidemic (дата обращения: 10.01.2025)
  22. Алябышева Ю.А., Веряев А.А., Лозыченко Ю.Э. Технология пролонгированного оценивания учебных достижений студентов при использовании информационной меры Кульбака – Лейблера // Информатизация образования и методика электронного обучения: цифровые технологии в образовании: материалы VIII Междунар. науч. конф. Красноярск, 24–27 сентября 2024 г. Красноярск: КГПУ им. В.П. Астафьева, 2024. Ч. 1. C. 16–19.
  23. Кричевец А.Н., Корнеев А.А., Рассказова Е.И. Основы статистики для психологов. М.: Акрополь, 2019. 286 c.
  24. Корнеев А.А., Кричевец А.Н. Условия применимости критериев Стьюдента и Манна – Уитни // Психологический журнал. 2011. 32. № 1. С. 97–110.
  25. Алябышева Ю.А. Баракина Т.В., Бейлин М.В. и др. Геймификация в контексте восприятия и формирования представлений о неравенстве и несправедливости. Барнаул: Изд-во АлтГПУ, 2022. 212 c.
  26. Кларин М.В. Инновационные модели обучения: Исследование мирового опыта. М.: Луч, 2016. 632 с.
  27. Болтышев М. Г. Геймификация цифрового обучения: актуальные проблемы // Информатика и образование. 2022. Т. 37, № 3. С. 28–34.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».