Представление и анализ структурного знания в задачах обучения на примере сложного литературного текста

Обложка

Цитировать

Полный текст

Аннотация

Дефицит надежных средств автоматизированного оценивания результатов обучения приводит к перегрузке преподавателей, не имеющих достаточного ресурса для полноценного и объективного оценивания множества обучаемых. Перспективный подход к решению проблемы - использование маркеров сформированности структурного знания обучаемых, описывающего взаимосвязи компонентов изучаемого объекта. Цель исследования - на основе романа М.А. Булгакова «Мастер и Маргарита» показать, что структурное знание испытуемых отражает особенности и текущий уровень понимания романа, а также изменение этого уровня в результате обучения. В исследовании используется метод сетевого шкалирования PathFinder, извлекающий и визуализирующий значимые связи между героями романа на основе субъективных оценок их попарной связности. Экспериментальная выборка представлена учениками выпускного класса гимназии, изучавшими роман в рамках школьной программы под руководством преподавателя. В сравнительную группу вошли читатели романа с разным опытом осмысления текста. Подтверждена возможность оценивания структурного знания сложных литературных текстов по параметрам их сетевого представления (когерентность, распространенность и лаконичность, сбалансированность древовидных и коалиционных связей). Обнаружено существенное различие по ключевым показателям структурного знания в экспериментальной и сравнительной группах. Выявлено статистически значимое повышение корреляции структурного знания школьников со структурным знанием преподавателя по результатам обучения. Анализ недостатков извлекаемых структур знаний позволяет индивидуализировать обучение, снизить трудоемкость и повысить объективность оценивания результатов обучения. Предложенный подход требует проверки на б о льших выборках испытуемых и в других предметных областях (в частности в тренинге операторов сложных технических систем).

Об авторах

Виктор Михайлович Дозорцев

ООО «Центр цифровых технологий»

Автор, ответственный за переписку.
Email: vdozortsev@mail.ru
ORCID iD: 0000-0002-3082-2879

доктор технических наук, директор по развитию

Российская Федерация, 129085, Москва, ул. Годовикова, д. 9 стр. 17

Евгения Андреевна Вишталь

Untitled bank

Email: vishtal.ea@phystech.edu
ORCID iD: 0009-0004-4072-1600

бакалавр прикладной физики и математики, руководитель отдела по борьбе с мошенничеством

Республика Узбекистан, 100070, Ташкент, ул. Шота Руставели, д. 42А

Екатерина Сергеевна Аширова

Санкт-Петербургский губернаторский физико-математический лицей 30

Email: nezabutkka@mail.ru
ORCID iD: 0009-0000-3293-1350

магистр педагогики, учитель русского языка и литературы

Российская Федерация, 190000, Санкт-Петербург, пер. Антоненко, д. 8А

Анастасия Сергеевна Миронова

Компания Яндекс

Email: an.mironova.gml@gmail.com
ORCID iD: 0009-0002-3110-5908

магистр прикладной физики и математики, продакт менеджер

Российская Федерация, 119034, Москва, ул. Льва Толстого, д. 16

Список литературы

  1. Acton, W.H., Johnson, P.J., & Goldsmith, T.E. (1994). Structural knowledge assessment: Comparison of referent structures. Journal of Educational Psychology, 86(2), 303–311. https://doi.org/10.1037/0022-0663.86.2.303
  2. Amith, M., Cunningham, R., Savas, L.S., Boom, J., Schvaneveldt, R., Tao, C., & Cohen, T. (2017). Using pathfinder networks to discover alignment between expert and consumer conceptual knowledge from online vaccine content. Journal of Biomedical Informatics, 74, 33–45. https://doi.org/10.1016/j.jbi.2017.08.007
  3. Cañas, A. J., Hill, G., Carff, R., Suri, N., Lott, J., Gómez, G., Eskridge, T.C., Arroyo, M., & Carvajal, R. (2004). CmapTools: A knowledge modeling and sharing environment. Concept maps: Theory, methodology, technology. Proceedings of the First International Conference on Concept Mapping (vol. 1, pp. 125–133). Navarra: Universidad Publica de Navarra.
  4. Dozortsev, V.M., & Mironova, A.S. (2020). On the use of structural knowledge characteristics for transfer assessment in the training of industrial operators. Actual problems of psychology of labor, engineering psychology and ergonomics. Proceedings of the Scientific and Practical Seminar, (iss. 9, pp. 117–162). Moscow: Institute of psychology Russian academy of sciences. (In Russ.) https://doi.org/10.38098/ergo.2020.009
  5. Dozortsev, V.M., Oboznov, A.A., Nazin, V.A., Gutsikova, S.V., & Mironova, A.S. (2014). Forming operator’s conceptual understanding of process plant: an actual task and an objective result of computerized training. Automation in Industry, (12), 13-19. (In Russ.).
  6. Ericsson, K.A., & Simon, H.A. (1998). How to study thinking in everyday life: Contrasting think-aloud protocols with descriptions and explanations of thinking. Mind, Culture, and Activity, 5(3), 178–186. https://doi.org/10.1207/s15327884mca0503_3
  7. Furlough, C., & Gillan, D.J. (2020). Assessing the ability of multidimensional scaling and pathfinder networks to measure spatial knowledge. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 64(1), 303–307. https://doi.org/10.1177/ 1071181320641070
  8. Gardner, Н. (1983). Frames of mind: The theory of multiple intelligences. New York: Basic Books.
  9. Goldsmith, T.E., Johnson, P.J., & Acton, W.H. (1991). Assessing structural knowledge. Journal of Educational Psychology, 83(1), 88–96. https://doi.org/10.1037/0022-0663.83.1.88
  10. Gunstone, R.F. (1980). Word association and the description of cognitive structure. Research in Science Education, 10(1), 45–53. https://doi.org/10.1007/bf02356308
  11. Hagberg, A.A., Schult, D.A., & Swart, P.J. (2008). Exploring network structure, dynamics, and function using NetworkX. SciPy 2008. Proceedings of the 7th Python in Science Conference (pp. 11–15). Pasadena, CA: SciPy. https://doi.org/10.25080/tcwv9851
  12. Ifenthaler, D., Masduki, I., & Seel, N.M. (2011). The mystery of cognitive structure and how we can detect it: tracking the development of cognitive structures over time. Instructi­onal Science, 39(1), 41–61. https://doi.org/10.1007/s11251-009-9097-6
  13. Ifenthaler, D., Pirnay-Dummer, P., & Spector, J.M. (Eds.). (2008). Understanding models for learning and instruction: Essays in Honor of Norbert M. Seel. Springer New York.
  14. Johnson, P.J., Goldsmith, T.E., & Teague, K.W. (1995). Similarity, structure, and knowledge: A representational approach to assessment. In P.D. Nichols, S.F. Chipman, R.F. Brennan (Eds.). Cognitively Diagnostic Assessment (pp. 221–249). Mahwah, N.J: Lawrence Erlbaum Associates, Inc. https://doi.org/10.4324/9780203052969-10
  15. Jonassen, D.H. (1987). Assessing cognitive structure: Verifying a method using pattern notes. Journal of Research & Development in Education, 20(3), 1–14.
  16. Meyer, B. (2008). The effects of computer-elicited structural and group knowledge on complex problem solving performance. Ph.D. in Psychology Thesis. Berlin: Humboldt University Berlin. https://doi.org/10.5167/uzh-9204
  17. Nisbett, R.E., & Wilson, T.D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84(3), 231–259. https://doi.org/10.1037/0033-295X.84.3.231
  18. Oboznov, A.A., Chernetskaya, E.D., & Bessonova, Y.V. (2013). Conceptual models of nuclear station in operators with different occupational length of service. Psikhologicheskii Zhournal, 34(4), 47–57. (In Russ.)
  19. Pirnay-Dummer, P., Ifenthaler, D., & Spector, J.M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development, 58(1), 3–18. https://doi.org/10.1007/s11423-009-9119-8
  20. Politowicz, M.S., Sato, T., Chancey, E.T., & Yamani, Y. (2022). Pathfinder networks for measuring operator mental model structure with a simple autopilot system. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 66(1), 883–887. https://doi.org/10.1177/1071181322661510
  21. Sanchez, S.M. (2021). Concept Sourcing for Mental Models: A Study of Mental Models & Expertise Using a Video Game Context. MS in Psychology Thesis. Raleigh, NC: North Carolina State University.
  22. Schvaneveldt, R.W., Durso, F.T., & Dearholt, D.W. (1989). Network structures in proximity data. In G.H. Bower (Eds.), Psychology of Learning and Motivation (vol. 24, pp. 249–284). New York: Academic Press, Inc. https://doi.org/10.1016/s0079-7421(08)60539-3
  23. Seel, N.M. (1999). Educational diagnosis of mental models: Assessment problems and tech­nology-based solutions. Journal of Structural Learning & Intelligent Systems, 14(2), 153–185.
  24. Shavelson, R.J. (1972). Some aspects of the correspondence between content structure and cognitive structure in physics instruction. Journal of Educational Psychology, 63(3), 225–234. https://doi.org/10.1037/h0032652
  25. Snow, R.E. (1989). Toward assessment of cognitive and conative structures in learning. Educational Researcher, 18(9), 8–14. https://doi.org/10.3102/0013189x018009008
  26. Trumpower, D.L., & Sarwar, G.S. (2010). Effectiveness of structural feedback provided by pathfinder networks. Journal of Educational Computing Research, 43(1), 7–24. https://doi.org/10.2190/ec.43.1.b
  27. Trumpower, D.L., & Vanapalli, A.S. (2016). Structural assessment of knowledge as, of, and for learning. In M. Spector, B. Lockee, M. Childress (Eds.), Learning, Design, and Techno­logy (pp. 1–22). Cham: Springer. https://doi.org/10.1007/978-3-319-17727-4_23-1
  28. Trumpower, D.L., Sharara, H., & Goldsmith, T.E. (2010). Specificity of structural assessment of knowledge. The Journal of Technology, Learning and Assessment, 8(5), 1–32.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».