Thematic control and criteria-based assessment of foreign language writing skills using artificial intelligence technologies

Cover Page

Cite item

Full Text

Abstract

Importance. Currently, there is a tendency that when teaching a foreign language, teachers are increasingly resorting to the use of artificial intelligence technologies to plan training sessions, generate educational content, as well as to conduct automated testing of formed communication skills. The monitoring of academic achievements and assessment is one of the key components of the organization of the educational process. Traditional methods of control and assessment require significant time and labor-intensive costs from the teacher, while artificial intelligence technologies make it possible to simplify and automate routine tasks: check tests and written papers, analyze them and identify mistakes, provide feedback. Thanks to the integration of natural language processing (NLP) technologies into chatbots and adaptive intelligent learning systems, it becomes possible on a daily basis to check texts created by students, evaluate them from the point of view of grammatical and lexical correctness, as well as identify stylistic and factual errors in real time. The purpose of this work is to test the applicability of artificial intelligence technologies for thematic control and criteria-based assessment of educational achievements using the example of productive and reproductive writing.Research Methods. In carrying out this study, the following groups of methods were used: theoretical methods aimed at familiarizing with scientific and methodological literature on the topic of research, analysis and classification of theoretical and methodological material for conducting thematic control and criterion assessment in foreign language classes, as well as empirical methods that allowed modeling pedagogical control and assessment processes using artificial intelligence technologies, observation, analysis and description of the results obtained.Definition of Concepts. The main concepts used in the study are “control of educational results” and its variety “thematic control”, “criterion assessment”.Results and Discussion. In the course of the study, various types of monitoring educational results using artificial intelligence technologies were considered: preliminary, current, intermediate, thematic, final. The choice of thematic control is due to the opportunity to trace its applicability within the framework of a single lesson in a foreign language and identify the main difficulties in using this form of control. The following criteria for evaluating writing skills are used to evaluate learning outcomes using artificial intelligence technologies: a) the structure of the written text; b) compliance with the main topic; c) coherence; d) relevance; e) grammatical correctness; f) lexical correctness; g) ethics of writing and stylistic correctness.Conclusion. Artificial intelligence technologies at the present stage have a high degree of adaptability and include a wide range of software and hardware solutions that allow for such important pedagogical procedures as monitoring educational achievements and evaluation in accordance with user-defined evaluation criteria. The obtained results are proposed to be used in research devoted to the study of modern methods of monitoring educational achievements in the methodology of teaching foreign languages using artificial intelligence technologies.

About the authors

M. N. Evstigneev

Derzhavin Tambov State University

Author for correspondence.
Email: maximevstigneev@bk.ru
ORCID iD: 0000-0003-2664-9134
Scopus Author ID: 57206855992
ResearcherId: AAE-8965-2022

Cand. Sci. (Education), Associate Professor of Linguistics and Linguodidactics Department

33 Internatsionalnaya St., Tambov, 392000, Russian Federation

References

  1. Robert I.V. (2021). Tsifrovaya transformatsiya obrazovaniya: tsennostnye orientiry, perspektivy razvitiya. Materialy 20 Natsional’noi nauchnoi konferentsii s mezhdunarodnym uchastiem «Rossiya: tendentsii i perspektivy razvitiya». Moscow, Institute for Scientific Information on Social Sciences Publ., issue 16, pt 1, pp. 868-876. (In Russ.) https://elibrary.ru/zjjsen
  2. Evstigneev M.N., Sysoyev P.V., Evstigneeva I.A. (2024). The competence of a foreign language teacher in the field of artificial intelligence. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 90-96. (In Russ.) https://elibrary.ru/auprsp
  3. Evstigneev M.N. (2024). Planning a foreign language lesson using generative artificial intelligence technologies. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 3, pp. 617-634. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-3-617-634, https://elibrary.ru/ahylwe
  4. Korenev A.A. (2024). Using artificial intelligence technologies for assessment and testing in language education. Inostrannye yazyki v shkole = Foreign Languages at School, no. 5, pp. 31-36. (In Russ.) https://elibrary.ru/buhnkp
  5. Titova S.V., Temuryan K.T. (2024). Intelligent learning system for language teaching: types, structure, design. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 25-32. (In Russ.) https://elibrary.ru/svcmqy
  6. Avramenko A.P., Akhmedova A.S., Bulanova E.R. (2023). Chatbot technology as a means of forming foreign language grammatical competence in self-study. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 2, pp. 386-394. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
  7. Lobeeva P.I. (2023). The didactic potential of using chatbots in teaching and learning English phrasal verbs. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 6, pp. 1467-1476. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-6-1467-1476, https://elibrary.ru/fmyeoc
  8. Klochikhin V.V. (2024). Application of AI-based corpora in identifying language patterns and students’ research. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 39-46. (In Russ.) https://elibrary.ru/jfylhf
  9. Sysoyev P.V., Filatov E.M. (2024). Cognitive-matrix analysis as a tool for exploring cultural identity of a fiction author. Vestnik Moskovskogo universiteta. Seriya 19: Lingvistika i mezhkul’turnaya kommunikatsiya = Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 2, pp. 38-54. (In Russ.) https://doi.org/10.55959/MSU-2074-1588-19-27-2-3, https://elibrary.ru/ivcgto
  10. Sysoyev P.V., Filatov E.M., Evstigneev M.N., Polyakov O.G., Evstigneeva I.A., Sorokin D.O. (2024). A matrix of artificial intelligence tools in pre-service foreign language teacher training. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 3, pp. 559-588. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-3-559-588, https://elibrary.ru/jazkme
  11. Kolesnikov A.A., Gabeeva K.A., Konobeev A.V. (2023). Sistema otsenki dostizhenii planiruemykh predmetnykh rezul’tatov osvoeniya uchebnogo predmeta «Inostrannyi yazyk»: metodicheskie rekomendatsii. Moscow, Institut strategii razvitiya obrazovaniya Publ., 56 p. (In Russ.) https://elibrary.ru/kwflar
  12. Sysoyev P.V., Filatov E.M., Sorokin D.O. (2024). Feedback in foreign language teaching: from information technologies to artificial intelligence. Yazyk i kul’tura = Language and Culture, no. 65, pp. 242-261. (In Russ.) https://doi.org/10.17223/19996195/65/11, https://elibrary.ru/plzyov
  13. Sysoyev P.V., Filatov E.M., Khmarenko N.I., Murunov S.S. (2024). Prepodavatel’ vs iskusstvennyi intellekt: sravnenie kachestva predostavlyaemoi prepodavatelem i generativnym iskusstvennym intellektom obratnoi svyazi pri otsenke pis’mennykh tvorcheskikh rabot studentov. Perspektivy nauki i obrazovaniya = Perspectives of Science and Education, no. 5 (71). (In Russ.)
  14. Evstigneev M.N. (2023). Twee neural network as a new tool for English language teacher. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 28, no. 6, pp. 1428-1442. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-6-1428-1442, https://elibrary.ru/hwajhp
  15. Seldon A., Abidoye O. (2018). The Fourth Education Revolution: Will Artificial Intelligence Liberate or Infantilise Humanity. Buckingham, University of Buckingham Press, 370 p.
  16. Wiser M.J., Mead L., Smith J.J., Pennock R.T. (2016). Comparing human and automated evaluation of open-ended student responses to questions of evolution. Artificial Life XV: Proceedings of the Fifteenth International Conference on Artificial Life. Cambridge (MA), MIT Press, pp. 116-122. https://doi.org/10.7551/978-0-262-33936-0-ch025
  17. Luckin R. (2017). Towards artificial intelligence-based assessment systems. Nature Human Behaviour, vol. 1, no. 3, article 0028. https://doi.org/10.1038/s41562-016-0028
  18. Holmes W., Bialik M., Fadel C. (2019). Artificial Intelligence in Education Promises and Implications for Teaching and Learning. Boston, Center for Curriculum Redesign Publ., 242 p.
  19. Sysoyev P.V. (2024). Author’s ethics and AI plagiarism: ways to solve the problem of students violating the rules of author’s ethics when interacting with artificial intelligence tools. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 84-89. (In Russ.) https://elibrary.ru/joklxd
  20. Evstigneev M.N. (2024). Principles of foreign language teaching based on artificial intelligence technologies. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review: Series Humanities, vol. 29, no. 2, pp. 309-323. (In Russ.) https://doi.org/10.20310/1810-0201-2024-29-2-309-323, https://elibrary.ru/ygipmo
  21. Sysoyev P.V., Polyakov O.G., Evstigneev M.N., Evstigneeva I.A., Prokhorov A.V., Klochikhin V.V., Filatov E.M., Sorokin. D.O. (2023). Obuchenie inostrannomu yazyku na osnove tekhnologii iskusstvennogo intellekta. Tambov, Publishing House “Derzhavinsky”, 132 p. (In Russ.) https://elibrary.ru/xldywn

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».