ChatGPT in students’ research: to forbid or to teach?

Cover Page

Cite item

Full Text

Abstract

Importance. ChatGPT, developed on the basis of artificial intelligence technologies, is able to significantly change the scientific research activity of scientists and students, performing for them some routine work on searching and processing literary sources and other data, as well as compiling research texts. At the same time, the integration of ChatGPT into education and science causes heated discussions in the academic environment.The purpose of the research is a) to review studies on the use of chatbots in general and ChatGPT in particular in research work, b) to conduct an empirical study to test the ability of ChatGPT to compose research texts and describe the results of the analysis of the data obtained; c) to identify and discuss key issues related to the effectiveness of using ChatGPT in students’ research work.Materials and methods. The empirical study was conducted at Derzhavin Tambov State University and included interaction with ChatGPT in order to compile on its basis fragments of research work consisting of the relevance of the topic, a literature review (definitions of concepts and positions known in a particular field of knowledge), analysis of search results, selection of bibliography. The experimental work was carried out on the material of the methods of teaching foreign languages.Results and Discussion. ChatGPT has proven its worth in solving only a few research tasks in accordance with user requests (to formulate the relevance of the work, to give definitions of concepts proposed by different authors and descriptions of established constructs, to analyze and summarize data results, to generate new data, to compile a bibliographic list). The volume of reviews and the depth of their content turned out to be of more satisfactory and unsatisfactory quality. In addition, in cases of lack of the necessary information to solve the task, ChatGPT resorted to falsifying data and generating non-existent information.Conclusion. Based on the analysis of search query data, the authors identify a list of key issues and problems, the solution of which will contribute to a more effective use of ChatGPT in the research work of young scientists and students. Such issues include the following: a) the quality of the materials provided by ChatGPT at the user’s request; b) the availability of ChatGPT and other analog programs; c) the ability and capabilities of ChatGPT to provide certain materials and perform some analytical functions; d) the contextuality of a series of requests; e) the combination of traditional intellectual work of a person with work based on ChatGPT; f) the author’s ethics of writing research texts; g) the inability of ChatGPT to adapt the results of search queries to the user’s level of language proficiency; h) the educational aspect of creating ChatGPT research texts; i) the price of the question (or to what time and labor-intensive costs lead the using of ChatGPT in research work); j) the competence of the user in the professional field when using ChatGPT.

Keywords

About the authors

P. V. Sysoyev

Derzhavin Tambov State University

Email: psysoyev@yandex.ru

E. M. Filatov

Derzhavin Tambov State University

Email: filatovgenya200@gmail.com

References

  1. Hwang G.J., Chang C.Y. A review of opportunities and challenges of chatbots in education // Interactive Learning Environments. 2021. P. 1-14. URL: https://www.tandfonline.com/doi/full/10.1080/10494820.2021.1952615 (accessed: 21.12.2022), https://doi.org/10.1080/10494820.2021.1952615
  2. Io H.N., Lee C.B. Chatbots and conversational agents: A bibliometric analysis // IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). Singapore, 2017. P. 215-219. https://doi.org/10.1109/IEEM.2017.8289883
  3. Коробова А.Н., Чижик Н.Д. Использование чат-ботов в качестве дополнительного помощника для абитуриентов МРК // Научная конференция учащихся колледжа: материалы 58-й научной конференции аспирантов, магистрантов и студентов БГУИР / под ред. В.В. Шаталовой, М.А. Бельчик, Е.А. Лазицкас и др. 2022. Минск. С. 70-73. URL: https://libeldoc.bsuir.by/handle/123456789/49046 (дата обращения: 16.01.2023).
  4. Dokukina I., Gumanova J. The rise of chatbots – new personal assistants in foreign language learning // Procedia Computer Science. 2020. Vol. 169. P. 542-546. https://doi.org/10.1016/j.procs.2020.02.212
  5. Кадеева О.Е., Сырицина В.Н. Чат-боты и особенности их использования в образовании // Информатика в школе. 2020. № 10 (163). С. 45-53. https://doi.org/10.32517/2221-1993-2020-19-10-45-53, https://elibrary.ru/uqlytr
  6. Сысоев П.В., Филатов Е.М. Чат-боты в обучении иностранному языку: преимущества и спорные вопросы // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 1. С. 6672. https://doi.org/10.20310/1810-0201-2023-28-1-66-72, https://elibrary.ru/pxgztj
  7. Харламенко И.В. Чат-боты в обучении английскому языку // Иностранные языки в школе. 2023. № 3. С. 55-59. https://elibrary.ru/lebneu
  8. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Искусственный интеллект в обучении иностранному языку: чат-боты в развитии умений иноязычного речевого взаимодействия обучающихся // Иностранные языки в школе. 2023. № 3. С. 45-54. https://elibrary.ru/gdjorm
  9. Авраменко А.П., Тарасов А.А. Технология распознавания речи искусственным интеллектом для развития устно-речевых умений при подготовке к ЕГЭ // Иностранные языки в школе. 2023. № 3. С. 6067. https://elibrary.ru/jqzchv
  10. Thorp H. ChatGPT is fun, but not an author // Science. 2023. Vol. 379. № 6630. P. 313-314. https://doi.org/10.1126/science.adg7879
  11. Dis van E. A.M., Bollen J., Rooij van R. et al. ChatGPT: five priorities for research // Nature. 2023. Vol. 614. P. 224-226. https://doi.org/10.1038/d41586-023-00288-7
  12. Жадан А. Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании // Журнал Тинькофф. 2023. URL: https://journal.tinkoff.ru/neuro-diploma/
  13. Elkins K., Chun J. Can GPT-3 Pass a Writer’s Turing Test? // Journal of Cultural Analytics. 2020. Vol. 5. № 2. P. 1 -16. URL: https://culturalanalytics.org/article/17212-can-gpt-3-pass-a-writer-s-turing-test (accessed: 21.12.2022), https://doi.org/10.22148/001c.17212
  14. Gao C.A., Howard F.M., Markov N.S. et al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers // bioRxiv, 2022. P. 1-18. URL: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1.full (accessed: 21.12.2022), https://doi.org/10.1101/2022.12.23.521610
  15. Cotton D.R.E., Cotton P.A., Shipway J.R. Chatting and Cheating. Ensuring academic integrityin the era of ChatGPT // EdArXiv. 2023. P. 1-11. URL: https://edarxiv.org/mrz8h/ (accessed: 29.03.2023), https://doi.org/10.35542/osf.io/mrz8h
  16. Nassim D. Plagiarism in the age of massive Generative Pre-trained Transformers (GPT-3) // Ethics in Science and Environmental Politics. 2021. Vol. 21. P. 17-23. https://doi.org/10.3354/esep00195
  17. Rosenblatt K. (NBC News). ChatGPT banned from New York City public schools’ devices and networks. January 2023. Accessed: 22.01.2023. URL: https://nbcnews.to/3iTE0t6
  18. Halaweh M. ChatGPT in education: Strategies for responsible // Contemporary Educational Technology. 2023. Vol. 15. № 2. P. 1-11. URL: https://www.cedtech.net/article/chatgpt-in-education-strategies-forresponsible-implementation-13036 (accessed: 24.03.2023), https://doi.org/10.30935/cedtech/13036
  19. Ивахненко Е.Н., Никольский В.С.ChatGPT в высшем образовании и науке: угрозы или ценный ресурс? // Высшее образование в России. 2023. Т. 32. № 4. С. 9-22. https://doi.org/10.31992/0869-36172023-32-4-9-22
  20. Гаркуша Н.С., Городова Ю.С. Педагогические возможности ChatGPT для развития когнитивной активности студентов // Профессиональное образование и рынок труда. 2023. Т. 11. № 1. С. 6-23. https://doi.org/10.52944/PORT.2023.52.1.001, https://elibrary.ru/nbbirg

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».