ChatGPT in students’ research: to forbid or to teach?

Cover Page

Cite item

Full Text

Abstract

Importance. ChatGPT, developed on the basis of artificial intelligence technologies, is able to significantly change the scientific research activity of scientists and students, performing for them some routine work on searching and processing literary sources and other data, as well as compiling research texts. At the same time, the integration of ChatGPT into education and science causes heated discussions in the academic environment.The purpose of the research is a) to review studies on the use of chatbots in general and ChatGPT in particular in research work, b) to conduct an empirical study to test the ability of ChatGPT to compose research texts and describe the results of the analysis of the data obtained; c) to identify and discuss key issues related to the effectiveness of using ChatGPT in students’ research work.Materials and methods. The empirical study was conducted at Derzhavin Tambov State University and included interaction with ChatGPT in order to compile on its basis fragments of research work consisting of the relevance of the topic, a literature review (definitions of concepts and positions known in a particular field of knowledge), analysis of search results, selection of bibliography. The experimental work was carried out on the material of the methods of teaching foreign languages.Results and Discussion. ChatGPT has proven its worth in solving only a few research tasks in accordance with user requests (to formulate the relevance of the work, to give definitions of concepts proposed by different authors and descriptions of established constructs, to analyze and summarize data results, to generate new data, to compile a bibliographic list). The volume of reviews and the depth of their content turned out to be of more satisfactory and unsatisfactory quality. In addition, in cases of lack of the necessary information to solve the task, ChatGPT resorted to falsifying data and generating non-existent information.Conclusion. Based on the analysis of search query data, the authors identify a list of key issues and problems, the solution of which will contribute to a more effective use of ChatGPT in the research work of young scientists and students. Such issues include the following: a) the quality of the materials provided by ChatGPT at the user’s request; b) the availability of ChatGPT and other analog programs; c) the ability and capabilities of ChatGPT to provide certain materials and perform some analytical functions; d) the contextuality of a series of requests; e) the combination of traditional intellectual work of a person with work based on ChatGPT; f) the author’s ethics of writing research texts; g) the inability of ChatGPT to adapt the results of search queries to the user’s level of language proficiency; h) the educational aspect of creating ChatGPT research texts; i) the price of the question (or to what time and labor-intensive costs lead the using of ChatGPT in research work); j) the competence of the user in the professional field when using ChatGPT.

Keywords

About the authors

P. V. Sysoyev

Derzhavin Tambov State University

Email: psysoyev@yandex.ru
ORCID iD: 0000-0001-7478-7828

Dr. habil. (Education), Professor, Head of Foreign Language Multicultural Education Research Laboratoryй

33 Internatsionalnaya St., Tambov, 392000, Russian Federation

E. M. Filatov

Derzhavin Tambov State University

Author for correspondence.
Email: filatovgenya200@gmail.com
ORCID iD: 0000-0001-6331-4718

Research Scholar of Foreign Language Multicultural Education Research Laboratory

33 Internatsionalnaya St., Tambov, 392000, Russian Federation

References

  1. Hwang G.J., Chang C.Y. (2021). A review of opportunities and challenges of chatbots in education. Interactive Learning Environments, pp. 1-14. Available at: https://www.tandfonline.com/doi/full/10.1080/10494-820.2021.1952615 (accessed: 21.12.2022), https://doi.org/10.1080/10494820.2021.1952615
  2. Io H.N., Lee C.B. (2017). Chatbots and conversational agents: A bibliometric analysis. IEEE International Con-ference on Industrial Engineering and Engineering Management (IEEM). Singapore, pp. 215-219. https://doi.org/10.1109/IEEM.2017.8289883
  3. Korobova A.N., Chizhik N.D. (2022). Using chatbots as an additional assistant for RTO applicants. In: Shatalo-va V.V., Belchik M.A., Lazitskas E.A. et al. (eds.). Materialy 58-i nauchnoi konferentsii aspirantov, magistran-tov i studentov BGUIR «Nauchnaya konferentsiya uchashchikhsya kolledzha» [Proceedings of the 58th Scientific Conference of Post-Graduate Student, Master’s Degree Student and Students of Belarusian State University of Informatics and Radioelectronics “Scientific Conference of College Students”]. Minsk, pp. 70-73. (In Russ.) Available at: https://libeldoc.bsuir.by/handle/123456789/49046 (accessed 16.01.2023).
  4. Dokukina I., Gumanova J. (2020). The rise of chatbots – new personal assistants in foreign language learning. Procedia Computer Science, vol. 169, pp. 525-546. https://doi.org/10.1016/j.procs.2020.02.212
  5. Kadeeva O.E., Syritsina V.N. (2020). Chatbots and features of their use in education. Informatika v shkole = Informatics in School, no. 10 (163), pp. 45-53. (In Russ.) https://doi.org/10.32517/2221-1993-2020-19-10-45-53, https://elibrary.ru/uqlytr
  6. Sysoev P.V., Filatov E.M. (2023). Chatbots in teaching a foreign language: advantages and controversial issues. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review. Series: Humani-ties, vol. 28, no. 1. pp. 66-72. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-1-66-72, https://elibrary.ru/pxgztj
  7. Kharlamenko I.V. (2023). Chatbots in teaching English. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 55-59. (In Russ.) https://elibrary.ru/lebneu
  8. Sysoev P.V., Filatov E.M., Sorokin D.O. (2023). Artificial intelligence in foreign language teaching: chatbots in the development of students’ foreign language speaking skills. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 45-54. (In Russ.) https://elibrary.ru/gdjorm
  9. Avramenko A.P., Tarasov A.A. (2023). Artificial intelligence speech recognition technologies for the develop-ment of speaking skills within the unified state exam preparation. Inostrannye yazyki v shkole = Foreign Lan-guages at School, no. 3, pp. 60-67. (In Russ.) https://elibrary.ru/jqzchv
  10. Thorp H. (2023). ChatGPT is fun, but not an author. Science. vol. 379, no. 6630, pp. 313-314. https://doi.org/10.1126/science.adg7879
  11. Dis van E.A.M., Bollen J., Rooij van R. et al. (2023). ChatGPT: five priorities for research. Nature, vol. 614, pp. 224-226. https://doi.org/10.1038/d41586-023-00288-7
  12. Zhadan A. (2023). Kak ya napisal diplom s pomoshch’yu ChatGPT i okazalsya v tsentre spora o neirosetyakh v obrazovanii. Zhurnal Tin’koff. (In Russ.) URL: https://journal.tinkoff.ru/neuro-diploma/
  13. Elkins K., Chun J. (2020). Can GPT-3 Pass a Writer’s Turing Test? Journal of Cultural Analytics, vol. 5, no. 2, pp. 1-16. Available at: https://culturalanalytics.org/article/17212-can-gpt-3-pass-a-writer-s-turing-test (accessed 21.12.2022), https://doi.org/10.22148/001c.17212
  14. Gao C.A., Howard F.M., Markov N.S. et al. (2022). Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human review-ers. bioRxiv. P. 1-18. Available at: https://www.biorxiv.org/content/10.1101/2022.12.23.52-1610v1.full (ac-cessed 21.12.2022), https://doi.org/10.1101/2022.12.23.521610
  15. Cotton D.R.E., Cotton P.A., Shipway J.R. (2023). Chatting and Cheating. Ensuring academic integrity in the era of ChatGPT. EdArXiv. pp. 1-11. Available at: https://edarxiv.org/mrz8h/ (accessed 29.03.2023), https://doi.org/10.35542/osf.io/mrz8h
  16. Nassim D. (2021). Plagiarism in the age of massive Generative Pre-trained Transformers (GPT-3). Ethics in Science and Environmental Politics, vol. 21, pp. 17-23. https://doi.org/10.3354/esep00195
  17. Rosenblatt K. (NBC News). ChatGPT banned from New York City public schools’ devices and networks. Janu-ary 2023. Accessed 22.01.2023. https://nbcnews.to/3iTE0t6
  18. Halaweh M. (2023). ChatGPT in education: Strategies for responsible. Contemporary Educational Technology, vol. 15, no. 2, pp. 1-11. Available at: https://www.cedtech.net/article/chatgpt-in-education-strategies-for-responsible-implementation-13036 (accessed 24.03.2023), https://doi.org/10.30935/cedtech/13036
  19. Ivakhnenko E.N., Nikolskii V.S. (2023). ChatGPT in Higher Education and Science: a Threat or a Valuable Re-source? Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 32, no. 4, pp. 9-22. (In Russ.) https://doi.org/10.31992/0869-3617-2023-32-4-9-22
  20. Garkusha N.S., Gorodova Yu.S. (2023). Pedagogical opportunities of ChatGPT for developing cognitive activity of students. Professional’noe obrazovanie i rynok truda = Vocational Education and Labour Market, vol. 11, no. 1, pp. 6-23. (In Russ.) https://doi.org/10.52944/PORT.2023.52.1.001, https://elibrary.ru/nbbirg

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».