Сравнительный анализ генерации заголовков к научным работам на русском и английском языках с использованием больших языковых моделей

Обложка

Цитировать

Полный текст

Аннотация

В работе представлен сравнительный анализ эффективности и особенностей использования больших языковых моделей (ChatGPT, Gemini, Mistral, Llama) для автоматизированной генерации заголовков к научным публикациям на русском и английском языках. В рамках исследования изучаются специфика функционирования моделей как в лингвистическом, так и в межъязыковом аспектах, а также их способность учитывать требования различных академических традиций. Эмпирическую базу составляет корпус из 100 статей гуманитарного и технического профиля, опубликованных в 2018–2023 годах, что позволяет анализировать работу моделей на материалах, отражающих широкий спектр тематик и жанровых особенностей. Особое внимание уделяется выявлению различий между моделями как в стилистических и структурных предпочтениях, так и в особенностях межъязыковой адаптации. Экспериментальная процедура включала тестирование моделей в режиме zero-shot промптинга с использованием унифицированных промптов, сформулированных на основе краткого содержания оригинальных работ. Оценка сгенерированных заголовков проводилась по критериям степени детализации, терминологической точности и соответствия жанровым нормам академического дискурса. Полученные результаты показывают, что рассмотренные модели в целом способны генерировать заголовки, отвечающие базовым жанровым требованиям, однако демонстрируют выраженные различия в уровне информативности, степени детализации и стилистических особенностях, придерживаясь различных стратегий генерации. В работе впервые проводится межъязыковое сопоставление возможностей различных больших языковых моделей в контексте академического дискурса и предлагается обращение к новому типу материала для лингвистических исследований — тексту, созданному искусственным интеллектом, а не порождённым непосредственно человеком. Несмотря на то, что большие языковые модели демонстрируют значительный потенциал в качестве инструмента для генерации предварительных вариантов заголовков научных публикаций, отмеченные различия в степени информативности и стилистике требуют критического подхода: сгенерированные тексты следует рассматривать как основу, требующую редакторской доработки для полного соответствия академическим нормам.

Об авторах

Алексей Дмитриевич Тимохов

Московский городской педагогический университет

Email: timokhovad@mgpu.ru
ORCID iD: 0000-0003-4626-9120
магистр; кафедра Языкознания и переводоведения;

Список литературы

  1. Вахтерова Е. В. Исследование академического дискурса в отечественной и зарубежной лингвистике // Глобус. 2021. № 1 (58). С. 22-26. EDN: JNENZS. doi: 10.52013/2658-5197-58-1-7.
  2. Зубкова Л. И. Конститутивные признаки академического дискурса // Известия ВГПУ. 2009. № 5. С. 28-32. EDN: LPAWPB.
  3. Попова Т. П. Некоторые особенности академического дискурса // Известия ВГПУ. 2015. № 7 (102). С. 85-91. EDN: UZBHWJ.
  4. Тимохов А. Д. Нейрокорпус заголовков и аннотаций к научным публикациям на русском и английском языках [Электронный ресурс]. URL: https://drive.google.com/drive/u/1/folders/1yHUHT1mwRo42HxMOBXfuCYOU1TQ01noP (дата обращения: 19.05.2025).
  5. Хутыз И. П. Особенности конструирования академического дискурса: ориентация на читателя / автора // Вестник Майкопского государственного технологического университета. 2015. № 1. С. 77-82. EDN: TRZRRJ.
  6. Хутыз И. П. Лингвокультурные традиции в пространстве академического дискурса: особенности конструирования // Вестник Московского городского педагогического университета. Серия: Филология. Теория языка. Языковое образование. 2016. № 3 (23). С. 86-93. EDN: WLSIZF.
  7. Черкунова М. В. Малоформатный текст: к определению понятия (теоретические аспекты) // Известия Саратовского университета. Новая серия. Серия Филология. Журналистика. 2022. № 3. С. 248-253. EDN: BTSHTN. doi: 10.18500/1817-7115-2022-22-3-248-253.
  8. Шпенюк И. Е. Научно-академический дискурс как институциональный тип дискурса // Известия Гомельского государственного университета им. Ф. Скорины. 2016. № 4 (97). С. 132-137. EDN: WWIFGV.
  9. Шутова Н. М., Померанец И. Б. Аннотация к научной статье на английском и русском языках: сопоставительный анализ и проблемы перевода // Филологические науки. Вопросы теории и практики. 2020. № 10. С. 318-324. EDN: GUGPZI. doi: 10.30853/filnauki.2020.10.62.
  10. Altmäe S., Sola-Leyva A., Salumets A. Artificial intelligence in scientific writing: a friend or a foe? // Reproductive BioMedicine Online. 2023. V. 47. No 1. Pp. 3-9. doi: 10.1016/j.rbmo.2023.04.009. EDN: VWHRLW.
  11. Attention Is All You Need / Vaswani A., Shazeer N., Parmar N. et al. // Advances in Neural Information Processing Systems. 2017. V. 30. Pp. 5998-6008.
  12. Benichou L. The role of using ChatGPT AI in writing medical scientific articles // Journal of Stomatology, Oral and Maxillofacial Surgery. 2023. V. 124. No 5. Pp. 1-5. doi: 10.1016/j.jormas.2023.101456. EDN: FUZCSY.
  13. Bennett K. English Academic Discourse: Hegemonic Status and Implications for Translation (with particular reference to Portuguese). Lambert Academic Publishing. 2012. 284 p.
  14. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / Devlin J., Chang M.-W., Lee K. et al. // Proceedings of NAACL-HLT 2019. 2019. Pp. 4171-4186.
  15. Brown T., Mann B., Ryder N. et al. Language Models are Few-Shot Learners // Advances in Neural Information Processing Systems. 2020. V. 33. Pp. 1877-1901.
  16. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP / Liu P., Yuan W., Fu J. et al. // ACM Computing Surveys. 2021. V. 55. No 9. Pp. 1-35.
  17. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? / Bender E. M., Gebru T., McMillan-Major A. et al. // Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. 2021. Pp. 610-623.
  18. On ChatGPT and beyond: How generative artificial intelligence may affect research, teaching, and practice / Peres R., Schreier M., Schweidel D. et al. // International Journal of Research in Marketing. 2023. V. 40. No 2. Pp. 269-275. doi: 10.1016/j.ijresmar.2023.03.001. EDN: LMXQWJ.
  19. Özcan A., Polat S. Artificial Intelligence and Chat Bots in Academic Research // Journal of Research in Social Sciences and Language. 2023. V. 3. No 2. Pp. 81-90.
  20. The Role of Artificial Intelligence in Scientific Writing / Kammer M. N., Gomila P., Vumbaco D. J. et al. // Journal of Clinical Case Reports, Medical Images and Health Sciences. 2023. V. 3. No 3. Pp. 1-6. doi: 10.55920/jcrmhs.2023.03.001116. EDN: XTXHCE.
  21. Salvagno M., Taccone F. S., Gerli A. G. Can artificial intelligence help for scientific writing? // Critical Care. 2023. V. 27. No 75. Pp. 1-5.
  22. Opinion Paper: “So what if ChatGPT wrote it?” Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy / Dwivedi Y. K., Kshetri N., Hughes L. et al. // International Journal of Information Management. 2023. V. 71. P. 102642. doi: 10.1016/j.ijinfomgt.2023.102642. EDN: GFXYHE.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).