Сравнительная эффективность больших языковых моделей в генерации аннотаций к научным работам: zero-shot и итеративный промптинг

В работе предлагается сравнительный анализ эффективности и особенностей больших языковых моделей (ChatGPT, Gemini, Mistral, Llama) как инструментов автоматизированной генерации аннотаций к научным публикациям на русском и английском языках. В рамках исследования изучаются специфика функционирования моделей как в лингвистическом, так и в межъязыковом аспектах, а также их способность учитывать требования различных академических традиций. Исследование охватывает различные подходы к генерации аннотаций, включая zero-shot промптинг и итеративный промптинг. Материалом для анализа служит корпус из 100 научных статей гуманитарной и технической направленности, опубликованных в 2018–2023 годах, что позволяет анализировать работу моделей на материалах, отражающих широкий спектр тематик и жанровых особенностей. Особое внимание уделялось сравнительному анализу результатов между моделями, а также выявлению стилистических и структурных особенностей генерации в зависимости от языка. Аннотации генерировались с помощью унифицированных zero-shot запросов на основе краткого содержания оригинальных работ, а также уточняющих промптов, направленных на исправление выявленных недостатков первоначальной генерации. Качество сгенерированных текстов оценивалось по критериям соответствия структурным требованиям, терминологической точности, стилистического соответствия нормам академического дискурса, полноты и релевантности передаваемой информации. Полученные результаты показывают, что рассмотренные модели в целом способны создавать тексты, соответствующие основным жанровым и стилистическим требованиям научной аннотации, однако каждая модель придерживается различных стратегий генерации. Отмечается, что генерация посредством zero-shot промптинга, хотя и позволяет получить качественный результат на обоих языках, сопровождается недостатками в уровне детализации, точности и стилистическом соответствии нормам академического дискурса на русском языке, тогда как итеративный подход позволяет повысить качество аннотаций. В работе впервые проводится межъязыковое сопоставление возможностей различных больших языковых моделей в контексте академического дискурса и предлагается обращение к новому типу материала для лингвистических исследований — тексту, созданному искусственным интеллектом, а не порождённым непосредственно человеком. Исследование подтверждает, что большие языковые модели при корректной постановке задачи способны генерировать научные аннотации, близкие по содержанию и структуре к аннотациям, составленным человеком, однако их использование требует внимательного контроля со стороны исследователя.

академический дискурс, большие языковые модели, генерация текста, научная аннотация, искусственный интеллект, обработка естественного языка, автоматическая генерация текста, zero-shot промптинг, итеративный промптинг, написание научного исследования