🔧На сайте запланированы технические работы
25.12.2025 в промежутке с 18:00 до 21:00 по Московскому времени (GMT+3) на сайте будут проводиться плановые технические работы. Возможны перебои с доступом к сайту. Приносим извинения за временные неудобства. Благодарим за понимание!
🔧Site maintenance is scheduled.
Scheduled maintenance will be performed on the site from 6:00 PM to 9:00 PM Moscow time (GMT+3) on December 25, 2025. Site access may be interrupted. We apologize for the inconvenience. Thank you for your understanding!

 

АВТОМАТИЧЕСКОЕ ВЫЯВЛЕНИЕ РЕЧЕВЫХ ИНТЕНЦИЙ С ПОМОЩЬЮ БОЛЬШОЙ ЯЗЫКОВОЙ МОДЕЛИ

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В статье представлены результаты исследования возможностей большой языковой модели (GPT-4) по выявлению интенциональной структуры текста. В ходе исследования решались следующие задачи: разработка методики классификации интенций терапевта в психотерапевтическом дискурсе; создание оптимальной инструкции для работы с моделью; анализ влияния полноты инструкции на точность выявления интенций моделью; изучение соотношения точности классификации интенций моделью с частотой встречаемости интенций в тексте и согласованностью оценок экспертов. Для анализа интенциональной структуры текстов была разработана оригинальная методика классификации интенций терапевта в психотерапевтическом дискурсе. С помощью нее командой из трех экспертов, принимающих решения о наличии интенции в реплике независимо друг от друга, проводилась разметка 14 сессий на русском языке (всего 692 реплики терапевта). Задачу выявления интенций терапевта решали модели “GPT-4o-mini” и “GPT-o1”. Модель обнаруживала интенции психотерапевта, реализуемые им в конкретных речевых высказываниях (репликах). Проведенное исследование продемонстрировало значительные возможности большой языковой модели GPT-4 при решении задачи выявления речевых намерений говорящего. Достигнутая точность классификации интенций терапевта оказалась на уровне лучших показателей, полученных в работах аналогичной тематики. Показано, что совершенствование инструкции существенно увеличивает качество работы модели, а сложность поставленных перед нею задач связано точностью прогнозов. Различные критерии наличия интенций в репликах терапевта значительно изменяли точность прогнозов модели.

Об авторах

А. В Ванин

ФГБУН “Институт психологии РАН”

Email: vaninav@ipran.ru
Научный сотрудник, кандидат психологических наук, магистр информационной безопасности Москва, Россия

А. С Власова

ФГБУН “Институт психологии РАН”; Московский государственный университет им. М.В. Ломоносова

Email: vlasovaas@ipran.ru
Лаборант, студент Москва, Россия; Москва, Россия

Е. Н Дымова

ФГБУН “Институт психологии РАН”

Email: dymovaen@ipran.ru
Младший научный сотрудник лаборатории психологии развития субъекта в нормальных и постпрагматических состояниях Москва, Россия

В. В Латынов

ФГБУН “Институт психологии РАН”

Email: latynovv@ipran.ru
Ведущий научный сотрудник лаборатории психологии речи и психолингвистики, кандидат психологических наук Москва, Россия

А. С Панфилова

ФГБУН “Институт психологии РАН”

Email: panfilova87@gmail.com
Заведующая лабораторией технологий искусственного интеллекта в психологии, кандидат технических наук Москва, Россия

П. Ю Середа-Калинин

ФГБУН “Институт психологии РАН”

Email: seredapj@ipran.ru
Младший научный сотрудник Москва, Россия

А. И Тулянкина

ФГБУН “Институт психологии РАН”. Лаборатория технологии искусственного интеллекта в психологии

Email: anna.tulyankina23@gmail.com
Младший научный сотрудник Москва, Россия

Список литературы

  1. Pavlova N.D., Afinogenova V.A., Grebenshhikova T.A. Diskurs social'nyh media: intencional'nyj podhod. Psikhologicheskii zhurnal. 2023. T. 44. №. 1. S. 81–90.
  2. Pavlova N.D., Grebenshhikova T.A. Postsobytijnyj diskurs v internet-soobshhestvah: intencional'naja struktura i priemy vozdejstvija. Jeksperimental'naja psihologija. 2020. T. 13. № 1. S. 138–148.
  3. Ushakova T.N., Pavlova N.D., Latynov V.V., Cepcov V.A., Alekseev K.I. Slovo v dejstvii: intent-analiz politicheskogo diskursa. Izd-vo Aletejia, 2000.
  4. Breum S.M., Egdal D.V., Mortensen V.G., Moller A.G., Aiello L.M. The persuasive power of large language models. Proceedings of the International AAAI Conference on Web and Social Media. 2024. V. 18. P. 152–163.
  5. Chiu Y.Y., Sharma A., Lin I.W., Althoff T. A computational framework for behavioral assessment of LLM therapists. arXiv preprint arXiv:2401.00820. URL: https://arxiv.org/abs/2401.00820 (date of request: 15.02.2025).
  6. Elyoseph Z., Hadar-Showal D., Asraf K., Lvosky M. ChatGPT outperforms humans in emotional awareness evaluations. Frontiers in Psychology. 2023. V. 14. P. 1199058. DOI: https://doi.org/10.3389/fpsyg.2023.1199058.
  7. Goldstein J.A., Chao J., Grossman S., Stamos A., Tomz M. How persuasive is AI-generated propaganda? PNAS Nexus. 2024. V. 3. № 2. P. pgae034.
  8. Han G., Liu W., Huang X., Borsari B. Chain-of-interaction: Enhancing large language models for psychiatric behavior understanding by dyadic contexts. 2024 IEEE 12th International Conference on Healthcare Informatics (ICHI). IEEE, 2024. P. 392–401.
  9. Hurst A. et al. Gpt-4o system card. arXiv preprint arXiv:2410.21276. URL: https://arxiv.org/abs/2410.21276 (date of request: 20.02.2025).
  10. Karinshak E., Liu S.X., Park J.S., Hancock J.T. Working with AI to persuade: Examining a large language model's ability to generate pro-vaccination messages. Proceedings of the ACM on Human-Computer Interaction. 2023. V. 7. № CSCWI. P. 1–29.
  11. Landis J.R., Koch G.G. The measurement of observer agreement for categorical data. Biometrics. 1977. P. 159–174.
  12. Lee Y., Goldwasser D., Reese L.S. Towards understanding counseling conversations: Domain knowledge and large language models. arXiv preprint arXiv:2402.14200. URL: https://arxiv.org/abs/2402.14200 (date of request: 12.01.2025).
  13. Li A., Lu Y., Song N., Zhang S., Ma L., Lan Z. Understanding the therapeutic relationship between counselors and clients in online text-based counseling using LLMs. arXiv preprint arXiv:2402.11958. URL: https://arxiv.org/abs/2402.11958 (date of request: 05.02.2025).
  14. Matz S.C., Teeny J.D., Vaid S.S., Peters H., Harari G.M., Cerf M. The potential of generative AI for personalized persuasion at scale. Scientific Reports. 2024. V. 14. № 1. P. 4692.
  15. Shin M., Kim J. Large language models can enhance persuasion through linguistic feature alignment. arXiv preprint arXiv:2311.16466. URL: https://arxiv.org/abs/2311.16466 (date of request: 25.12.2024).
  16. Wang T., Zhou N., Chen Z. Enhancing computer programming education with LLMs: A study on effective prompt engineering for Python code generation. arXiv preprint arXiv:2407.05437. URL: https://arxiv.org/abs/2407.05437 (date of request: 10.03.2025).
  17. Wu Y., Hu G. Exploring prompt engineering with GPT language models for document-level machine translation: Insights and findings. Proceedings of the Eighth Conference on Machine Translation. 2023. P. 166–169.
  18. Zhong T. et al. Evaluation of OpenAI O1: Opportunities and challenges of AGI. arXiv preprint arXiv:2409.18486. URL: https://arxiv.org/abs/2409.18486 (date of request: 15.03.2025).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

© Российская академия наук, 2025

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».