Том 10, № 4 (2024)

Введение: В недавних исследованиях было введено и изучено новое психолингвистическое понятие — социальность слова. Рейтинг социальности отражает степень социальной значимости слова, и словари с такими рейтингами были составлены с использованием либо опросных методов, либо машинного обучения. Однако размер словарей с рейтингами социальности, созданных на основе опросов, остается относительно небольшим. Цель данного исследования — создание крупного словаря с рейтингами социальности английских слов с использованием машинной экстраполяции, перенос этих оценок на другие языки, а также разработка диахронических моделей рейтингов социальности. Метод: Рейтинги социальности слов оцениваются с использованием многослойных нейронных сетей прямого распространения. Для получения синхронных оценок в качестве входных данных использовались предварительно обученные векторы fastText. Для получения диахронических оценок применялась статистика совместной встречаемости слов из большого диахронического корпуса. Результаты: Коэффициент корреляции Спирмена между человеческими и машинными рейтингами социальности составил 0,869. Обученные модели позволили получить рейтинги социальности для 2 миллионов английских слов, а также для широкого спектра слов на 43 других языках. Неожиданным результатом стало то, что линейная модель обеспечивает высокоточную оценку рейтингов социальности, которую вряд ли можно улучшить. Вероятно, это связано с тем, что в пространстве векторных представлений слов существует выделенное направление, отвечающее за значения, связанные с социальностью, обусловленные социальными факторами, влияющими на репрезентацию и использование слов. В статье также представлен диахронический нейросетевой предиктор рейтингов конкретности, использующий векторы совместной встречаемости слов в качестве входных данных. Показано, что с использованием годовых данных из большого диахронического корпуса Google Books Ngram можно достичь точности, сопоставимой с точностью синхронных оценок. Заключение: Созданный крупный машинный словарь рейтингов социальности может быть использован в психолингвистических и культурологических исследованиях. Изменения рейтингов социальности могут служить маркером изменения значения слова и применяться для выявления лексико-семантических изменений.

Введение: Было предложено множество алгоритмов для задачи автоматической сегментации морфем русских слов. Однако из-за различий в формулировке задачи и используемых наборах данных сравнение их качества остается сложной задачей. Неясно, являются ли ошибки в моделях следствием неэффективности самих алгоритмов или результатом неточностей и несоответствий в словарях морфем. Таким образом, остается открытым вопрос, можно ли использовать какой-либо алгоритм для автоматического расширения существующих словарей морфем. Цель: Сравнить различные существующие алгоритмы сегментации морфем для русского языка и проанализировать их применимость для автоматического дополнения существующих словарей морфем. Результаты: В данном исследовании мы сравнили несколько современных алгоритмов машинного обучения, используя три набора данных, основанных на различных парадигмах сегментации. Было проведено два эксперимента, каждый из которых включал пятикратную перекрестную проверку. В первом эксперименте мы случайным образом разделили набор данных на пять подмножеств. Во втором эксперименте все слова с одним корнем были сгруппированы в одно подмножество, при этом слова с несколькими корнями были исключены. В ходе перекрестной проверки модели обучались на четырех подмножествах и тестировались на оставшемся. В обоих экспериментах алгоритмы, основанные на ансамблях сверточных нейронных сетей, неизменно демонстрировали наивысшую производительность. Однако мы наблюдали значительное снижение точности при тестировании на словах, содержащих неизвестные корни. Также было обнаружено, что на случайно выбранном наборе слов производительность этих алгоритмов была сопоставима с результатами экспертов-людей. Вывод: Наши результаты показывают, что, хотя автоматические методы в среднем достигли качества, близкого к экспертному уровню, отсутствие семантического анализа делает невозможным их использование для автоматического расширения словаря без участия экспертов. Проведенное исследование выявило ключевые проблемы, требующие дальнейшего изучения: низкая производительность на неизвестных корнях и аббревиатурах. В то же время, если в тестовом наборе данных предполагается небольшое количество неизвестных корней, рекомендуется использовать ансамбль сверточных нейронных сетей. Полученные результаты могут быть применены при разработке морфемно-ориентированных токенизаторов и систем анализа сложности текстов.

Введение: Автоматическое профилирование и жанровая классификация текстов играют ключевую роль в оценке их пригодности и уже более десяти лет широко используются в образовании, поиске информации, анализе тональности текста и машинном переводе. Среди всех жанров сказки представляют собой один из самых сложных и ценных объектов исследования из-за своей неоднородности и множества неявных особенностей. Однако традиционные методы классификации, включая стилометрические и параметрические алгоритмы, не только трудоемки и требуют значительных временных затрат, но и сталкиваются с трудностями при определении подходящих классифицирующих признаков. Исследования в этой области немногочисленны, а их результаты остаются противоречивыми и спорными. Цель: Наше исследование направлено на заполнение этого важного пробела и предлагает алгоритм для классификации русских сказок на основе предварительно заданных параметров. Мы представляем современную модель классификации на основе BERT для русских сказок, проверяем гипотезу о потенциале BERT для классификации русских текстов и тестируем ее на репрезентативном корпусе из 743 русских сказок. Метод: Мы предварительно обучаем BERT на наборе данных, состоящем из трех классов документов, и настраиваем его для решения конкретной прикладной задачи. Акцентируя внимание на механизме токенизации и создании векторных представлений как ключевых компонентах обработки текста в BERT, исследование также оценивает стандартные метрики, используемые для обучения моделей классификации, анализирует сложные случаи, возможные ошибки и алгоритмы улучшения, тем самым повышая точность моделей. Оценка производительности моделей проводится на основе функции потерь, точности прогнозирования, полноты и отклика. Результаты: Мы подтвердили потенциал BERT для классификации русских текстов и его способность повышать производительность и качество существующих моделей NLP. Наши эксперименты с моделями cointegrated/rubert-tiny, ai-forever/ruBert-base и DeepPavlov/rubert-base-cased-sentence на различных задачах классификации показали, что наши модели достигают самых современных результатов, при этом наивысшая точность (95,9%) была достигнута с использованием модели cointegrated/rubert-tiny, что значительно превосходит результаты двух других моделей. Точность классификации, достигаемая с помощью ИИ, настолько высока, что может конкурировать с экспертной оценкой человека. Заключение: Результаты подчеркивают важность тонкой настройки для моделей классификации. BERT демонстрирует значительный потенциал для улучшения технологий обработки естественного языка, внося вклад в качество автоматического анализа текста и открывая новые возможности для исследований и применения в различных областях, включая идентификацию и упорядочивание текстов по содержанию, что способствует принятию решений. Разработанный и проверенный алгоритм можно масштабировать для классификации как сложного и неоднозначного дискурса, так и художественной литературы, улучшая наше понимание текстовых категорий. Для дальнейшего развития этих подходов необходимы значительно большие наборы данных.

Введение: Недавние достижения в области технологий крупных языковых моделей (LLM) представили мощные LLM с открытым исходным кодом, настроенные на выполнение инструкций, которые по качеству генерации текста сопоставимы с ведущими моделями, такими как GPT-4. Несмотря на ускорение внедрения LLM в средах с конфиденциальной информацией, отсутствие раскрытых данных обучения затрудняет воспроизводимость и делает эти достижения эксклюзивными для определенных моделей. Цель: Учитывая многоязычный характер последних версий LLM с открытым исходным кодом, преимущества обучения моделей, ориентированных на конкретный язык, уменьшаются, оставляя вычислительную эффективность единственным гарантированным преимуществом этой ресурсоемкой процедуры. Цель данной работы — устранить ограничения адаптации языковых моделей, вызванные ограниченным доступом к высококачественным данным для настройки на инструкции, предложив более экономически эффективный подход. Метод: Для решения проблем адаптации языковых моделей мы представляем Learned Embedding Propagation (LEP) — новый метод, требующий меньшего объема данных для обучения и минимально нарушающий существующие знания LLM. LEP использует инновационную технику распространения векторных представлений, устраняя необходимость в настройке на инструкции и напрямую интегрируя новые языковые знания в любую версию LLM, настроенную на выполнение инструкций. Кроме того, мы разработали Darumeru — новый эталон для оценки надежности генерации текста в процессе обучения, специально настроенный для адаптации к русскому языку. Результаты: Мы применили метод LEP для адаптации моделей LLaMa-3-8B и Mistral-7B к русскому языку, протестировав четыре различных сценария адаптации словаря. Оценка показала, что LEP достигает конкурентоспособных уровней производительности, сопоставимых с OpenChat 3.5 и LLaMa-3-8B-Instruct. Дальнейшие улучшения были достигнуты за счет самокалибровки и дополнительных шагов настройки на инструкции, что расширило возможности моделей в решении задач по сравнению с исходными версиями. Вывод: LEP предлагает жизнеспособную и эффективную альтернативу традиционной настройке на инструкции для конкретного языка, значительно сокращая затраты на адаптацию языковых моделей, при этом сохраняя или превосходя эталонные показатели производительности, установленные современными LLM.