Model of linguistic knowledge graphs of Turkic languages

Толық мәтін

Введение

Для решения задач компьютерной обработки языка требуется наличие лингвистических баз данных (БД) и баз знаний (БЗ). По наличию таких ресурсов происходит классификация на богатые лингвистическими ресурсами и малоресурсные языки. Малоресурсные языки – это естественные языки (ЕЯ), для которых не хватает электронных лингвистических ресурсов для обработки языка и речи, в т.ч. одноязычных корпусов, электронных словарей разного типа, орфографических и фонетических транскрипций речи и т.д. [1]. Разница между богатыми лингвистическими ресурсами и малоресурсными языками постоянно нарастает по объективным причинам, в т.ч. из-за структурной разницы языков. Программное обеспечение, разработанное для языков индоевропейского семейства, не всегда применимо для тюркских языков (ТЯ). Компьютерные лингвистические модели, разработанные для индоевропейских языков, не отображают всю полноту структурно-функциональных особенностей ТЯ.

Многолетний опыт в области разработок и использования инфокоммуникационных технологий показывает, что современные средства накопления и обработки знаний неэффективны и практически не справляются с такими задачами, как поиск и отбор информации в распределённых БД, извлечение знаний, семантический анализ текстовой информации, прежде всего потому, что они не интеллектуальны изначально. И причиной их неинтеллектуальности является, главным образом то, что создаются они с использованием языков программирования, практически представляющих собой подмножество флективно-аналитических языков или искусственных структур, созданных на основе ЕЯ, морфо-синтаксические структуры которых больше ориентированы на реализацию коммуникативных функций, нежели когнитивных.

Основные отличительные особенности ТЯ [2, 3]: агглютинативность, сингармонизм, отсутствие грамматического выделения единственного числа и категории рода; редко встречаются исключения из правил, большинство агглютинативных аффиксов однозначно, имена существительные обладают способностью выполнять функцию определения.

Агглютинация - способ линейного соединения морфем в слове, состоящий в их свободном, не нарушающем морфемных границ, расположении в определённом порядке. Агглютинация в этом смысле противопоставляется фузии [4].

Сингармонизм — это морфонологическое явление, которое заключается в единообразном вокалическом (иногда и консонантном) оформлении слова как морфологической единицы [4].

Направления, в которых проявляются структурно-функциональные особенности ТЯ – это разработка приложений, управляемых знаниями. Основой таких приложений являются графы знаний (ГЗ) [5-7], которые используются для представления онтологических и фактографических знаний о мире. Это такие приложения, как приложения для определения тональности и снятия омонимии слов в задачах информационного поиска.

1 Типы графов знаний

Термин ГЗ активно используется в приложениях, управляемых знаниями. Несмотря на их распространение для решения задач разного вида, единого общепринятого определения ГЗ не существует [8]. Наиболее точным можно считать определение, представленное в работе [9]: граф знаний – это структурированный набор данных, собранный из разнородных источников данных, совместимый с моделью данных RDF и имеющий онтологию (OWL) в качестве своей схемы.

Формально ГЗ представляет собой граф вида G = {E, R, T}. Здесь G – размеченный ориентированный мультиграф, E – набор вершин, R – набор рёбер, T – набор триплетов вида (u, e, v) ∊ T. Где u ∊ E – начальная вершина, v ∊ E – конечная вершина, e ∊ R – ребро, с началом в вершине u и концом в вершине v. В семантической интерпретации u является субъектом, v –объектом, а e – отношением между субъектом и объектом.

ГЗ называются онтологиями [10], а также определяются как системы, основанные на знаниях [11]. ГЗ позволяют описывать как отдельные предметные области, так и весь мир полностью (например, Википедия).

В качестве отдельного вида ГЗ можно выделить лингвистические ГЗ, которые описывают мир и средства для его описания в виде лингвистических единиц (ЛЕ) и структур ЕЯ. Таким образом, средства для описания мира являются метаданными по отношению к миру, но являются частью этого мира и входят в единый ГЗ (см. рисунок 1).

 

Рисунок 1 – Метаграф знаний

 

ГЗ языка L_i представляет собой описание языка L_i и соответствует структуре этого языка. ГЗ каждого языка L_i содержит языковые единицы этого языка, отношения между ними, а также отношения между ними и единицами ГЗ описания мира. ГЗ описания мира представляет собой определённую систему семантических универсалий, независимых от языка. Один из таких лингвистических графов, который соответствует языкам индоевропейского типа, описан в [12]. Его модель (см. рисунок 2) позволяет описывать: отношения между концептами и лексемами; информацию о встречаемости слов; диахроническую информацию об изменениях, происходящих в лексиконе.

 

Рисунок 2 – Модель лингвистического графа знаний [11]

 

Структура ГЗ содержит: концепты (Concept), лексические концепты (Lexicon Concept), лексемы (Lexicon Entry). Лексические концепты образуют единую таксономическую систему с помощью отношений гипонимии и гиперонимии. Каждой лексеме соответствуют леммы (Lemma) и основы словоформы (Stem). Такая структура соответствует языкам флективного типа, в которых лемма (словарная форма) и основа словоформы, в отличие от агглютинативных языков, не всегда совпадают. В данном ГЗ отсутствует описание типовых ситуационных фреймов, поэтому модель языка позволяет описывать только словари, а не использование слов в текстах и их потенциальные возможности.

Возможности описания использования словоформ в текстах представлены в модели лингвистического ГЗ ( Lexicon Model for Ontologies, LeMOn или lemon, см. рисунок 3) [13]. В качестве ключевого элемента в данной модели используется словарная статья (СС, Lexical Entry), которая имеет наибольшее количество взаимосвязей с другими вершинами графа. В качестве СС могут быть представлены слово, фраза или часть слова. Если у какой-то лексемы есть различные варианты, например, сокращения или аббревиатура, то они представляются как отдельные СС, связанные с основной статьёй с помощью ребра графа (lexicalVariants). Все СС принадлежат определённым словарям (Lexicon), что определяется связью (entry). СС может состоять из нескольких лексических форм (Lexical Form), одна из которых помечается как каноническая форма (canonical form). Лексическое значение СС определяется с помощью концепта онтологии (Lexical Sense). Наличие в модели таких элементов, как фрейм (Frame) и аргумент (Argument) позволяют описывать семантические ситуации. СС может содержать в себе не только отдельные слова, но и многословные выражения (Multi Word Expression, MWE), для этого в модели представлены дополнительные компоненты (Component).

 

Рисунок 3 - Модель лингвистического графа знаний Lemon [12]

 

Обе модели лингвистических ГЗ позволяют описывать языки с малой морфологией типа английского. В моделях для ТЯ возникла необходимость описывать не только лексемы и словари, но также ситуационные сценарии и их выражения с помощью богатой морфологии агглютинативных языков, к которым относится семейство ТЯ.

Одной из структурных особенностей агглютинативных языков является наличие чёткого деления словоформ на морфемы. Словоформа всегда начинается с корневой морфемы, к которой справа по цепочке присоединяются аффиксальные морфемы. Эта особенность позволяет корневой морфеме выступать в роли лексемы и леммы. Аффиксальная морфема, как правило, имеет одно грамматическое значение. Данные структурные особенности позволили построить модель ГЗ ТЯ, ключевым элементом в которых является морфема.

2 Модель лингвистического ГЗ ТЯ TurkLang

На основе анализа существующих лингвистических графов для других типов языков, часть из которых описана в разделе 1, а также с учётом структурно-функциональных особенностей ТЯ, предложена модель ГЗ ТЯ TurkLang, представленная на рисунке 4.

 

Рисунок 4 – Модель лингвистического графа знаний тюркских языков TurkLang¹

 

Ключевым элементом модели является морфема (morpheme), которая может быть лексической (lexical) или грамматической (non lexical). В качестве грамматических морфем выступают аффиксальные морфемы (affix), послелоги (postposition) и частицы (particle). Аффиксальная морфема объединяет в себе несколько алломорфов (allomorph), которые представляют использование аффикса в тексте.

Лингвистическая часть графа с описанием аффиксальных морфем и более сложных лингвистических единиц, представляемая в данной модели, подробно описана в работе [3], поэтому в данной статье эти описания не приводятся. Весь перечисленный набор узлов графа образует множество ЛЕ ТЯ. Ребра между ними определяют правила образования более сложных ЛЕ. Данного набора ЛЕ и отношений достаточно для работы программ морфологического и синтаксического анализа и синтеза. Это подтверждает морфологический анализатор, реализованный в виде отдельного сервиса в рамках портала “Тюркская морфема”.

Для описания значений ЛЕ необходимы множества семантических универсалий, которые являются едиными для всех ТЯ. В роли таких семантических универсалий нами выбраны тезаурус, аналог WordNet, и модель типовых ситуационных фреймов, аналог FrameNet. В модели ГЗ ТЯ таксономическая часть графа представлена с помощью узлов графа концепт (concept) и онтология (ontology).

Связь языковых данных с семантическими универсалиями организована в разных лингвистических ресурсах, разрабатываемых в Институте прикладной семиотики АН РТ в лингвистическом портале «Тюркская морфема» и в электронном корпусе «Туган тел». В портале описываются все потенциально возможные варианты выражения значения концепта в разных ТЯ. Таким образом, в портале лексемы являются элементами словарей, а в электронном корпусе лексемы представляются в тексте и показывают связи при их использовании.

Концепты связаны между собой с помощью отношений гипонимии и гиперонимии (Sem_relation). Ситуационно-фреймовая часть семантических универсалий представлена узлами ГЗ ситуация (situation) и роль (role), которые объединяются в единую библиотеку ситуаций (situation_library).

Лингвистический ГЗ TurkLang подразделяется на несколько подграфов (см. рисунок 5). Такое разделение связано с назначением каждого из этих подграфов. Подграф семантических структур состоит из трёх основных компонентов:

 

Рисунок 5 – Архитектура подграфов графа знаний TurkLang

 

• подграф тезаурусов – несколько таксономий, построенных по аналогии с известным лингвистическим ресурсом WordNet – подграф объектов, подграф действий, подграф атрибутов объектов и подграф атрибутов действий;
• подграф библиотеки типовых ситуационных фреймов, образующий фреймовые структуры для описания семантических типовых ситуаций и построенный по аналогии с известным лингвистическим ресурсом FrameNet;
• подграф граммем, узлами которой являются граммемы, связанные с ЛЕ и с библиотекой типовых ситуационных фреймов.

Лингвистические подграфы знаний соответствуют ТЯ. Тюркские языки на рисунке 5 пронумерованы: L1, L2, L3 и т.д. Их узлами являются ЛЕ данных языков разных языковых уровней: морфонологического, морфологического, синтаксического. Это корневые и аффиксальные морфемы, словоформы, аналитические формы, многословные выражения и т.д. Базовой ЛЕ в данных подграфах являются морфемы разного типа с разными наборами взаимосвязей.

Подграф географической сети содержит узлы, относящиеся к геоинформационным данным языков. На данный момент этот подграф находится в разработке в рамках новой диалектологической геолингвистической системы, соотносящей лингвистические единицы языков и текстовые описания с географическими регионами их распространения.

Представленный лингвистический граф ТЯ позволяет описывать использование ЛЕ в существующих текстах и потенциальные возможности языка, многие из которых могут находить редкое использование в текстах и речи.

Существующие тексты образуют в совокупности многоязычный электронный корпус ТЯ с возможностями создания и хранения различных типов лингвистической разметки: морфонологической, морфологической, синтаксической и разными типами семантической разметки. Использование модели лингвистического ГЗ ТЯ TurkLang позволяет представить структуру корпуса как набор электронных корпусов каждого из ТЯ, которые взаимосвязаны между собой с помощью набора семантических универсалий. Связи в этой модели осуществляются на разных языковых уровнях с помощью библиотеки типовых ситуационных фреймов на уровне отдельных морфем и на уровне предложений,

ГЗ с описанием потенциальных возможностей ТЯ служит лингвистической БЗ для создания лингвистических процессоров для обработки текстов на разных языковых уровнях. Так, фрагменты ГЗ с описанием правил следования в словоформе используются для морфологического анализатора, типовые ситуационные фреймы - для семантико-синтаксического анализатора.

3 Программные продукты на базе модели лингвистического ГЗ ТЯ TurkLang

3.1 Лингвистический портал «Тюркская морфема»

Модель лингвистического ГЗ ТЯ TurkLang положена в основу БЗ нескольких программных продуктов, разрабатываемых в Институте прикладной семиотики Академии наук Республики Татарстан. Впервые модель TurkLang была использована в качестве структуры БЗ лингвистического интернет-портала «Тюркская морфема». Этот портал представляет собой сайт (modmorph.turklang.net), который предоставляет доступ к набору различных web-сервисов с использованием лингвистических ресурсов, структурированных на основе модели TurkLang. Сервисы ориентированы на компьютерную обработку ТЯ во всех аспектах: морфонологическом, морфологическом, синтаксическом, семантическом.

Сервисы можно разделить на базовые и прикладные.

• Информационно-справочная система с описанием лингвистических свойств ТЯ. Это грамматика и лексика ТЯ, представленные в виде единой модели. Лексика ТЯ представлена в виде семантического тезауруса. Справочная система структурно представляет собой некий аналог Википедии.
• ГЗ портала, как ресурсная база для лингвистических процессоров, работающих с ТЯ. Они используют разные фрагменты ГЗ.
• Набор программных модулей в виде веб-сервисов для обработки ЕЯ. Лингвистические сервисы включают лингвистические процессоры, представляющие собой анализаторы для разных языковых уровней. Основные лингвистические процессоры, реализуемые в рамках портала, – это морфологический и семантико-синтаксический анализаторы для ТЯ.
• Площадка для совместной работы и общения на тему ТЯ для специалистов, работающих с ТЯ.

Набор прикладных функций:

• инструментарий для научных исследований, например проведения сравнительных исследований ТЯ;
• инструментарий и лингвистические ресурсы для создания обучающих систем;
• инструментарий для унификации терминологии и системы тэгов для разметки электронных корпусов ТЯ.

Модель лингвистического ГЗ ТЯ TurkLang реализуется в БД портала в виде сущностей (см. рисунок 6):

 

Рисунок 6 – Лингвистические подграфы знаний в базе данных портала

 

Аффиксальная морфема содержит информацию об аффиксах языка, выражающих грамматические значения;

Аналитическая морфема содержит информацию о частицах, послелогах и вспомогательных глаголах языка, выражающих грамматические значения;

Корневая морфема содержит информацию о корнях (леммах) языка, каждый из которых может выражать несколько значений как часть речи, связана с тезаурусом концептов;

Многословные выражения содержат информацию о неделимых словосочетаниях, выражающих целиком одно значение, связаны с тезаурусом концептов.

Языковые единицы связаны между собой морфотактическими правилами для представления морфологического уровня языка (рисунок 7).

 

Рисунок 7 – Структура морфотактических правил

 

Семантико-синтаксический уровень представлен типовыми ситуационными фреймами в языке, в которых указано, какие аффиксы требуются для выражения той или иной роли.

3.2 Разработка базы семантических универсалий портала «Тюркская морфема»

В модели представлено два вида семантических универсалий: тезаурус и библиотека типовых ситуационных фреймов. Анализ лингвистических ресурсов показал, что в настоящее время более полными лингвистическими ресурсами данных типов являются WordNet и FrameNet. Эти ресурсы составляют онтологическое ядро многих реальных ГЗ, вокруг которых накапливается фактографическая информация. Они приняты за основу и преобразованы с учётом структурных и лексических особенностей ТЯ.

Процесс полуавтоматического заполнения тезауруса с использованием тюркско-русских словарей, показал, что в тезаурусе WordNet плохо представлены разделы с описанием концептов об особенностях тюркской культуры и быта. Например, не представлены концепты, соответствующие тюркским национальным музыкальным инструментам, национальным блюдам, родственным отношениям. Данная информация была дополнена в БЗ портала. В ТЯ отсутствует ряд лексических единиц, которые соответствуют лексемам английского языка.

Тезаурус портала представлен БД концептов:

• коннекторы, выражающие союзы;
• дейктики, выражающие местоимения;
• коммуникативы, выражающие междометия и вводные слова;
• объекты выражают имена существительные, в т.ч. имена собственные;
• действия выражают глаголы;
• атрибуты объектов выражают прилагательные и причастия;
• атрибуты действий выражают наречия и деепричастия.

Концепты связаны между собой семантическими отношениями, главным из которых является иерархическое отношение, соответствующее отношению гипонимии/гиперонимии из WordNet.

Библиотека типовых ситуационных фреймов связывает между собой концепты (рисунок 8) по аналогии с FrameNet в ситуации. Каждая ситуация управляется определёнными концептами действий и состоит из набора обязательных и необязательных ролей. Данные роли могут выполняться указанными в БД концептами.

 

Рисунок 8 – База данных типовых ситуационных фреймов

 

3.3 Новая версия лингвистического электронного корпуса «Туган тел»

В настоящее время разработан электронный корпус татарского языка «Туган тел», который имеет только морфологическую разметку. Существующая структура не позволяет расширить функционал корпуса для работы с синтаксической и семантической информацией.

В связи с этим начата реализация новой версии корпуса на базе модели лингвистического ГЗ ТЯ TurkLang с использованием графовой системой управления БД Memgraph (https://memgraph.com/). Учитывая, что лингвистический портал «Тюркская морфема» и электронный корпус «Туган тел» разрабатываются на основе общей модели, обеспечиваются совместимость этих программных продуктов, использование единой системы обозначений и тэгов. Например, в электронном корпусе используется информационно-справочная система по ТЯ портала, а портал получает из корпуса данные об использовании ЛЕ в тексте. Таким же образом интегрируются базы семантических универсалий.

На рисунке 9 представлена ER-диаграмма взаимодействия БД лингвистического портала «Тюркская морфема» с БД корпуса. Схема разделена на три части – общеязыковую, языкозависимую и корпусную. Общеязыковая и языкозависимая части содержат все элементы модели тюркской морфемы. Корпусная часть – это БД нового корпуса.

Основные сущности в корпусной части БД:

• Документ – сведения об отдельном текстовом документе корпуса;
• Предложение – данные об отдельных предложениях из текста «Документ» (могут быть простые и сложные);
• Клауза – простое предложение, состоящее из предиката (обычно выраженного глаголом) и связанных с ним аргументов;
• Синтаксема – элементарная синтаксическая единица, в рамках портала данной сущности соответствует сущность Ситуационная роль;
• Словоформа – отдельное слово, разобранное при помощи морфологического анализатора (результат анализа связывается с сущностями Корневая морфема, Аффиксальная морфема, Аналитическая морфема).

Оба программных продукта объединяются в распределённую лингвистическую платформу.

 

Рисунок 9 – ER-диаграмма объединения базы данных портала с корпусными данными

 

Заключение

На основе разработанной модели лингвистического ГЗ TurkLang, соответствующей структурно-функциональным особенностям ТЯ, создан лингвистический портал «Тюркская морфема» и осуществляется разработка новой версии электронного корпуса татарского языка «Туган тел», а также электронного диалектологического атласа ТЯ.

Данная модель является универсальной для ТЯ. Структурирование данных в ней позволяет автоматически использовать программный инструментарий портала «Тюркская морфема» или электронного корпуса «Туган тел». БД портала позволяют с помощью алгоритмов, основанных на правилах, производить аугментацию наборов данных для ТЯ, которые в дальнейшем могут использоваться для обработки ЕЯ и улучшения качества прикладных программ.

 

¹ На рисунке обозначения узлов графа представлены на английском языке для демонстрации аналогии с вышеописанными лингвистическим графами знаний

Авторлар туралы

Ayrat Gatiatullin

Tatarstan Academy of Sciences

Хат алмасуға жауапты Автор.
Email: ayrat.gatiatullin@gmail.com
ORCID iD: 0000-0003-3063-8147
Scopus Author ID: 56500678000

PhD (2002). Leading researcher at the Institute of Applied Semiotics.

Ресей, Kazan

Nikolai Prokopyev

Tatarstan Academy of Sciences

Email: nikolai.prokopyev@gmail.com
ORCID iD: 0000-0003-0066-7465
Scopus Author ID: 57190803409
ResearcherId: S-3829-2016

Researcher at the Institute of Applied Semiotics.

Ресей, Kazan

Dzhavdet Suleymanov

Tatarstan Academy of Sciences

Email: dvdt.slt@gmail.com
Scopus Author ID: 6603474810
ResearcherId: B-4793-2014

PhD (1985), Doctor of Technical Sciences (2000). The scientific director at the Institute of Applied Semiotics, an academician of Tatarstan Academy of Sciences, a professor, an Honored Scientist of the Republic of Tatarstan, and a member of the Russian Association of Artificial Intelligence (RAAI).

Ресей, Kazan

Әдебиет тізімі

Қосымша файлдар