Computational nanotechnologyComputational nanotechnologyComputational nanotechnology2313-223X2587-9693YUR-VAK38018210.33693/2313-223X-2025-12-4-13-19FLJQXLMATHEMATICAL MODELING, NUMERICAL METHODS AND COMPLEX PROGRAMSМАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММResearch ArticleTriplet-based knowledge mining using pretrained large language modelsИзвлечение знаний в формате триплетов с использованием дообученных больших языковых моделейhttps://orcid.org/0009-0000-7633-73028905-0826ZinnurovBulat R.ЗиннуровБулат Ринатович
Russian Federation

postgraduate student, Department of Automated Systems for Information Processing and Control

аспирант, кафедра автоматизированных систем обработки информации и управления (АСОИУ)

b.zinnurov@yandex.ruhttps://orcid.org/0000-0003-0571-559356165279600E-8566- 20176882-0089GizatullinZinnur M.ГизатуллинЗиннур Марселевич
Russian Federation

Dr. Sci. (Eng.), Professor, Professor, Department of Automated Systems for Information Processing and Control

доктор технических наук, профессор, кафедра автоматизированных систем обработки информации и управления (АСОИУ)

zmgizatullin@kai.ruKazan National Research Technical University named after A.N. Tupolev – KAIКазанский национальный исследовательский технический университет им. А.Н. Туполева – КАИ12122025124Computational nanotechnologyComputational nanotechnology131902022026Copyright ©; 2025, Yur-VAKCopyright ©; 2025, Юр-ВАК2025Yur-VAKЮр-ВАКhttps://www.urvak.ru/contacts/https://journals.rcsi.science/2313-223X/article/view/380182

Extracting structured information from text is a key task in natural language processing. Large language models for information extraction tasks achieve high accuracy thanks to pre-training on huge volumes of data. However, such models require significant computational resources and are unavailable for local use due to their dependence on cloud infrastructure. Therefore, compact, open-source large language models that can be retrained locally are increasingly being used to address this problem. This paper evaluates the effectiveness of retraining compact large language models for automated triplet information extraction from unstructured text. The Mistral model with seven billion parameters was used in the study. The model was fine-tuned on a custom dataset consisting of 650 examples, each containing an instruction, an input text and an expected output. The results confirm the effectiveness of retraining: the F1-score increased several-fold compared to the baseline model. The retrained version of the model demonstrates competitiveness with the large-scale DeepSeek language model with 685 billion parameters. The obtained results highlight the potential of compact open large language models for knowledge extraction tasks under resource constraints, such as knowledge graph construction.

Извлечение структурированной информации из текста является одной из ключевых задач в области обработки естественного языка. Большие языковые модели в задачах извлечения информации достигают высокой точности благодаря предобучению на огромных объемах данных. Однако такие модели требуют значительных вычислительных ресурсов и недоступны для локального использования из-за зависимости от облачной инфраструктуры. Поэтому в настоящее время для решения этой проблемы, все чаще используют компактные открытые большие языковые модели, которые можно дообучить локально. Цель работы – сравнительная оценка эффективности дообучения компактных больших языковых моделей для автоматизированного извлечения информации в формате триплетов из неструктурированного текста. В работе использовалась модель Mistral с семи млрд параметров. Дообучение модели было проведено на собственном наборе данных, состоящем из 650 примеров, где каждая запись содержала инструкцию, входной текст и ожидаемый ответ. Полученные результаты подтверждают эффективность дообучения: критерий F1-мера вырос в разы в сравнении с базовой моделью. Дообученная версия модели демонстрирует конкурентоспособность с крупной большой языковой моделью DeepSeek с 685 млрд параметров. Полученные результаты подчеркивают потенциал компактных открытых больших языковых моделей для задач извлечения знаний в условиях ограниченных ресурсов, например, для задачи построения графов знаний.

large language modelretraininginstruction tuningtriplet extractionknowledge graphбольшая языковая модельдообучениенастройка инструкцийизвлечение триплетовграф знанийThe study was conducted within the framework of the Advanced Engineering School “Integrated Aviation Engineering” (Agreement 075-15-2025-129).Исследование проведено в рамках Передовой инженерной школы «Комплексная авиационная инженерия» (Соглашение 075-15-2025-129).Ivanova G.S., Martynyuk P.A. Analysis of systems for extracting information from unstructured text documents. Neurocomputers: Development, Application. 2025. Vol. 27. No. 1. Pp. 5–27. (In Rus.). DOI: 10.18127/j19998554-202501-01.Иванова Г.С., Мартынюк П.А. Анализ систем извлечения информации из неструктурированных текстовых документов // Нейрокомпьютеры: разработка, применение. 2025. Т. 27. № 1. С. 5–27. DOI: 10.18127/j19998554-202501-01.Ma R., Wang P., Liu C. et al. S2R: Teaching LLMs to self-verify and self-correct via reinforcement learning. In: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. Vol. 1: Long papers. Vienna, Austria: Association for Computational Linguistics. Pp. 22632–22654. DOI: 10.18653/v1/2025.acl-long.1104.Ma R., Wang P., Liu C. et al. S2R: Teaching LLMs to self-verify and self-correct via reinforcement learning // Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics. Vol. 1: Long papers. Vienna, Austria: Association for Computational Linguistics. Pp. 22632–22654. DOI: 10.18653/v1/2025.acl-long.1104.Ji S., Pan S., Cambria E. et al. A survey on knowledge graphs: Representation, acquisition, and applications. IEEE Transactions on Neural Networks and Learning Systems. 2021. Vol. 33. No. 2. Pp. 494–514. DOI: 10.1109/TNNLS.2021.3070843.Ji S., Pan S., Cambria E. et al. A survey on knowledge graphs: Representation, acquisition, and applications // IEEE Transactions on Neural Networks and Learning Systems. 2021. Vol. 33. No. 2. Pp. 494–514. DOI: 10.1109/TNNLS.2021.3070843.Procko T.T., Ochoa O. Graph retrieval-augmented generation for large language models: A survey. In: Proceedings of the Conference on AI, Science, Engineering, and Technology (AIxSET). Laguna Hills, CA, USA, 2024. Pp. 166–169. DOI: 10.1109/AIxSET62544.2024.00030.Procko T.T., Ochoa O. Graph retrieval-augmented generation for large language models: A survey // Proceedings of the Conference on AI, Science, Engineering, and Technology (AIxSET). Laguna Hills, CA, USA, 2024. Pp. 166–169. DOI: 10.1109/AIxSET62544.2024.00030.Dagdelen J. et al. Structured information extraction from scientific text with large language models. Nature Communications. 2024. Vol. 15. Art. 1418. DOI: 10.1038/s41467-024-45563-x.Dagdelen J. et al. Structured information extraction from scientific text with large language models // Nature Communications. 2024. Vol. 15. Art. 1418. DOI: 10.1038/s41467-024-45563-x.Chung H. W., Hou L., Longpre S. et al. Scaling instruction-finetuned language models. Journal of Machine Learning Research. 2024. Vol. 25. No. 70. Pp. 1–53.Chung H. W., Hou L., Longpre S. et al. Scaling instruction-finetuned language models // Journal of Machine Learning Research. 2024. Vol. 25. No. 70. Pp. 1–53.Hu E.J., Shen Y., Wallis P. et al. Lora: Low-rank adaptation of large language models. ICLR. 2022. Vol. 1. No. 2. URL: https://arxiv.org/abs/2106.09685Hu E.J., Shen Y., Wallis P. et al. Lora: Low-rank adaptation of large language models // ICLR. 2022. Vol. 1. No. 2. URL: https://arxiv.org/abs/2106.09685Wang J. LLM-based fine-tuning data generation for relation triplet extraction with expert ensemble and demonstration selection. In: Proceedings of the IEEE 12th International Conference on Intelligent Systems (IS). IEEE, 2024. Pp. 1–7. DOI: 10.1109/IS61756.2024.10705209.Wang J. LLM-based fine-tuning data generation for relation triplet extraction with expert ensemble and demonstration selection // IEEE 12th International Conference on Intelligent Systems (IS). IEEE, 2024. Pp. 1–7. DOI: 10.1109/IS61756.2024.10705209.Zhang Y., Sadler T., Taesiri M.R. et al. Fine-tuning language models for triple extraction with data augmentation. In: Proceedings of the 1st Workshop on Knowledge Graphs and Large Language Models (KaLLM 2024). 2024. Pp. 116–124. DOI: 10.18653/v1/2024.kallm-1.12.Zhang Y., Sadler T., Taesiri M.R. et al. Fine-tuning language models for triple extraction with data augmentation // Proceedings of the 1st Workshop on Knowledge Graphs and Large Language Models (KaLLM 2024). 2024. Pp. 116–124. DOI: 10.18653/v1/2024.kallm-1.12.