senior lecturer, Department 22 “Cybernetics”
старший преподаватель, кафедра 22 «Кибернетика»
Cand. Sci. (Econ.), head of the laboratory
кандидат экономических наук, руководитель лаборатории
general director
генеральный директор
analyst
аналитик
This paper presents a meta-analysis of four experimental studies from the Norm! project, aimed at systematically studying the effectiveness of large language models in the legal field. The study includes a comparative analysis of junior and senior models, optimization of system prompts, and testing of multi-agent architectures on tasks in Russian family and civil law. A key discovery was the identification of a nonlinear relationship between architectural complexity and the quality of results: the transition from simple to complex systems provides a slight increase in quality (15–40%) with an exponential increase in resource costs (by a factor of 10–15). The flagship models GPT-4.1 and Gemini 2.5 Pro demonstrate superior quality (9.04 and 8.52 points), but junior LLMs with efficiency coefficients up to 130.3 remain cost-effective. A universal problem area for all architectures is tasks requiring an integrative analysis of multiple legal norms. The results form scientifically sound recommendations for various implementation scenarios: from mass consulting services to specialized legal applications, defining the prospects for the development of hybrid architectures in legal practice.
Представлен метаанализ четырех экспериментальных исследований проекта «Норм!», направленный на систематическое изучение эффективности больших языковых моделей в юридической сфере. Исследование охватывает сравнительный анализ младших и старших моделей, оптимизацию системных промптов и тестирование многоагентных архитектур на задачах по российскому семейному и гражданскому праву. Ключевым открытием стало выявление нелинейной зависимости между архитектурной сложностью и качеством результатов: переход от простых к сложным системам обеспечивает незначительный прирост качества (15–40%) при экспоненциальном росте ресурсных затрат (в 10–15 раз). Флагманские модели GPT-4.1 и Gemini 2.5 Pro демонстрируют превосходство по качеству (9,04 и 8,52 балла), однако экономически оптимальными остаются младшие БЯМ с коэффициентами эффективности до 130.3. Универсальной проблемной зоной для всех архитектур являются задачи, требующие интегративного анализа множественных правовых норм. Результаты формируют научно обоснованные рекомендации для различных сценариев внедрения: от массовых консультационных сервисов до специализированных юридических применений, определяя перспективы развития гибридных архитектур в правовой практике.