DEVELOPMENT OF A METHOD FOR EVALUATING THE EFFECTIVENESS OF THE TRANSITION FROM MONOLITHIC TO SERVICE-ORIENTED ARCHITECTURE FOR NON-PROFIT ORGANIZATIONS

Full Text

Современные организации всё чаще сталкиваются с необходимостью модернизации ИТ-архитектуры для повышения гибкости, масштабируемости и устойчивости систем. В то время как коммерческий сектор активно переходит от монолитных решений к сервис-ориентированной архитектуре (SOA) и микросервисам, некоммерческие организации (НКО) часто отстают из-за ограниченных ресурсов и отсутствия подходящих методик оценки эффективности.

Основная проблема заключается в том, что традиционные метрики, ориентированные на прибыль и рентабельность инвестиций (ROI), неприменимы в некоммерческой среде. Вместо этого НКО нуждаются в критериях, учитывающих надёжность, автоматизацию, ресурсоэффективность и снижение операционных затрат. Разработка адаптированного метода оценки архитектурных изменений позволит таким организациям принимать обоснованные решения о модернизации, даже при ограниченных бюджетах, и демонстрировать заинтересованным сторонам ценность ИТ-трансформации через улучшение процессов и устойчивости систем [1].

Целью данного исследования является разработка практикоориентированного метода оценки эффективности перехода от монолитной к сервис-ориентированной архитектуре (SOA) в условиях некоммерческой организации, деятельность которой не ориентирована на получение прибыли, но требует устойчивой, масштабируемой и экономически целесообразной ИТ-инфраструктуры.

Требования к новому методу оценки эффективности. Разрабатываемый метод должен учитывать специфику некоммерческих организаций и соответствовать следующим ключевым требованиям [2].

1. Не стоимостные критерии оценки, к которым следует отнести:

- ориентация на надежность, устойчивость и качество сервисов;

- учет снижения нагрузки на персонал;

- измерение улучшения доступности услуг.

2. Комплексность измерений, которая позволит всестороннее оценить планируемый переход:

- сочетание количественных (время отклика, инциденты) и качественных показателей (удобство поддержки);

- использование шкальных оценок и экспертных заключений.

3. Гибкость применения, предопределит адаптивность архитектуры организации при изменении внешних и внутренних факторов:

- масштабируемость под организации разного размера;

- адаптация для различных сфер деятельности;

- настройка весов критериев по приоритетам.

4. Структурированность, предлагается рассматривать через:

- четкий перечень критериев оценки;

- прозрачную методику расчета интегрального показателя;

- стандартизированный алгоритм проведения оценки.

5. Наглядность результатов предлагается демонстрировать посредствам:

- возможность визуализации данных;

- интерпретация выводов и рекомендаций;

- градации уровня эффективности.

6. Практичность внедрения предлагаем оценивать по:

- минимизации требований к ресурсам;

- возможности реализации силами организации;

- Использованию доступных данных и инструментов.

7. Учет особенностей сервис-ориентированной архитектуры (SOA) выполняется по критериям:

- оценка распределенности компонентов;

- анализ взаимодействия сервисов;

- сравнение с монолитной архитектурой.

Метод должен обеспечивать объективную оценку без привязки к финансовым и экономическим показателям, оставаясь при этом практичным для применения в условиях ограниченных ресурсов НКО [3].

Общая схема метода оценки эффективности архитектурного перехода. Предлагаемый метод основан на системном подходе к оценке эффективности перехода от монолитной архитектуры к сервис-ориентированной (SOA) в условиях некоммерческой организации. Метод охватывает все этапы анализа, от формулировки критериев оценки до расчёта итогового интегрального показателя, позволяющего сделать обоснованные выводы о результативности архитектурных изменений.

Этап 1. Определение объекта и целей оценки. На первом этапе фиксируется:

- какая система (или подсистема) подверглась архитектурной трансформации;

- на какой временной шкале будет происходить сравнение (до и после перехода);

- какие цели перехода декларировались: повышение надёжности, снижение операционных затрат, улучшение масштабируемости и т.д.

Важно зафиксировать не только технические параметры, но и организационные ожидания от перехода.

Этап 2. Формирование перечня критериев оценки. Метод опирается на девять ключевых критериев эффективности (С₁ – С₉), каждый из которых отражает важную сторону архитектурного качества: С₁ – надежность, С₂ – масштабируемость, С₃ – время отклика, С₄ – модульность, С₅ – трудозатраты персонала, С₆ – безопасность, С₇ – автоматизация, С₈ – ресурсоэффективность, С₉ – снижение операционных затрат.

Каждый критерий будет оцениваться количественно или полу количественно на шкале, обеспечивающей сравнимость и взвешенность оценок.

Этап 3. Сбор и обработка данных по каждому критерию. На этом этапе:

- фиксируются значения показателей до и после перехода;

- применяются методы мониторинга, анкетирования, экспертных интервью, лог-анализа;

- при необходимости проводится нормализация и шкалирование показателей (например, перевод времени отклика в шкалу от 0 до 1).

Если количественные данные недоступны, допускается экспертная шкала оценки (например, 1 – очень плохо, 5 – отлично).

Этап 4. Назначение весов критериям. Каждому из девяти критериев присваивается вес ( ) в зависимости от их значимости для конкретной организации. Возможны три стратегии:

- равномерное распределение (все веса равны),

- приоритетное распределение (например, надёжность и автоматизация важнее остальных),

- экспертное согласование (на основе консенсуса между заинтересованными сторонами).

Сумма всех весов должна равняться 1 (или 100% при процентном представлении).

Этап 5. Расчёт индивидуальных оценок по критериям. Для каждого критерия рассчитывается оценка эффективности ) как функция от:

- значений до и после перехода;

- направления улучшения (например, снижение времени отклика – хорошо, рост затрат – плохо);

- типа шкалы (линейная, логарифмическая, ранговая и т.д.).

Этап 6. Расчёт интегрального показателя эффективности (ИЭП). Итоговая оценка рассчитывается по формуле (1):

 $ИЭП=\sum _{i=1}^{9}Wi·Ei$

где Wi – вес критерия,

Ei – оценка по критерию.

Значение ИЭП варьируется в диапазоне от 0 до 1. Интервалы вариации интерпретируются:

0 – 0,3 – низкая эффективность,

0,31 – 0,6 – средняя эффективность,

0,61 – 0,8 – высокая эффективность,

0,81 – 1,0 – отличная эффективность архитектурного перехода.

Этап 7. Интерпретация и визуализация результатов. Метод предполагает:

- построение диаграммы «паук» по критериям,

- графиков до и после перехода для каждого критерия,

- табличных сравнений.

По результатам реализации указанных этапов анализируются узкие места (критерии с низкими значениями) и точки роста [4-5].

Математическое описание модели. Метод оценки эффективности архитектурного перехода основан на взвешенной агрегации нормализованных значений по девяти ключевым критериям (С₁ – С₉). Математическая модель призвана обеспечить объективность, прозрачность и воспроизводимость оценки, независимо от субъективных факторов [6].

Шаг 1: Нормализация значений. Поскольку разные критерии измеряются в разных единицах (секунды, баллы, проценты и т.д.), необходимо привести их к единой шкале. Для этого используется нормализация:

– для критерия, где меньше – лучше (например, трудозатраты, отклик, операционные затраты) (2):

– для критерия, где больше — лучше (например, масштабируемость, автоматизация, модульность) (3):

где – значение критерия до перехода;

 – значение критерия после перехода.

Если = 0, применяется экспертная оценка или используется предельная шкала.

Результат Ni может быть как положительным (улучшение), так и отрицательным (ухудшение).

Шаг 2: Ограничение и шкалирование. Для обеспечения стабильности модели значения нормализуются к диапазону [0, 1] по формуле (4):

где k – коэффициент масштабирования (например, k=1, если изменение ±100% → диапазон [0, 1]);

0.5 – сдвиг для нулевого эффекта (без улучшения –  = 0.5).

Таким образом: улучшение → >0,5; без изменений → =0,5; ухудшение → <0,5.

Шаг 3: Взвешенная агрегация

Итоговый интегральный показатель рассчитывается по формуле (5):

где ∈[0;1], и ∑ =1.

Пусть после перехода получены следующие значения по трём критериям (в реальности их 9):

- надёжность: с 95% до 98% (рост на 3,15%);

- время отклика: с 1000мс до 600мс (снижение на 40%);

- трудозатраты: с 100 чел-часов до 80 (снижение на 20%).

Итоговые значения представлены в таблице 1.

 

 

Таблица 1. Итоговые критерии

Показатель	Критерий	Показатель	Критерий
N1	0,0315	E1	0,5315
N2	0,4	E2	0,9
N3	0,2	E3	0,7

 

 

Пороговые значения ИЭП: ИЭП < 0,4 – неэффективный переход; 0,4≤ ИЭП <0,6 – сомнительный эффект; 0,6 ≤ ИЭП < 0,8 – умеренно успешный переход; ИЭП ≥ 0,8 – архитектурный переход эффективен.

Алгоритм расчёта интегрального показателя эффективности (ИЭП). Интегральный показатель эффективности (ИЭП) служит обобщающей метрикой, отражающей совокупное влияние архитектурного перехода на ключевые аспекты работы системы. Он позволяет получить объективную и количественную оценку, объединяя девять критериев в единую шкалу [7-8].

1. Нормализация критериев

Для возможности агрегации разнородных показателей (время, проценты, трудозатраты и т.д.) все значения приводятся к безразмерной шкале от 0 до 1.

Каждый критерий  нормализуется по формуле (6):

где  - значение критерия после перехода;

 - значение до перехода;

 - возможный диапазон значений критерия (устанавливается экспертно или эмпирически).

Для критериев, где уменьшение значения означает улучшение (например, время отклика, трудозатраты), используется инверсия (7):

2. Взвешивание критериев

Каждому критерию присваивается вес , отражающий его значимость в контексте исследуемой организации.

Веса могут быть:

- равномерными (если приоритетов нет);

- экспертно заданными (по опросу, AHP, Delphi);

- выведенными из исторических данных (если они доступны).

Условие (8):

3. Расчёт ИЭП

Интегральный показатель рассчитывается как взвешенная сумма нормализованных приращений по всем критериям (9):

где нормализованное изменение i-го критерия;

 — вес i-го критерия.

4. Интерпретация результата: ИЭП ∈ [−1; 1]

> 0,5 — значительное улучшение; 0 – 0.5 — умеренное улучшение; ≈ 0 — нейтральный эффект; < 0 — ухудшение.

 

Интерпретация результатов и граничные значения ИЭП. После расчета интегрального показателя эффективности (ИЭП) возникает необходимость его интерпретации — то есть понимания, насколько удачным оказался переход от монолитной архитектуры к сервис-ориентированной (SOA), с учетом всех выбранных критериев. Для этого устанавливаются граничные значения, позволяющие квалифицировать результат как положительный, нейтральный или отрицательный [9-10].

Поскольку нормализация критериев и взвешивание приводит значения ИЭП к диапазону: ИЭП∈[−1,1]

Интерпретация строится на понимании, как сильно и в какую сторону изменилась совокупная эффективность архитектуры.

Условные градации ИЭП  показаны в таблице 2.

 

 

Таблица 2. Условные градации ИЭП

Значение ИЭП	Интерпретация
> 0,70	Существенное улучшение. Архитектурный переход однозначно оправдан
0,40-0,70	Умеренное улучшение. Переход дал положительные, но не максимальные эффекты
0,10-0,40	Незначительное улучшение. Возможные упущенные возможности оптимизации
-0,10-0,10	Нейтральный эффект. Переход почти не повлиял на эффективность
-0,40-0,10	Незначительное ухудшение. Есть риски, требует анализа и доработки
-0,70-0,40	Умеренное ухудшение. Архитектура могла быть выбрана неудачно
< -0,70	Существенное ухудшение. Переход был стратегической ошибкой

 

 

Вывод. Исследование позволило разработать метод оценки эффективности перехода от монолитной архитектуры к SOA для некоммерческих организаций. Основные результаты включают создание комплексного подхода, учитывающего 9 ключевых критериев, таких как ресурсоэффективность, масштабируемость и автоматизация, без привязки к финансовым показателям. Метод адаптирован для различных сфер деятельности НКО, включая образование и здравоохранение, и позволяет заранее выявлять риски архитектурных изменений. Важным результатом стала разработка алгоритма расчета интегрального показателя эффективности, который помогает наглядно оценить результаты перехода. Предложенный метод дает НКО инструмент для оптимизации ИТ-инфраструктуры в условиях ограниченных ресурсов, способствуя их долгосрочному развитию.

About the authors

A. O. Chernikov

Russian State Social University

Author for correspondence.
Email: antonchernik888@yandex.ru

Graduate Student

Russian Federation, Russia, Moscow

M. G. Zavodchikova

Russian State Social University

Email: ZavodchikovaMG@rgsu.net

Senior Lecturer

Russian Federation, Russia, Moscow

References

Supplementary files