Machine learning in building cadet maladaptation forecasts

Full Text

Введение

Количество публикаций на тему медико- психологического сопровождения военнослужащих с применением технологии машинного обучения имеет тенденцию к увеличению, указывая на растущий интерес исследователей к данной проблеме [1, 4].

При проведении сопровождения военнослужащих иностранных государств наиболее стабильно учеными применяются методы дискриминантного анализа, нейронные сети и дерево решений [3, 4]. На данный момент бóльший интерес у исследователей вызывает применение метода Байесовского алгоритма [2, 5].

Цель – оценить эффективность методов машинного обучения в прогнозировании дезадаптации курсантов.

Материал и методы

Обследованы 1822 курсанта Военного учебно-научного центра Военно-морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова» в возрасте от 18 до 27 лет, которых разделили на 2 группы: «норма» (n = 1507) и «дезадаптация» (n = 315). Обследование провели с применением многофакторного личностного опросника (МЛО) «Адаптивность» и методики диагностики интеллектуального развития КР-3-85.

Статистическую обработку проводили с применением пакета программ Statistica 10.0. Результаты проверили на нормальность показателей с помощью критерия Колмогорова– Смирнова. Сравнительный анализ показателей с нормальным распределением оценивали при помощи t-критерия Стьюдента. Анализ ранговой корреляции Спирмена с целью проверки данных на зависимости между предикторами (мультиколлинеарность), которая затрудняет оценку и анализ общего результата, может стать причиной переобучаемости модели, что приведет к неверному результату и увеличит сложность модели машинного обучения. Математическое моделирование осуществляли с использованием нейронных сетей, дискриминантного анализа, Байесовского алгоритма.

Эффективность моделей оценивали по уровню чувствительности, специфичности и точности прогноза. Чувствительность (истинно положительная пропорция) отражает долю положительных результатов, которые правильно идентифицированы как таковые. Специфичность (истинно отрицательная пропорция) отражает долю отрицательных результатов, которые правильно идентифицированы как таковые. Точность отражает какой процент положительных объектов правильно классифицирован.

Результаты и их анализ

При анализе результатов обследования выявлено, что курсанты 2-й группы (с дезадаптацией) характеризуются более низкими показателями личностного адаптационного потенциала, моральной нормативности, результатов тестов: память на фигуры, установление закономерности (табл. 1).

 

Таблица 1

Показатели обследованных курсантов, (М ± SD) балл

Показатель	Дезадаптация	Норма	p <
МЛО «Адаптивность»
Личностный адаптационный потенциал (ЛАП)	6,2 ± 1,7	6,7 ± 1,5	0,05
Нервно-психическая устойчивость (НПУ)	6,2 ± 1,7	6,6 ± 1,7
Коммуникативный потенциал (КП)	6,6 ± 1,7	6,9 ± 1,7
Моральная нормативность (МН)	6,6 ± 1,8	7,2 ± 1,7	0,05
Методика КР-3-85
Аналогии (А)	6,2 ± 1,7	6,4 ± 1,8
Числовые ряды (ЧР)	6,1 ± 1,9	6,5 ± 1,8
Память на фигуры (ПФ)	6,0 ± 1,7	6,5 ± 1,8	0,05
«Узоры» (У)	6,7 ± 1,7	6,7 ± 1,7
Арифметический счет (АС)	6,1 ± 2,1	6,6 ± 2,0
Вербальная память (ВП)	6,4 ± 2,1	6,7 ± 1,7
Установление закономерности (УЗ)	6,9 ± 1,8	6,4 ± 1,8	0,05
Силлогизмы (С)	6,7 ± 1,6	6,4 ± 1,6
Исключение слова (ИС)	6,4 ± 2,0	6,6 ± 1,8
«Кубы» (К)	6,2 ± 1,9	6,5 ± 2,0
Общее интеллектуальное развитие (ОИР)	6,3 ± 1,2	6,6 ± 1,2

 

При проверке данных на наличие линейной зависимости между предикторами выявлено, что показатели личностного адаптационного потенциала по методике МЛО «Адаптивность» и общего интеллектуального развития по методике КР-3-85 являются интегральными и имеют высокий коэффициент корреляции с другими показателями (от 0,65 до 0,87 при р < 0,01). Таким образом, при обучении моделей данные показатели не применяем.

Проведено обучение нейронной сети с помощью метода многократных подвыборок. Обследованные курсанты случайным образом разделены на подвыборки: 70 % – обучающая, 15 % – контрольная и 15 % – тестовая. Тип сети: многослойный персептрон и радиальная базисная функция. Согласно теореме Колмогорова–Арнольда–Хехта–Нильсена [6], количество скрытых нейронов – в пределах от 20 до 148. Обучение проводили с участием 20, 100 и 148 скрытых нейронов.

Программой были сгенерированы более 70 сетей типа «двухслойный персептрон», из них выбраны сети под номерами 7, 14, 17 и 51, обладающие наилучшими прогностическими способностями. Характеристики сетей приведены в табл 2.

 

Таблица 2

Характеристики нейронных сетей при классификации курсантов с дезадаптацией

Архитектура	Исследовательские выборки			Алгоритм обучения	Функция ошибки	Функция активации нейронов
	обучающая	контрольная	тестовая			скрытых	выходных
7.MLP 13-20-2	84,09	84,61	80,58	BFGS 31	Энтропия	Гиперболическая	Софтмакс
14.MLP 13-20-2	84,71	78,75	81,31	BFGS 38	Энтропия	Логистическая	Софтмакс
17.MLP 13-20-2	83,46	84,61	81,31	BFGS 29	Энтропия	Логистическая	Софтмакс
51.MLP 13-148-2	83,62	80,58	84,98	BFGS 35	Энтропия	Логистическая	Софтмакс

 

Топология сети отображена в первом столбце – архитектура. В первой строке имеем: 7.MLP 13-20-2: 7 – номер сети, MLP – многослойный персептрон, архитектура представлена следующими тремя цифрами, первое число (13) указывает на количество входящих переменных в модели сети, второе (20) – количество скрытых нейронов, третье (2) – число выходных нейронов, количество прогнозируемых качеств. В трех последующих столбцах таблицы отображены производительности сетей – процент правильно классифицированных сетью объектов в обучающей, тестовой и контрольной выборке (см. табл. 2). При построении сети был использован алгоритм обучения Broyden Fletcher-Goldfarb-Shanno (BFGS). Цифра рядом с наименованием алгоритма обучения (для сети 7–31) указывает на количество итераций, за которые сеть была обучена.

Для выбора более эффективной сети провели анализ матрицы ошибок классификации, включающей все подвыборки (табл. 3).

 

Таблица 3

Матрица ошибок классификации выбранных моделей

Сеть	Показатель	Дезадаптация	Норма	Общая группа
7.MLP 13-20-2	Все	315	1507	1822
	Правильно	38	1486	1524
	Неправильно	277	21	298
	Правильно (%)	12,1	98,6	83,6
	Неправильно (%)	87,9	1,4	16,4
14.MLP 13-20-2	Все	315	1507	1822
	Правильно	15	1503	1518
	Неправильно	300	4	304
	Правильно (%)	4,8	99,7	83,3
	Неправильно (%)	95,2	0,,	16,7
17.MLP 13-20-2	Все	315	1507	1822
	Правильно	23	1495	1518
	Неправильно	292	12	304
	Правильно (%)	7,3	99,2	83,3
	Неправильно (%)	92,7	0,8	16,7
51.MLP 13-148-2	Все	315	1507	1822
	Правильно	26	1493	1519
	Неправильно	289	14	303
	Правильно (%)	8,3	99,1	83,4
	Неправильно (%)	91,7	0,9	16,6

 

Выявлено, что сеть 7 имеет более высокую прогностическую способность – 83,6 %, а также площадь под ROC-кривой – 0,65 (табл. 4).

 

Таблица 4

Площади под ROC-кривыми и пороги ROC-кривых нейронных сетей

Показатель	7.MLP13-20-2	14. MLP 13-20-2	17. MLP 13-20-2	51. MLP 13-148-2
Площадь Порог	0,646 0,156	0,624 0,161	0,619 0,170	0,632 0,146

 

Таким образом, нейронная сеть MLP 13-20-2 является наиболее эффективной в диагностике социальной дезадаптации курсантов среди других сетей.

Ведущими показателями, определяющими модель 7.MLP 13-20-2, являются: «кубы», арифметический счет, моральная нормативность, коммуникативный потенциал, узоры, аналогии и память на фигуры (табл. 5). Чувствительность модели равна 0,12, специфичность – 0,98, точность – 0,64.

 

Таблица 5

Вклад показателей модели 7.MLP 13-20-2

Модель	Показатель по психологическим методикам обследования курсантов
	К	АС	МН	КП	ВП	ЧР	С	УЗ	У	А	ИС	НПУ	ПФ
7.MLP 13-20-2	1,06	1,06	1,05	1,03	1,02	1,02	1,02	1,03	1,02	1,03	1,01	1,02	1,03

 

Проведено моделирование с применением Байесовского алгоритма. Байесовский алгоритм – это алгоритм классификации, основанный на теореме Байеса с допущением о независимости признаков. При его проведении каждый показатель рассматривается как совокупность вероятностей возникновения события «дезадаптация – отсутствие дезадаптации» при всех вариантах стенов (рисунок) или других размерных показателях.

 

Вероятность возникновения события «дезадаптация – отсутствие дезадаптации» у курсантов.

 

Например, при получении курсантом 8 стен по шкале нервно-психическая устойчивость с вероятностью 0,162 он будет отнесен к группе дезадаптация и с вероятностью 0,206 – к норме. Определяют большее среднее значение вероятности отнесения курсанта к одной из групп, которая и является искомой для данного курсанта.

Результаты классификации курсантов представлены в табл. 6. Прогностическая способность Байесовского алгоритма составила 45,2 %. Чувствительность модели равна 0,68, специфичность – 0,41, точность – 0,20.

 

Таблица 6

Результаты классификации курсантов с применением Байесовского алгоритма, n (%)

Показатель		Классификация		Всего
		дезадаптация	норма
Статус	дезадаптация норма	215 (68,3) 886 (58,8) 1101 (60,4)	100 (31,7) 621 (41,2) 721 (39,6)	315 (100,0) 1507 (100,0) 1822 (100,0)
Всего

 

При проведении дискриминантного анализа при F-включении = 2 получена достоверная модель – лямбда Уилкса: 0,986 прибл. F (5,182) = 5,197, p < 0,001. Предикторами прогноза дезадаптации курсантов являются результаты обследования по психологическим методикам (стены): память на фигуры, моральная нормативность, исключение слова, «Узоры», установление закономерности (табл. 7).

 

Таблица 7

Предикторы прогноза дезадаптации курсантов

Показатель по психологическим методикам	Уилкса, лямбда	Частная, лямбда	F-исключения 1,1816	p	Толерантность	1-толерантность (R2)
Память на фигуры	0,990	0,995	8,252	0,004	0,873	0,127
Моральная нормативность	0,988	0,998	3,986	0,046	0,969	0,031
Исключение слова	0,988	0,998	3,152	0,076	0,827	0,173
«Узоры»	0,988	0,998	3,575	0,059	0,751	0,249
Установление закономерности	0,987	0,999	2,218	0,137	0,722	0,278

 

Линейные классификационные функции (ЛКФ) имеют вид:

ЛКФ1 (норма) = –18,49 + 0,97 ∙ х1 + 1,95 ∙ х2 + 0,91 ∙ х3 + 0,81 ∙ х4 + 0,75 ∙ х5;

ЛКФ2 (дезадаптация) = –18,59 + 0,87 ∙ х1 + 1,88 ∙ х2 + 0,85 ∙ х3 + 0,88 ∙ х4 + 0,69 ∙ х5,

где х₁ – память на фигуры по методике КР-3-85, стены;

x₂ – моральная нормативность по ЛМО «Адаптивность», стены;

х₃ – исключение слова по методике КР-3-85, стены;

х₄ – «узоры» по методике КР-3-85, стены;

х₅ – установление закономерностей по методике КР-3-85, стены.

К сожалению, при использовании дискриминантого анализа классифицировать курсантов с дезадаптацией не смогли, например, при ЛКФ все курсанты были отнесены к группе «норма». Прогностическая способность составила 82,7 % за счет отнесения всех обследованных курсантов к группе «норма». Чувствительность модели равна 0, специфичность – 1, точность – 0.

Выводы

1. Нейронная сеть и Байесовский алгоритм являются мощными инструментами классификации. Они позволяют достоверно классифицировать курсантов с социально- психологической дезадаптацией. При этом Байесовский алгоритм характеризуется высокой чувствительностью, а нейронная сеть – специфичностью и точностью.
2. Известным недостатком моделирования с применением дискриминантного анализа является потеря данных. Дискриминантным анализом не смогли классифицировать курсантов с дезадаптацией.
3. Применение машинного обучения повысит эффективность мероприятий медико- психологического сопровождения курсантов. Нейронные сети являются оптимальным методом в прогнозировании дезадаптации.

About the authors

Vladislav V. Yusupov

Kirov Military Medical Academy

Email: elizavetayusupova@mail.ru

Dr. Med. Sci. Prof., head of research institute (medical and psychological support) Scientific Research Center

Russian Federation, 6, Academica Lebedeva Str., St. Petersburg, 194044

Daria E. Fishchenko

St. Petersburg State Pediatric Medical University

Email: fidaev@mail.ru

student

Russian Federation, 2, Litovskaya Str., St. Petersburg, 194100

Alexey N. Yatmanov

Kirov Military Medical Academy

Author for correspondence.
Email: yan20220@mail.ru

PhD Med. Sci., doctoral student

Russian Federation, 6, Academica Lebedeva Str., St. Petersburg, 194044

Stepan G. Grigoriev

Kirov Military Medical Academy

Email: GSG_rj@mail.ru

Dr. Med. Sci. Prof., Senior Researcher

Russian Federation, 6, Academica Lebedeva Str., St. Petersburg, 194044

References

Supplementary files