Aviation Specialist Fatigue Assessment by the Random Forest Method

Texto integral

Введение

В представленной статье рассматривается утомляемость летного состава и членов авиадиспетчерской службы как фактор риска, оказывающий влияние на безопасность полетов.

Утомление снижает качество выполнения возложенных на специалиста авиационного персонала служебных обязанностей. Утомление может быть описано как степень снижения работоспособности специалиста, выражаемая в увеличении когнитивных и физических нагрузок. Неустойчивость такого состояния вызывает необходимость психофизиологического восстановления специалиста после таких нагрузок.

Многие пилоты и диспетчеры сами определяют описываемую проблему утомляемости как одну из основных в своей профессиональной деятельности. С целью обеспечения контроля утомляемости ИКАО были внесены новые требования в отношении разработки и регулирования систем управления рисками, связанными с утомляемостью FRMS (Fatigue Risk Management System), в Приложение 6 (для летного и кабинного экипажа) и Приложение 11 (для диспетчеров управления воздушным движением) к Конвенции о международной гражданской авиации, на основе которых были разработаны новые стандарты [Руководство…, 2011; Doc 9966…, 2016].

Описываемая концепция FRMS в отличие от предписывающего подхода, то есть подхода, регламентируемого государственными стандартами, предлагает различным поставщикам обслуживания (авиакомпаниям, центрам организации воздушного движения) использовать новые научно обоснованные подходы, обеспечивающие повышение безопасности полетов. Подобные решения предлагается внедрять в системы управления безопасностью полетов на соответствующих предприятиях с помощью специально организованных групп, занятых в соответствующей области исследования [Doc 9966…, 2016].

Существующий традиционный предписывающий подход к оценке утомления не предполагает использование каких-либо новых научных данных, а ориентируется исключительно на документы, регламентирующие время труда и отдыха. Между государством и поставщиком обслуживания (авиакомпании, центры организации воздушного движения) организуется работа по мониторингу и контролю утомления, как фактора риска для осуществления безопасности полетов. Однако при этом сохраняются нормативные ограничения, определяемые государством.

Следует отметить, что государство при использовании концепции FRMS организует работу в системах управления безопасностью полетов поставщиков обслуживания, описанных выше, на уровне не хуже, чем при предписывающем подходе, однако позволяет повышать данный уровень при наличии научно-обоснованных решений. Поставщик обслуживания в свою очередь готовит такие решения по контролю рисков, связанных с утомлением, на основе проведенных исследований, выявленных в ходе них механизмов контроля и ограничения. Соответствующие правила и регламенты в этом случае изменяются с учетом выявленных в рамках FRMS опасных факторов, что оформляется документально.

Получение информации о текущем уровне утомления сотрудника является важной задачей, так как ухудшение работоспособности, определяемое утомлением, влияет на многие навыки специалиста.

В рамках проводимого исследования особый интерес представляет мониторинг проявления признаков утомляемости в ходе выполнения текущих операций членами летного экипажа и диспетчерами по управлению воздушным движением. Проведенный анализ области исследования показал, что в настоящее время существуют методические рекомендации, к которым можно отнести: заполнение вопросников; документирование времени работы и отдыха; использование специализированных устройств мониторинга специалиста на различных этапах жизнедеятельности; проверка работоспособности в течение рабочей смены и др. Однако, у применяемых методов по оценке степени утомляемости авиационных специалистов существуют не только достоинства, но и недостатки, снижающие их практическую применимость. Одним из таких недостатков является проявление субъективности, искажения и предвзятости (например, докладные записки, оценки по шкале индивидуальной выраженности утомления CIS, оценки по шкале оценки утомления FAS, ретроспективные опросы). Объективные методы лишены этих недостатков, но являются весьма продолжительными, обременительными для испытуемого и требуют наличия специально подготовленных экспертов (например, электроэнцефалография, электрокардиография, электроокулография).

В связи с вышеизложенным, было определено, что важным для повышения безопасности полетов является нахождение решения, обеспечивающего оптимальный, относительно быстрый, объективный и не требующий наличия дополнительного эксперта метод оценки состояния утомления специалиста авиационного персонала. Для достижения такой цели было принято решение использовать быстрый и, при хорошем обучении, точный алгоритм случайного леса. Данный алгоритм может быть реализован, если будут решены задачи сбора данных для даты фрейма и обучения на нем модели случайного леса для оценки утомления авиационного специалиста.

Материалы и методы

Материал исследования: сформированный набор данных о прохождении тестов оценки снижения работоспособности. Впервые набор данных был представлен в [Булатова и др., 2023], но в рамках данного исследования был дополнен и модернизирован.

Методы исследования: математический анализ, математическое программирование, теория оптимизации, машинное и глубокое обучение, объектно-ориентированный подход к разработке программных средств.

Дискуссия

Для любого алгоритма машинного обучения необходим набор данных, на котором будет обучаться модель. Для формирования такого набора данных была составлена программа тестирования, выявляющая снижение работоспособности и соответствующие ей критерии на основе набора симптоматических атрибутов. Набор атрибутов, свойственных как пилотам, так и авиадиспетчерам, был определен исходя из проведенных исследований, представленных в [Еникеев и др., 2020; Оценка риска…, 2018; Сурина, б.г.; Doc 9966…, 2016]. Рассмотрим данные атрибуты и характеристики их ухудшения:

1. Атрибут «Внимание». Ухудшение выражается в снижении избирательности выделения важных для работы объектов, несконцентрированности, дисбалансной подвижности.
2. Атрибут «Восприятие». Ухудшение выражается в отклонении от нормального субъективного познания реальности.
3. Атрибут «Моторика». Ухудшение выражается в снижении двигательной активности как всего организма, так и отдельных его органов.
4. Атрибут «Мышление». Ухудшение выражается в нарушении процессов запоминания фактов, в переходе на упрощенные алгоритмы оценки и контроля различных ситуаций.
5. Атрибут «Волевые процессы». Ухудшение выражается в повышении раздражительности и ослаблении самоконтроля.

Рассматривая данный набор симптоматических атрибутов, допустимо сделать вывод о том, что снижение работоспособности авиационного специалиста, то есть определение его состояния утомления, можно выявить по восьми патопсихологическим тестам [Андронникова и др., 2011; Булатова и др., 2023]: тест «Таблица Шульте», тест «Счет по Крепелину», тест Мюнстерберга, корректурная проба с кольцами Ландольта, тест «Реакция на движущийся объект», тест «Реакция на изменение цвета», тест отсчёта времени, проективный тест «дерево Уилсона».

Соотношение описанных выше контролируемых симптоматических атрибутов и предложенных форм тестирования представлено в таблице 1. Как можно увидеть из данной таблицы – всем видам атрибутов, отражающих снижение работоспособности, а как следствие утомление, соответствуют по нескольку из представленных тестов.

Таблица 1 – Соотношение контролируемых симптоматических атрибутов утомления и предложенных форм тестирования

Описанные тесты были реализованы в программном продукте Fatigue Test, написанном в среде разработки MS Visual Studio (свидетельство № 2023617671 от 12.04.23 г.). Пользователю – испытуемому предлагалось зарегистрироваться в приложении и пройти перечисленные виды тестирования. Начальное окно программы представлено на рисунке 1.

Рисунок 1 – Интерфейс программы Fatigue Test с открытым окном анкеты испытуемого

Пример одного из тестов (счёт по Крепелину) представлен на рисунке 2.

Рисунок 2 – Интерфейс программы Fatigue Test с открытым окном «Счёт по Крепелину»

В результате прохождения тестов испытуемыми формировалась база данных из 6555 записей, содержащих информацию о времени прохождения тестов и совершенных ошибках. С целью дистанционного сбора данных о прохождении тестов у испытуемых был реализован механизм сохранения данных на стороннем сервере с помощью библиотеки-клиента Яндекс.Диска YaDisk.

Полученные базы данных с результатами прохождения тестов послужили материалом для дальнейшего исследования и обучения выбранной модели случайного леса.

В работе [Булатова и др., 2023] была предложена реализация классификатора методом дерева решений. Однако данный алгоритм может быть улучшен за счет использования ансамблевого метода бэггинга, например, методом случайного леса (random forest – RF). Работа данного алгоритма включает обучение нескольких подготовленных моделей деревьев решений с начальными случайными гиперпараметрами. В результате прохождения обучения получается ансамбль деревьев решений, то есть нескольких обученных классификаторов. Допускается, что каждое отдельное из этих деревьев решений дает не самый высокий результат классификации с точки зрения точности, однако использование большого количества классификаторов позволяет значительно повысить итоговый результат [Гласснер, 2019; Жерон, 2018; Мюллер и др., 2017; Чио и др., 2020; Ensembles…, s.a.]. Такой подход позволяет реализовать коллаборативную фильтрацию при решении задачи оценки утомления авиационного специалиста. В методе формируется ансамбль из нескольких деревьев и применяются метод случайных подпространств и бэггинг.

Метод случайного леса включает в себя построение ансамбля деревьев решений (бэггинг). Эта техника заключается в том, что берется один случайный элемент, записывается в обучающую выборку, затем возвращается обратно. Так делается несколько раз в зависимости от желаемого размера обучающей выборки. Метод случайных подпространств позволяет алгоритму бэггинга не только выбирать случайный набор данных, но и определять у него случайное подмножество признаков. В результате применения этих методов происходит уменьшение матрицы признаков для отдельных слабых алгоритмов, что снижает их взаимную корреляцию. В случае бэггинга важным является подача разных данных на вход слабых алгоритмов, чтобы избежать идентичности результатов. Таким образом, бэггинг направлен на уменьшение разброса (дисперсии) в данных.

В алгоритме построения случайного леса формируется набор деревьев решений, для каждого из которых выбирается свой случайный набор данных для обучения из общего датасета. Алгоритм позволяет выбирать набор критериев, которые лягут в основу разбиения отдельных деревьев решений. Дерево решений строится по алгоритму, включающему нахождение решения до исчерпания выборки или достижения предельной либо заданной глубины. Для каждого создаваемого решения (дерева) выбирается m случайных критериев из n исходных по следующему правилу:

$m=\sqrt{n}$. (1)

Кассификация объекта определяется голосованием по большинству решений. Поэтому итоговый классификатор можно описать следующим образом:

$RF\left(x\right)=\max \left(card\right(\left.i\right|D{T}_i=\{0;1\}\left)\right)$, (2)

где DT_i – модель дерева решений, построенная на i-ой выборке.

Таким образом, можно описать метод RF как бэггинг моделей DT, при обучении которых признаки выбираются из случайного подмножества признаков.

Метод случайного леса позволяет найти наилучшую модель оценки утомления специалиста авиационного персонала с помощью итерационного перебора некоторых основных гиперпараметров модели. Используемые для перебора гиперпараметры представлены в таблице 2 [RandomForestClassifier…, s.a.]. Для построения модели случайного леса и поиска наилучших гиперпараметров была написана программа на языке Python в среде разработки Jupiter Notebook (свидетельство № 2023667914 от 21.08.23 г.).

Таблица 2 – Вариация гиперпараметров в алгоритме случайного леса для оценки утомления авиационного специалиста

Для эмпирического оценивания и контроля обобщающей способности модели RF была применена процедура кросс-валидации для модели с выбранными по умолчанию параметрами. Как видно на рисунке 3, наилучший результат был получен при значении K=14.

Рисунок 3 – Изменение оценки точности модели, построенной на основе метода RF, для различных K при кросс-валидации

Варьирование значений представленных в таблице 2 гиперпараметров с помощью метода кросс-валидации позволило найти наилучшую их комбинацию с точки зрения точности решения для подготовленной выборки из 210 деревьев для разбиения (гиперпараметр n_estimators). При этом прочие гиперпараметры были получены следующие: метрика оценки качества разделения – неоднородность Джини (gini); ограничение на число объектов в листьях – 1; максимальная глубина дерева – 22 элемента; количество признаков, которые следует учитывать при поиске лучшего разделения – 6 признаков.

При этом лучшая средняя статистическая оценка угадывания целевых значений при кросс-валидации составила 0,7295.

Все вычисления и исследования датасета проводились в программе, написанной автором на языке Python в среде Jupyter Notebook.

Результаты

Для модели с представленными значениями была составлена матрица ошибок, представленная в таблице 3. В рядах расположены фактические отклики системы, взятые из отложенных данных, а в столбцах отклики предсказаний по отложенному набору значений.

Таблица 3 – Матрица ошибок, сформированная классификатором на основе алгоритма случайного леса для оценки утомления специалиста авиационного персонала

Исходя из полученных значений в таблице 3 и используя метод classification_report [Sklearn.metrics.classification_report…, s.a.] из библиотеки scikit-learn, была оценена эффективность работы алгоритма случайного леса для решения задачи оценки утомления специалиста авиационного персонала. Результаты вычисления мер оценки представлены в таблице 4.

Таблица 4 – Оценка работы классификатора на основе алгоритма случайного леса для оценки утомления специалиста авиационного персонала

Итоговое значение F-меры (среднее гармоническое точности и полноты) составило 0,73.

Для визуализации распределения изначально заданных откликов проверочной (валидационной) и предсказанной по модели RF выборок следует перевести значения из 24-х мерного пространства (по количеству признаков обучения) в двухмерное с помощью метода нелинейного снижения размерности и визуализации многомерных переменных t-SNE (t-distributed stochastic neighbor embedding) [Булатова и др., 2023]. Методика моделирует каждое наблюдение высокой размерности так, что похожие наблюдения будут близко располагаться в двухмерном пространстве [t-SNE …, s.a.; van der Maaten et al., 2008]. Распределение точек представлено на рисунке 4.

Рисунок 4 – Распределение изначально заданных откликов проверочной (валидационной) (1) и предсказанной по модели случайного леса (2) выборок. Треугольникам ▲ соответствуют отклики «1», кругам ● – отклики «0»

Как видно из рисунка 4, распределение откликов, полученных с помощью разработанной модели, близко к изначальному распределению, что говорит о хорошем качестве полученной модели. Однако концентрация в некоторых метах однотипных ответов говорит о возможности более тонкого совершенствования решения, например, с помощью моделей глубокого обучения (нейронных сетей прямого распространения).

Заключение

Представленный в работе метод оценки утомления авиационного специалиста на основе алгоритма машинного обучения случайного леса является эффективным (быстрым и точным) инструментом выявления утомления для таких специалистов, как пилот воздушного судна или диспетчер управления воздушным движением. Такого результата удалось достичь за счет применения ансамблевого подхода и обучения на большом наборе данных. Применение в рамках концепции FRMS данного средства позволит своевременно диагностировать состояние утомления, что в свою очередь позволит повысить транспортную безопасность. В использовании новых научно обоснованных подходов к повышению обеспечения безопасности полетов заинтересованы такие поставщики обслуживания, как авиакомпании и центры организации воздушного движения. Однако свое применение представленный подход может найти и в прочих областях, где предъявляются повышенные требования к безопасности и учитываются многие риски.

Sobre autores

Denis Evsevichev

Autor responsável pela correspondência
Email: denistk_87@mail.ru
ORCID ID: 0000-0003-2234-427X

Candidate of Technical Sciences, Associate Professor

Bibliografia

Arquivos suplementares

Arquivos suplementares

Ação

1. JATS XML

Baixar

2. Figure 1 - Fatigue Test programme interface with the subject questionnaire window open

Baixar (370KB)

Metadados

3. Figure 2 - Fatigue Test programme interface with the ‘Krepelin score’ window open

Baixar (1003KB)

Metadados

4. Figure 3 - Variation of the accuracy estimate of the model based on the RF method for different K under cross-validation

Baixar (59KB)

Metadados

5. Figure 4 - Distribution of initially specified responses of the verification (validation) (1) and predicted by the random forest model (2) samples. Triangles ▲ correspond to responses ‘1’, circles ● - to responses ‘0’

Baixar (440KB)

Metadados