Designing a digital twin of an employee

Texto integral

Введение

Развитие предприятий в современной экономике связано с технологией «цифровой двойник» (ЦД), который представляет собой виртуальный прототип реальных процессов и изделий. В нормативно-технической документации, регламентирующей процессы разработки ЦД изделий [1], не учитывается согласование задач по описанию объекта моделирования и управления. Такое согласование может быть достигнуто применением системного подхода и проектированием объекта (процесса), учитывая назначение, выполняемые функции, уровень сложности, этапы жизненного цикла (ЖЦ) и др.

ЦД технических объектов являются достаточно проработанными [2-8], а проектирование ЦД организационных, социальных систем является новой и актуальной задачей [9]. ЦД работника предприятия представляет собой цифровую модель (ЦМ), характеризующую профессиональный профиль и включает его личностные, социальные и поведенческие характеристики при выполнении рабочих задач.

Технологической компанией Merlynn¹ предложен обучаемый ЦД человека на основе искусственного интеллекта (ИИ), который позволяет создавать и обучать ЦД. ЦД может выполнять повторяющиеся, рутинные задачи (участие в совещаниях, ведение заметок, ответы на вопросы и др.). ЦД может обобщить все проделанные операции и представить отчёт, дополняя, а не заменяя работника. ПАО «Газпромнефть» в рамках проекта «Цифровой двойник месторождения»² тестирует сценарии, в которых виртуальные работники помогают анализировать данные и принимать решения. В ПАО «Сбер» создана платформа³, на которой работники могут обучаться через интерактивные сценарии с ИИ-ассистентами, имитирующими коллег и клиентов. АО «Навигатор»⁴ использует ЦД для оптимизации работы команд и создания персонализированных стратегий развития сотрудников. В ИТМО разработан прототип ЦД рабочего на производстве⁵, обеспечивающего в режиме реального времени сбор данных о работе персонала на производстве с целью предотвращения травм рабочих и поломок техники. Создан цифровой профиль рабочего и единицы техники на производстве. Разработанная система поддержки принятия решений (СППР) ведёт автоматический учёт рабочего времени, уведомляет рабочих о потенциально опасных зонах.

Указанные разработки не включают подробный анализ особенностей человека как объекта моделирования и управления: целеполагание; целенаправленность поведения; возможность сознательного искажения информации; динамичность; рефлексия; ограниченная рациональность. Необходим подход, в котором учитываются особенности работника, отражаются условия цифровой экономики и обеспечивается синтез эффективных управленческих решений, направленных на улучшение производительности работников и эффективности предприятия в целом.

1 Подходы и методы проектирования цифрового двойника

Можно выделить три группы подходов и методов проектирования ЦД (см. таблицу 1):

• методы моделирования ЦД, основанные на математическом моделировании физических процессов (структурные модели объекта) [10-13];
• методы моделирования ЦД, основанные на данных [14-16];
• гибридные методы [17-20].

Таблица 1 – Характеристики подходов к моделированию цифрового двойника

Математическое моделирование обеспечивает отражение в модели физических свойств объекта / процесса. Построение таких моделей на практике связано с применением методов математического программирования [20], имитационного моделирования на основе разных парадигм и подходов – системно-динамического, дискретно-событийного или агентного моделирования [21]. Для создания моделей ЦД используются результаты численных расчётов, выполненных с применением междисциплинарных систем автоматизированного анализа. В зависимости от степени определённости исходной информации и учёта временного фактора, могут использоваться методы линейного, нелинейного, стохастического программирования, теоретико-игровые методы, методы нечёткой логики.

Особенностью систем имитационного моделирования является возможность интеграции разрабатываемых моделей с базами и хранилищами данных, а также с внешними программными модулями. Имитационные модели можно объединять с генетическими оптимизационными алгоритмами по целевым функционалам, что даёт возможность оптимизации характеристик моделируемого объекта в режиме реального времени [22].

Моделирование, основанное на данных, включает методы интеллектуального анализа данных, ИИ, анализ больших данных и др. Модели на основе интеллектуального анализа данных применяются для обнаружения в данных ранее неизвестных практически полезных и пригодных к интерпретации знаний, необходимых для принятия решений. ИИ и машинное обучение эффективно используются в задачах прогнозирования в ЦД.

Математическое моделирование объектов (процессов) в сочетании с моделями, основанными на данных, даёт больше возможностей, чем модели, основанные только на базе машинного обучения. Моделирование, основанное на данных, как правило, ограничено этапом эксплуатации продукта. Гибридные модели могут использоваться в неповторяющихся ситуациях, когда нет достаточных данных для применения статистических методов. На базе дополнительной информации, полученной на этапе эксплуатации, повышается уровень адекватности гибридной модели, т.е. ЦД обучается и позволяет в дальнейшем прогнозировать уровень возможных отклонений от штатных условий или оценить его остаточный ресурс [19].

На этапе разработки ЦД нет полноты информации об объекте, поскольку данные о нём могут быть получены только на основе моделирования процессов, определяющих его функционирование. По мере накопления данных об объекте, они могут использоваться для построения аналитических моделей.

2 Организационно-методическое обеспечение проектирования цифрового двойника

Следуя [23] и разделяя типы поведения реальной системы на прогнозируемое желательное, прогнозируемое нежелательное, непрогнозируемое желательное и непрогнозируемое нежелательное, проектируется прототип ЦД. Он содержит необходимые компоненты для описания и создания физической версии, которая является двойником виртуальной версии. Рассматривается стадия «разработка и инжиниринг» (концептуализация и проектирование) ЖЦ системы. На стадии создания ЖЦ системы важно предвидеть её возможные состояния и разработать СППР для нейтрализации последствий нежелательных событий.

Прототип ЦД может помочь выявить и устранить непрогнозируемые нежелательные состояния. Эта задача решается на основе изменения параметров моделирования в возможном диапазоне и исследования множества поведенческих моделей системы. Такое моделирование позволит проектировать физический объект с множеством возможностей и снизить последствия непрогнозируемых нежелательных состояний. Процесс построения ЦД является многостадийным и состоит из: концептуализации, проектирования, цифрового моделирования и испытаний.

ЦД определяется как система, состоящая из ЦМ физического объекта и двусторонних информационных связей с физическим объектом или его компонентами. В основе ЦД лежит ЦМ в виде математических и компьютерных моделей, а также документов, описывающих структуру, функциональные возможности и поведение объекта на разных этапах его ЖЦ. По результатам испытаний проводится оценка соответствия ЦМ определённым требованиям. Содержание и функциональность ЦМ зависят от стадии ЖЦ физического объекта. Оценка ЦМ физического объекта включает процедуру её валидации.

Разработанная технология обеспечивает организационно-методическую поддержку процесса разработки и эксплуатации ЦД объекта (см. таблицу 2) и объединяет этапы проектирования, методы и модели. Предлагаемая технология учитывает специфику объекта – работника предприятия как сложной системы, особенностями которой являются:

• самостоятельное целеполагание и целенаправленность поведения, в результате чего может возникнуть сознательное искажение информации, невыполнение требуемых обязательств;
• рефлексия и прогнозирование поведения субъекта управления;
• ограниченная рациональность, в результате чего обеспечивается принятие решений в условиях неопределённости и ограничений на объём обрабатываемой информации.

Таблица 2 – Технология разработки цифрового двойника объекта (организационной системы)

Предложенный подход позволит: осуществлять системный анализ объекта моделирования и управления с учётом неопределённости внешней среды на базе разнородных инструментальных средств качественного и количественного анализа; сформировать адекватную математическую модель объекта с учётом результатов этапа концептуализации; создать компьютерную модель и осуществить её испытания. Этот подход используется для построения ЦД объекта и формирования СППР.

При рассмотрении физического объекта на стадии его ЖЦ «разработка», необходим прототип ЦД, содержащий компоненты для описания и создания физической версии объекта. На этом этапе задача состоит в том, чтобы предвидеть возможные состояния объекта и разработать СППР для нейтрализации последствий нежелательных событий.

Задача выявления и устранения нежелательных состояний решается на основе изменения параметров моделирования в возможных пределах и исследования множества различных ситуаций и разнообразных шаблонов поведения, которые могут привести к проблемам.

3 Предлагаемый подход и концептуальная схема моделирования

Концептуальная схема моделирования ЦД работника представлена на рисунке 1.

Рисунок 1 – Концептуальная схема моделирования цифрового двойника работника

Каждый работник обладает определённым человеческим капиталом (ЧК). Технология построения ЦД работника для решения задачи управления ЧК основана на модели оценки ЧК [24] и модели управления ЧК [25].

Модель оценки ЧК базируется на всестороннем учёте свойств ЧК, проявляющихся в цифровой экономике, и учитывает традиционные характеристики – возраст, образование, профессиональный опыт и компетенции, а также дополнительные характеристики – социальный капитал, уровень здоровья, надпрофессиональные компетенции, мотивацию и вовлечённость. Модель управления ЧК предназначена для формирования индивидуальных траекторий профессионального роста и развития работников (ИТР), выработка которых основана на полученной из модели оценки ЧК результатов и на использовании методов машинного обучения с подкреплением (МОП). Проектирование модели управления рассматривается как последовательное решение задачи принятия решений, которая вписывается в структуру МОП. Правила принятия решений эквивалентны политикам в МОП, а результаты управления выражаются функциями вознаграждения. Входными данными является совокупность данных о работниках: знания, умения, уровень здоровья, социальный капитал, инновационность, социально-демографические факторы и др. Выходные данные формируются в виде управленческих решений для каждого этапа (как состояния в МОП). Применение методов МОП для решения задачи управления ЧК и формирования ИТР позволяет:

• принимать наилучшее решение во времени для каждого работника в каждый момент времени с учётом его характеристик;
• улучшить долгосрочные результаты с учётом распределения во времени и отсроченного эффекта от воздействия (решения);
• проектировать функцию вознаграждения, которая является адаптивной и основывается на экспертных знаниях в данной предметной области;
• проводить оптимизацию по критериям эффективности и риска (например, для предприятия – потерять конкурентного работника, который может уйти к другому работодателю).

В основе модели управления лежит последовательность правил принятия решений для формирования действий в соответствии с текущими показателями деятельности работника и предшествующими воздействиями на него. Политика разработки ИТР может использоваться для выбора эффективных инструментов управления ЧК на предприятии. Эта политика представляет собой набор правил для определения мероприятий и программ в зависимости от характеристик работников, а также показателей эффективности воздействия выполненных программ. Оптимальный режим воздействия (управления), как последовательный набор программ, позволяет максимизировать средний ожидаемый доход за весь период реализации программ (управленческих решений).

Объектом управления является ЧК работников предприятия, оценка которого по отдельным работникам основана на методике [24], в которой каждый работник имеет определённую численную оценку его ЧК. Оценка производится по пяти группам показателей (блокам оценки): уровень здоровья, основные компетенции, надпрофессиональные компетенции, мотивация, вовлечённость; а также по поведенческим навыкам и социальному капиталу. В зависимости от итогового значения ЧК работник попадает в одну из пяти групп по каждому блоку оценки (каждый блок имеет пять градаций своих значений).

Оценка ЧК является основанием для формирования управленческих решений, направленных на развитие потенциала работников и качества ЧК. Управленческие решения носят персональный характер, зависят от существующего уровня ЧК, реализованы на основе динамического режима и формируют ИТР. Разработан перечень решений по каждому блоку оценки ЧК в зависимости от балла, набранного работником. ИТР определяется композицией управленческих решений из каждого блока.

Модель формирования ИТР работников основана на МОП, в ходе которого субъект управления (агент) обучается, взаимодействуя с объектом управления (средой). МОП реализует цикл управления с обратной связью (см. рисунок 2), где агент и среда обмениваются сигналами, при этом агент стремится максимизировать целевую функцию. Обе стороны взаимодействуют непрерывно: агент выбирает действия, а среда реагирует на эти действия и предлагает агенту новые ситуации. Среда генерирует вознаграждения – числовые значения, которые агент стремится максимизировать посредством выбора действий.

Рисунок 2 – Цикл управления в модели на основе МОП

Среда задаётся как марковский процесс принятия решений (MDP) [26]: $M=\left\{S\mathit{,}A\mathit{,}P\mathit{,}R\mathit{,}\gamma \right\}$, где S – пространство состояний, в котором определены состояния среды (работников предприятия) $s_{\mathit{t}}\mathit{\in }S$; A – пространство действий, в котором определены действия агента (центра принятия решений предприятия) $a_{\mathit{t}}\mathit{\in }A$; P – переходные вероятности MDP, на каждом временном шаге t следующее состояние $s_{t+1}$ берётся из распределения вероятностей P: $p\left(\left.s_{t+1}\right|s_t,a_t\right)\in P$; R – функция вознаграждения, на каждом временном шаге t агент получает награду, зависящую от действия a_t, реализованного для состояния s_t и нового состояния s_t+1: $r_t\left(s_t,a_t,s_{t+1}\right)\in R$; γ – коэффициент дисконтирования, используемый для суммирования наград, $\gamma \in \left[\mathrm{0,1}\right]$. Далее равнозначно используются обозначения для состояний s_t=s, s_t+1=s′, для действий a_t=a и наград r_t=r.

Сеть MDP состоит из множества вершин, соответствующих разным уровням качества ЧК. Состояния заданы в пятимерном пространстве по количеству показателей оценки ЧК. Изменение состояния происходит под действием 25 различных решений (по пять решений для каждого из пяти показателей оценки качества ЧК). Введено предположение, что для каждого работника в единицу времени возможна реализация решения (действия) из одного блока $\left\{A\mathrm{1,}A2,A3,A\mathrm{4,}A5\right\}\in A$. Поэтому движение работника по его траектории при реализации определённого решения возможно на один уровень вперёд по определённому показателю (т.е. значение этого показателя ЧК растёт), назад по этому показателю (т.е. значение этого показателя снижается), неизменность показателя ЧК. Если в результате реализации действия a_t у работника увеличивается показатель ЧК, на улучшение которого направлено это действие, то агенту предоставляется награда r_t(a_t). В каждом блоке показателей оценки ЧК для каждого из пяти уровней интегрального показателя в блоке имеется определённое управленческое решение по наращиванию уровня ЧК.

Взаимодействие со средой длится в течение T шагов. Процесс делится на эпизоды, в конце каждого из них среда переводится в начальное состояние, и взаимодействие начинается снова. Вознаграждения рассматриваются как компоненты аддитивного разложения функции полезности. В задаче с бесконечным горизонтом количество решений не ограничено и вводится коэффициент дисконтирования $\gamma \in \left[\mathrm{0,1}\right]$. Полезность (доход) определяется выражением $\sum _{t=0}^{\infty }{\gamma }^t{r}_t$, которое характеризует дисконтированную сумму вознаграждения, а коэффициент дисконтирования определяет известный подход: вознаграждение в настоящий момент стоит больше, чем вознаграждение в будущем.

Отдача R(τ) из эпизода $\tau =\left(s_0,a_0,r_0\right)\mathrm{,...,}\left(s_T,a_T,r_T\right)$ имеет вид: $R\left(\tau \right)=\sum _{t=0}^T{\gamma }^t{r}_t$. Тогда целевая функция агента  представляется как математическое ожидание отдачи по нескольким траекториям: $J\left(\tau \right)=E_{\tau }\left[R\left(\tau \right)\right]=E_{\tau }\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]$, где R(τ) - отдача как сумма дисконтированных вознаграждений за временные шаги t=0,...,T, целевая функция J(τ) - это отдача, усреднённая по нескольким эпизодам (повторным прогонам). Задача формирования оптимальной ИТР рассматривается как стационарный MDP, в котором вероятностная модель перехода из состояния в состояние при определённом действии и вероятностная модель вознаграждений не изменяются со временем.

Функция ценности $Q^{\pi }\left(s,a\right)$ действия a в состоянии s при стратегии π определяет ожидаемый доход, когда агент начинает работу из состояния s, предпринимает действие a и затем следует стратегии π: $Q^{\pi }\left(s,a\right)=E_{t_0=s,a_0=a \tau \approx \pi }\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]$. Оптимальную стратегию можно найти, используя метод динамического программирования [27].

Уравнения оптимальности Беллмана для $Q^{\pi }\left(s,a\right)$ имеют вид: $Q*\left(s,a\right)=E\left[\left.R_{t+1}+\gamma \underset{\pi }{\max }Q*\left(s_{t+1},a\right)\right|s_t=s,a_t=a\right]=\underset{\pi }{\max }\sum _{s^{\text{'}},\tau }p\left(s^{\text{'}},\left.r\right|s,a\right)\left[r+\gamma Q*\left(s^{\text{'}},a^{\text{'}}\right)\right]$. Уравнения Беллмана представляют собой систему уравнений, записанных по одному для каждого состояния. Если имеется n состояний и n неизвестных, то система имеет единственное решение.

Целью МОП является поиск стратегии π*, которая максимизирует математическое ожидание суммарного ожидаемого дохода (т.е. достигается максимальная ожидаемая полезность, что согласуется с принципом принятия решения рациональным агентом при неполной информации о среде) для всех состояний s: $\pi *\left(s\right)=\underset{\pi }{\max }Q*\left(s,a\right)$. Алгоритм МОП представляет собой последовательность процедур, соответствующих изменению состояния системы. Стратегия построения ИТР, разработанная на основе МОП, изменяться с течением времени по мере накопления наблюдений от работников. Для этого используется алгоритм, основанный на оценках полезности, с помощью которого агент настраивает функцию ценности $Q^{\pi }\left(s,a\right)$ действия a в состоянии s при стратегии π (Q-функцию). Настроенная функция ценности используется для оценки пар (s,a) и порождения стратегии агента, а обучение на основе алгоритма МОП называется Q-обучением. Для решения задачи обучения агента тестируются алгоритмы, основанные на ценности (на глубоких Q-сетях – DQN и SARSA, двойных глубоких Q-сетях - DDQN), и комбинированные алгоритмы (PRO) [28, 29].

4 Результаты моделирования

Моделирование выполнено в программе Matlab2021b⁶ и включает три процесса: создание агента Q-обучения; обучение агента; тестирование. Обучение нейросети проводится в 200 эпизодов, каждый из которых включает 50 испытаний (шагов). Эксперименты проведены на данных крупного нефтеперабатывающего предприятия. Имеются данные об оценке ЧК по пяти показателям и производительности труда работников. Обобщённые значения количественных показателей работников по выборке представлены в таблице 3. Сформирован комплекс управленческих решений по воздействию на элементы ЧК.

Таблица 3 – Статистические характеристики показателей в экспериментальной выборке из 70 работников

Рассматриваются два показателя, формирующих ЧК, – уровень здоровья работника и уровень его профессиональных компетенций. Принято, что каждый из приведённых показателей имеет пять уровней. Задача решается на двумерной сетке 5х5, где по строкам отражаются уровни здоровья работника (показатель 1), по столбцам – уровни компетенций (показатель 2), а нумерация ячеек в сетке строится от верхнего левого угла сетки (см. рисунок 3).

Рисунок 3 – Представление задачи в виде сетки 5х5

По результатам оценки ЧК, выполненной по методике [25], каждый работник получает по каждому из показателей балл от 1 до 1000, попадает в одну из пяти групп по каждому из показателей и на сетке представляется в виде кружка.

На рисунке 3 в качестве примера представлены результаты оценки работника, отмеченные в ячейке (3,2), – это начальное состояние его ЧК. При определении цели, т.е. уровня потенциально возможного ЧК для конкретного работника, учитывается ряд ограничений, связанных с его особенностями. На рисунке показана область ограничений в виде ячеек, залитых чёрным цветом. Показано, что для этого работника существует возможность движения в сторону улучшения ЧК – цели, ячейка (5,5). Если для работника с учётом его текущего уровня образования и характеристик здоровья невозможно достичь максимально уровня (ячейка 5,5), то для него определяется другая цель. По совокупности факторов здоровья этому работнику не удастся добиться повышения уровня профессионализма в данной области (с учётом низких значений уровня здоровья). Т.е. условия профессии таковы, что достижение уровней 3 и 4 профессионального развития невозможно для работника с низкими показателя здоровья, ячейки (3,3), (3,4). При высоких показателях уровня здоровья работника ему доступен переход на высший уровень компетентности, т.е. быстрый переход на уровень 5 по показателю 2, ячейки (4,5), (5,5).

Работник представлен как среда, в которой заданы ограничения достижимости цели, начальное и конечное состояния, функции переходов состояний, награды за переходы. Возможны переходы вправо и вниз, что соответствует перемещению работника на следующий уровень показателя при выполнении управленческих решений в соответствующей группе. Действия дискретны и отражают одно из управленческих решений, предназначенных для данной категории работников. Под решением понимается осуществление определённого мероприятия (например, повышение квалификации, обеспечение занятия спортом и др.), направленного на рост ЧК. Возможно реализовать 24 различных решения при движении работника из ячейки (1,1) в ячейку (5,5). Каждый противоположный цели шаг имеет штраф -1 балл, достижение цели имеет награду 3, переход через область ограничений, например, перемещение из (4,3) в (4,5), награждается в размере 1 балл. Цель алгоритма – научить агента формировать последовательность управленческих решений, обеспечивающих за минимальное время достижение максимальной награды. Проведена серия обучающих экспериментов для ряда работников с разными характеристиками ЧК. Для обучения агента использовались алгоритмы DQN, DDQN, SARSA и PRO [20]. Результаты экспериментов в виде изменения средней награды по эпизодам представлены на рисунке 4.

Рисунок 4 – Результаты обучения агента, коэффициент дисконтирования γ = 0.99, вероятность случайного действия ε = 0.04: а) эксперимент 1 – обучение на основе алгоритма DQN; б) эксперимент 2 – обучение на основе алгоритма DDQN; в) эксперимент 3 – обучение на основе алгоритма SARSA; г) эксперимент 4 – обучение на основе алгоритма PRO

Алгоритмы оценивались по двум критериям – эффективность политики (средняя награда) и эффективность обучения агента (скорость сходимости). Значения средних наград рассчитаны за каждый из 200 эпизодов моделирования, осреднённых по 50 испытаниям. Наилучший результат показал алгоритм DDQN, обеспечивающий сравнительно быстрое обучение и положительную награду, таблица 4. Поэтому выработка ИТР в дальнейшем основывалась на DDQN-алгоритме.

Таблица 4 – Результаты оценки эффективности политик и эффективности обучения

На основе модельных экспериментов для каждого работника с учётом начального и конечного (целевого) состояний сформированы оптимальные стратегии в виде ИТР. Они отражают последовательность принятия управленческих решений, обеспечивающих рост уровня ЧК. На рисунке 5 по мере продвижения по сформированной траектории текущее состояние всё более затемняется.

Рисунок 5 – Оптимальные политики (ИТР): а) эксперимент 1, начальное состояние (1,1), целевое состояние (3,5); б) эксперимент 2, начальное состояние (1,2), целевое состояние (4,4)

Результаты моделирования показывают, что для первого работника (эксперимент 1) для достижения целевого состояния наилучшими решениями будет следующая последовательность действий. Сначала необходимо провести программные мероприятия, направленные на улучшение здоровья работника до второго уровня, затем осуществлять программы по обеспечению роста профессиональных компетенций до уровня 4, после этого применить меры по оздоровлению, и вновь обеспечить улучшение профессиональных компетенций. Для второго работника (эксперимент 2) траектория развития следующая: выполнение программы, обеспечивающей рост профессионализма до уровня 3; проведение пошаговых мероприятий по улучшению здоровья до уровня 4; применение мер по росту компетентности. Осуществление сформированных ИТР позволит повысить уровень ЧК, обеспечит рост эффективности труда работников.

Заключение

Рассмотрены подходы, методы проектирования и модели ЦД организационных систем. Предложена технология разработки ЦД работников предприятия, основанная на гибридной модели объекта и включающая: модели структурного (математического) и компьютерного моделирования физических процессов; модели, основанные на данных, позволяющие обнаружить полезные и доступные для интерпретации знания, необходимые для принятия решений. ЦД работника с интеллектуальным управлением совмещает оба класса моделей, усиливая преимущества каждого из них.

В ЦД учёт неопределённости на этапе описания ЧК и в процессе его развития достигается за счёт использования разных типов данных, вариативности математических инструментов и итеративных процедур валидации и верификации моделей.

¹ Merlynn Intelligence Corporation. Digital Twin. https://www.merlynn-ai.com/.

² ПАО Гапром нефть. https://www.gazprom-neft.ru/press-center/news/gazprom_neft_sozdala_tsifrovoy_dvoynik_mestorozhdeniya_imeni_aleksandra_zhagrina/ (дата обращения 14.07.2025)

³ Медиа-портал для предпринимателей https://sberbusiness.live/publications/iskusstvennii-intellekt-v-prodazhah-kak-ai-sdelal-rabotu-s-produktami-sbera-esche-udobnee (дата обращения 14.07.2025)

⁴ АО «Навигатор». Консалтинг и разработка в сфере ИИ. https://navigat.ru/.

⁵ Институт искусственного интеллекта ИТМО. https://iai.itmo.ru/.

⁶ https://www.mathworks.com/.

Sobre autores

Ekaterina Orlova

Autor responsável pela correspondência
Email: ekorl@mail.ru
ORCID ID: 0000-0001-6535-6727
Scopus Author ID: 57192170106
Researcher ID: E-8829-2014

D.Sc.Eng., Professor at the Department of Entrepreneurship Economics

Bibliografia

Arquivos suplementares

Arquivos suplementares

Ação

1. JATS XML

Baixar

2. Figure 1 – Conceptual framework for modeling an employee’s digital twin

Baixar (241KB)

Metadados

3. Figure 2 – Control cycle in a reinforcement learning–based model

Baixar (86KB)

Metadados

4. Figure 3 – Representation of the problem in the form of a 5*5 grid

Baixar (140KB)

Metadados

5. Figure 4 – Agent training results, discount factor, probability of a random action: a) experiment 1 – training based on the DQN algorithm; b) experiment 2 – training based on the DDQN algorithm; c) experiment 3 – training based on the SARSA algorithm; d) experiment 4 – training based on the PRO algorithm

Baixar (652KB)

Metadados

6. Figure 5 – Optimal policies: a) experiment 1, initial state (1.1), target state (3.5); b) experiment 2, initial state (1.2), target state (4.4)

Baixar (141KB)

Metadados