Semiosis of visual stimuli in interactive user interfaces of medical applications

封面

如何引用文章

全文:

详细

The problem of achieving completeness and unity of objective, subjective, and virtual reality is considered in relation to the applied tasks of designing interactive user interfaces. Within the framework of constructing an immersive environment using modern information technologies, the problem of forming an ontology of perception is investigated. The key role of a sign in information interaction is highlighted, taking into account the individual characteristics of its perception by users of virtual reality. In an immersive environment, virtual signs can be embodied both as observable objects with varying degrees of realism and directly in the form of signs, both graphic and text, that have a specific location in space. The proposed approach allows for setting an algorithm for visual impact on a person by dynamically forming a sequence of signs. The formed sequences create a queue of visual stimuli that adjust the tempo-rhythm of the user's interaction with the computer system. The signs observed by the user can be classified as iconic signs corresponding to conventional symbols or pictograms, index signs acting as pointers to other objects and marking space for orientation purposes, and symbolic signs signaling or warning about changes in an object, event, or phenomenon. The article considers test examples of user behavior in a virtual reality environment. The proposed approach is implemented in a software system for psychological diagnostics and rehabilitation. A special feature of the system is the control of patient involvement based on the analysis of the dynamics of head movements, facial movements, and gaze trajectory using artificial neural networks. In case of distraction or loss of interest, the computer system adapts the user interface by adding visual stimuli according to specified pragmatic rules. The application of the obtained results has enabled the adaptation of the user interface and created the possibility for a personalized approach to the provision of medical services.

全文:

Введение

Современные пользовательские интерфейсы (ПИ) предоставляют широкие возможности по реализации интерактивного человеко-компьютерного взаимодействия. В частности, распространённые устройства виртуальной (ВР) и дополненной (ДР) реальности позволяют сформировать иммерсивную среду (ИмС) – виртуальное пространство глубокого погружения, в котором пользователь наблюдает и взаимодействует с реальными и виртуальными объектами одновременно. Многие виртуальные объекты при этом выглядят настолько реалистично, что начинают восприниматься вполне реальными и производят достаточно сильное воздействие на пользователя.

ИмС проектируется разработчиками сферы информационных технологий, исходя из требований назначения: необходимо обеспечить надёжное информационное воздействие на пользователя с учётом индивидуальных особенностей восприятия комбинации виртуальных и реальных элементов наблюдаемой среды. Учитывая характер преимущественно информационного взаимодействия, ИмС должна содержать понятия, близкие, понятные и интересные пользователю. Картина мира пользователя должна соответствовать тематике объединения виртуальных и реальных объектов в ИмС, в противном случае не удастся обеспечить требуемый интерес к этой среде и соответствующую глубину погружения.

Таким образом, задача проектирования ИмС имеет онтологический характер: при разработке соответствующих аппаратно-программных комплексов ВР необходимо обеспечить согласование картины мира пользователя и окружающей среды. Основным предметом онтологии является бытие, которое определяется как полнота и единство всех видов реальности, в т.ч. объективной, субъективной и виртуальной. ВР и объективная реальность не только не должны противоречить субъективной реальности пользователя, но и находиться в динамическом информационном взаимодействии между собой. Обеспечение этого взаимодействия важно, например, в медицинских приложениях, когда особенности восприятия пользователя могут повлиять на результативность лечебных или реабилитационных мероприятий.

Данное исследование находится на стыке медицинских и философских наук и информационных технологий и относится к междисциплинарным. При этом в части изучения особенностей восприятия различных объектов рассматриваемая проблема должна получить достаточное внимание, в частности семиотики, как теории знаков и знаковых систем.

Особая роль отводится знаку как средству передачи информации о происходящих событиях. Знаки, объективно сопутствующие объектам реального мира, сочетаются с искусственно формируемыми знаками ВР и совместно вступают в информационное взаимодействие с системой восприятия пользователя. Это позволяет отнести рассматриваемую прикладную задачу к области семиотики. Корректное использование знаковых систем эффективно и актуально в психологической диагностике и реабилитации, где от формируемой ИмС требуется достижение гарантированного результата при воздействии на пациента. В данной статье предложено возможное решение этой проблемы, основанное на управлении глубиной погружения пользователей ИмС.

1 Знак в ИмС

Формирование ИмС [1] специфично для компьютерных игр и индустрии развлечений, однако в последнее время её создание демонстрирует высокую эффективность в аппаратно-программных комплексах (АПК) медицинской диагностики и реабилитации. Применение технологий ВР и ДР [2] в этой области позволяет осуществить такое воздействие на восприятие человека [3], которое в сочетании с определённой физкультурной нагрузкой, способно позитивно влиять на восстановление двигательной активности пациентов с различными нарушениями (например, полученными в результате нейродегенеративных заболеваний).

Формирование ИмС в медицине имеет ряд ограничений и трудностей по сравнению с индустрией развлечений. Это связано с необходимостью достижения конкретного результата диагностики и реабилитации. У пользователя соответствующего АПК должно быть сформировано корректное восприятие виртуальных элементов ИмС. Такого результата не всегда удаётся добиться в связи с возрастающей информационной нагрузкой и индивидуальными особенностями восприятия разных объектов отдельными пациентами.

ИмС формируется для пользователя с помощью интерактивного компьютерного интерфейса или устройства ДР. Пользователь наблюдает реальные объекты, которые частично или полностью находятся в области его зрения, а также виртуальные объекты, сгенерированные АПК. В рамках визуального восприятия эти объекты не отличаются друг от друга, однако на основе собственного опыта, или будучи специально обученным для использования АПК, пользователь может ограниченно распознавать реалистичность наблюдаемого.

Для пользователя знак получает новую важную характеристику, свойственную, например, знакам правил дорожного движения. А именно, для знака важным становится его расположение и ориентация в пространстве, он встраивается в систему взаимного расположения других знаков и может изменять или отменять их значение [4].

В этом случае непосредственно реализуются семантическая классификация знаков [5] и особенности пространственного восприятия зрительных знаков [6]. В ИмС важно определить роли знаков во взаимодействии и особенности их восприятия в зависимости от заинтересованности субъекта. Данные понятия приобретают особый интерес, поскольку позволяют задать алгоритм визуального воздействия на человека путём динамического формирования последовательности знаков АПК. Алгоритмический подход с учётом влияния человеческого фактора важен для эффективного человеко-компьютерного взаимодействия. В ИмС виртуальные знаки могут воплощаться как в качестве наблюдаемых объектов с различной степенью реалистичности, так и непосредственно в форме знаков, графических и текстовых, получивших определённое расположение в пространстве.

Отображаемые знаки имеют разную степень реалистичности. Далее рассматриваются знаки, однозначно интерпретируемые пользователем как виртуальные и семантически интерпретируемые. В медицинских приложениях необходимо обеспечить интерпретируемость с достаточной надёжностью, в связи с чем возникает необходимость учёта прагматического измерения семиозиса [7]. Частично можно решить эту проблему путём формирования и корректировки контекста с учётом особенностей человеческого восприятия. Проблемы интерпретации знаков в ИмС известны в области культуры и искусства, например, при рассмотрении диалектики знака и фона [8]. С позиций теории управления задача формирования адекватного ответа на визуальные стимулы усложняется в связи с неопределённостью и субъективностью внимания пользователя. В этом случае рассматривается задача построения онтологии восприятия, заданной относительно наблюдаемых форм и атрибутов [9], с последующим уточнением относительно объектов действительности и ВР.

2 Управление вниманием пользователя в ИмС

Для управления вниманием пользователя в ИмС необходимо исследовать особенности семиозиса в ИмС [10]. Формирование визуальных стимулов в виде специализированных знаков в составе соответствующей системы управления может быть задано в виде прагматических правил и автоматизировано в базе знаний АПК, формирующей ИмС. Например, в приложениях медицинской диагностики и реабилитации [11, 12] для достижения эффекта персонализированной медицины необходимо сформировать типовую интерпретанту в соответствии с особенностями пользователей и создать визуальный контекст представления воздействующих символов в соответствии с индивидуальными особенностями восприятия.

Для решения этой задачи разработана концепция системы управления вниманием пользователя в ИмС [13, 14], представленная на рисунке 1. Суть метода заключается в управлении вниманием и вовлечённостью пользователей на основе комбинирования фокуса, контекста и оверлейного контекста (ОК) в рамках одной виртуальной сцены. Данные понятия введены и описаны в [15]. Фокус указывает на объект, который обрабатывается пользователем в данный момент времени или привлекает его внимание. Контекст описывает текущую ситуацию и учитывает историю предыдущих действий и событий, которые привели к ней. Оверлейный контекст включает в себя виртуальные объекты (текстовые заметки, метки или выделения), которые привлекают внимание пользователя к необходимым объектам сцены.

Это позволяет эффективно генерировать иммерсивные стимулы в виде отметок, напоминаний и других активных элементов ПИ ДР.

 

Рисунок 1 ‑ Схема системы управления вниманием пользователя в иммерсивной среде

 

Оценка вовлечённости может быть произведена с использованием нейросетевых технологий искусственного интеллекта для идентификации эмоций пользователя по данным компьютерного зрения. Для этого в состав АПК включается видеокамера, которая производит видеосъёмку лица человека. Независимую оценку вовлечённости пользователя можно также получить по данным окулографии (айтрекинга), для чего используются специальные устройства отслеживания взгляда человека, синхронизированные с событиями ПИ.

Предлагается построить ИмС с управляемой глубиной погружения, а в качестве контролируемого параметра использовать вовлечённость пользователя, оценка которой производится на основе анализа мимических движений, эмоционального фона и траектории движения взгляда. Для повышения или снижения вовлечённости предлагается использовать визуальные стимулы в виде отметок, напоминаний и уведомлений. Относительно основного ПИ такие стимулы должны восприниматься как дополнительная, «наложенная» информация, в связи с чем для их формирования и отображения вводится виртуальное пространство ОК.

ОК представляет собой дополнительный слой элементов ПИ, накладываемый «поверх» основного слоя и содержащий дополнительные информационные поля и элементы управления. ОК содержит искусственно созданные элементы ВР и служит для повышения иммерсивности виртуальной среды. В связи с тем, что он используется в целях информационного человеко-компьютерного взаимодействия, пользователь должен осознавать виртуальность ОК, в нём нет необходимости симулировать высоко реалистичные объекты. Поскольку ОК в силу своего назначения перекрывает визуальную сцену, необходимо добиваться высокой простоты и условности применяемых в нём знаков.

3 Применение знаков в роли стимулов

Применение ОК в системе управления вовлечённостью пользователя состоит в формировании последовательности визуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с АПК. В качестве визуальных стимулов можно предложить знаки различного генезиса с применением семантической классификации знаков [5]. Наблюдаемые пользователем знаки можно классифицировать как иконические знаки, соответствующие условным обозначениям или пиктограммам, знаки-индексы, выступающие в качестве указателей на другие объекты и позволяющие размечать пространство в целях ориентации, и знаки-символы, сигнализирующие или предупреждающие об изменении объекта, произошедшем событии или явлении. В таблице 1 приведены способы применения знаков в зависимости от их типов для управления вниманием пользователя. Например, знаки-индексы рекомендуется применять для привлечения внимания к виртуальным и реальным объектам.

 

Таблица 1 ‑ Применение знаков в интерактивных пользовательских интерфейсах

Тип знака

Значение для управления вовлечённостью

Способ управления

Применение в качестве стимула

Иконический знак

Условное (упрощённое или стилизованное) обозначение, подобное объекту, пиктограмма

Замена библиотек знаков для повышения или снижения схематичности (подробности)

Снижение визуальной нагрузки, повышение привлекательности (при использовании оригинальных или анимированных знаков)

Знак-индекс

Указатель

Появление, изменение яркости или цвета текста или фона

Привлечение внимания к существующему виртуальному или реальному объекту

Знак-символ

Идентификатор объекта или явления

Появление в виде текстовой или графической подсказки

Информирование об объекте или событии, уведомление, предупреждение, сигнал

 

Эффективность использования знаков зависит от текущей ситуации. Например, в случае снижения вовлечённости, характеризуемого задержками деятельности и отвлечением на посторонние предметы и события, добавление знаков-индексов и повышение достоверности иконических знаков способны привлечь внимание и сохранить интерес пользователя. Механизмы формирования визуальных символов в разных ситуациях изменения вовлечённости пользователей представлены в таблице 2.

 

Таблица 2 ‑ Семиозис визуальных стимулов для контроля вовлечённости пользователей в интерактивных программных комплексах

Характеристика динамики вовлечённости

Способ определения

Тип визуального стимула

Приоритетность знаков

Стабильно  высокая

Концентрация взгляда на соответствующих объектах, своевременная реакция на изменения, спокойный эмоциональный фон

Снижение визуальной нагрузки, добавление подробностей в описание

Добавление и замена иконических знаков

Стабильно низкая

Постоянные отвлечения фокуса, потеря внимания, низкий эмоциональный фон

Привлечение внимания, поиск возможности заинтересовать

Добавление и замена индексов и иконических знаков

Повышение вовлечённости

Ускорение движений взгляда, повышенное внимание к появляющимся объектам, возбуждённый эмоциональный фон

Контроль ошибочных действий, привлечение внимание к актуальным событиям, снижение визуальной нагрузки

Добавление и замена символов, упрощение иконических знаков

Снижение вовлечённости

Всплески потери внимания, отвлечение на второстепенные объекты, задержки деятельности

Поиск нового интереса и адаптация интерфейса и визуального контента

Добавление индексов, повышение достоверности иконических знаков

Краткосрочная потеря внимания (отвлечение, сбой)

Внезапная потеря внимания, единичный длительный взгляд в сторону, задержка деятельности

Привлечение внимания, устранение отвлекающего фактора

Добавление знаков-индексов и знаков-символов

 

4 Примеры управления глубиной погружения

Рассматриваются примеры поведения пользователя в ИмС в момент достижения максимальной глубины погружения в рамках разной онтологии восприятия. Достижение необходимой и достаточной глубины погружения пользователя определяет высокую степень концентрации пользователя на объектах на определённом промежутке времени.

Каждый пример проиллюстрирован графом, описывающим привлечение интереса определённого пользователя к объектам bn, для которых определена тематика Wm(bn). Пусть интерес пользователя как вероятность обращения его взгляда gi,j,k, где i – условный индекс пользователя, j – координата точки в пространстве вблизи объекта bn, k – порядковый номер события привлечения взгляда пользователя. Взгляд пользователя может точно определяться с использованием современных средств окулографии. Пусть вероятность привлечения взгляда пользователя к наблюдаемому объекту соответствует отношению его к тематике интереса пользователя и может принимать значение от 0 до 1.

Пример 1. Пусть имеется пользователь, в поле зрения которого находятся объекты b1, b2, b3, релевантные его текущему интересу (см. рисунок 2). Объекты b1 и b2 относятся к тематике W1(b1,2), которая соответствует целевой тематике интереса пользователя на величину 0,8. Объект b3 относится к тематике W2(b3), соотносящейся с целевой тематикой на 0,2. Пусть взгляд пользователя g1,1,1 в момент времени t1,1,1 обращён на объект b1. При этом наблюдается изменение состояния объектов b2 и b3, обозначенное как d2,2,1 и d3,3,2 соответственно, тогда вероятность перевода взгляда пользователя на объект b2=0,8, а на объект b3=0,2 с учётом соотношения данных объектов с целевым интересом пользователя.

 

Рисунок 2 ‑ Пример переключения на новый объект в иммерсивной среде

 

Процесс перевода взгляда пользователя на новый объект определяется вероятностью перехода пользователя из одного состояния в другое в определённый промежуток времени p(g1,2,2)=f(W1, W2).

Данный процесс соответствует случайному марковскому процессу с дискретным временем и пространством состояний. В этом примере внимание пользователя обращено на объект, который с высокой степенью соответствует текущему интересу пользователя. В таком случае для управления вниманием пользователя в ИмС необходимо поместить объекты, релевантные его текущему интересу. Вероятность смещения внимания пользователя на другие объекты, не относящиеся к текущему интересу пользователя, будет низкой.

Нарушение целостности контекста может привести к недоверию пользователя событиям виртуальной среды, а также потере управления вниманием пользователя, а в результате к потере необходимого уровня глубины погружения. Глубина погружения пользователя может быть оценена путём соотнесения темпо-ритмов происходящих событий, которые отражаются в пользовательском интерфейсе, и траекторий движения взора пользователя в течение заданного интервала времени. Если пользователь своевременно обращает внимание на происходящие события и изменения, фиксируется большая глубина погружения. В противном случае за каждое опоздание или пропуск глубина погружения снижается соответственно.

Пример 2 (см. рисунок 3). Пусть в поле зрения пользователя находятся также объекты b1, b2, b3, при этом объекты b1 и b3 относятся к тематике W1(b1,3), которая соответствует целевой тематике интереса пользователя на 0,3. Объект b2 относится к тематике W2(b2), соотносящейся с целевой тематикой на 0,7. В момент времени t1,1,1 взгляд пользователя g1,1,1 был обращён на объект b1. Объект b2 совершает некоторый набор действий d2,2,1. Тогда вероятность перемещения взгляда пользователя с объекта b1 на объект b2 будет равна 0,7. В момент времени t1,2,2 у пользователя возникает выбор: перевести взгляд на объект b3, перевести взгляд обратно на объект b1 или сохранить концентрацию на объекте b2. При этом, учитывая вес тематик, к которым относятся объекты, вероятность осуществления перечисленных действий распределяется следующим образом: вероятность перевода взгляда на объект b3 и объект b1 равна 0,15, вероятность сохранения внимания на объекте b2 в последующие промежутки времени t1,2,3 равна 0,7.

 

Рисунок 3 ‑ Повышение вовлечённости

 

В данном примере изначально внимание пользователя обращено на объект, который относится к тематике с низким уровнем соответствия целевому интересу пользователя. Данный пример иллюстрирует низкий уровень погружения в ИмС. Если в ИмС пользователю разместить объекты, наиболее соответствующие его целевому интересу (например, объект b2), то степень погружения пользователя возрастёт. В результате действия пользователя будут стремиться к целевому поведению в данный момент времени.

Пример 3, в котором каждый объект ВР равнозначно соотносится с целевой тематикой (см. рисунок 4). Пусть в момент времени t1,1,1 взгляд пользователя g1,1,1 зафиксирован на объекте b1.

  

Рисунок 4 ‑ Сохранение вовлечённости

 

В поле зрения пользователя находятся также объекты b2 и b3, при этом объект b2 совершает некоторые действия a1,2,1 a1,3,2. Тогда вероятность перевода взгляда с объекта b1 на b2 равна 0,5. С вероятностью 0,5 пользователь сохранит внимание на объекте b1.При перемещении взгляда на объект b2 возникает равнозначная вероятность как перемещения взгляда на новый объект b3 или возвращения на объект b1  так и концентрации внимания на b2

Пользователь уделяет равное внимание наблюдаемым объектам, что иллюстрирует высокую степень погружения пользователя в ИмС. При этом возникает возможность управлять вниманием пользователя как внутри текущего интереса W1, размещая в виртуальном пространстве новые объекты, так и между интересами, добавляя в ИмС новые объекты, например, объект b2, относящийся к тематике W2, которая в равной степени соотносится с тематикой W1.

5 Реализация в сфере психологической диагностики и реабилитации

Предложенный подход реализован в АПК психологической диагностики и реабилитации [14], в котором использованы некоторые психодиагностические методики [16]. В данном исследовании применены корректурная проба Бурдона [17, 18], используемая для выявления утомляемости, оценки концентрации и устойчивости внимания, и таблицы Шульте [19, 20], которые используются для исследования свойств внимания и расширения периферического зрения. Особенностью АПК является контроль вовлечённости пациентов на основе анализа динамики движений головы, мимических движений и траектории взгляда с использованием технологий машинного зрения [14]. В случае идентификации событий отвлечения внимания или потери интереса производится адаптация ПИ путём добавления визуальных стимулов в соответствии с таблицей 2.

На рисунке 5 приведён пример реализации знаков-индексов для привлечения внимания пользователя. Корректурная проба Бурдона проводится с помощью набора большого количества похожих знаков, например, букв. Пользователю необходимо в каждой строке найти и выделить заданные символы. АПК каждую минуту отмечает зону текущего внимания пользователя и сообщает ему об этом. Цветовая индикация позволяет использовать знаки – указатели на ответы пользователя (рисунок 5а). Другой вариант (рисунок 5б) состоит в подсвечивании ошибок и пропусков на активном поле.

 

а) – знаками-указателями обозначатся выбор буквы; б) – дополнительные знаки (□) указывают на неправильный выбор или пропуск буквы

Рисунок 5 ‑ Примеры разных знаков-индексов для привлечения внимания пользователя при прохождении психологического теста

 

Построение интерактивного ПИ позволяет использовать знаки адаптивно к текущему поведению пользователя. С помощью системы компьютерного зрения и окулографии АПК может фиксировать снижение двигательной активности глаз и изменение мимики, что свидетельствует о снижении вовлечённости пользователя. В этом случае могут дополнительно подсвечиваться ошибки или пропущенные буквы, которые необходимо найти в оставшихся рядах. Цветовая индикация может быть активна до момента возвращения взгляда пользователя на зону тестирования или ограничена по времени.

На рисунке 6 приведён пример использования знаков в таблицах Шульте. Таблица содержит 25 ячеек, расположенных в 5 рядов, в которых беспорядочно вписаны числа от 1 до 25. Необходимо зафиксировать взгляд в центре таблицы и отметить все ячейки с цифрами по порядку без пропусков за минимальное время. Современные средства окулографии позволяют отследить корректность прохождения теста, а применение знаков разного типа – облегчить прохождение теста при необходимости.

Например, знак типа индекс (выделение цветом) и символ (указание следующего значения) обеспечат сохранение вовлечённости пользователя при краткосрочной потере внимания, вызванной внешним раздражителем. Чтобы устранить фактор отвлечения, предлагается при существенной задержке подсвечивать выбранный вариант синим цветом, ошибочный вариант - красным, а также формировать подсказку о следующем номере ячейки.

 

а) – классическое представление таблицы Шульте; б) – использование подсказок: выбранный вариант подсвечивается синим цветом (4), а ошибочный ‑ красным (23)

Рисунок 6 ‑ Пример использования знаков типа индекс (выделение цветом) и символ (указание следующего значения) для облегчения прохождения психологического теста с помощью таблицы Шульте

 

Таким образом, удалось внедрить в систему психодиагностики обратную связь: если пользователь отвлекается от активной зоны теста, то необходимо корректировать внимание за счёт визуальных стимулов. Генерация аудиовизуальных стимулов, дополнительно информирующих пользователя о происходящих событиях и подсказывающих ему необходимые действия, позволяет адаптировать пользовательский интерфейс с учётом индивидуальных особенностей восприятия. Применение такого подхода в медицинских приложениях позволяет реализовать концепцию персонализированной медицины.

Заключение

Исследование особенностей восприятия и воздействия знаков становится актуальной научно-технической задачей в условиях развития интерактивных ПИ. Активное применение устройств ВР приводит к усложнению ПИ и соответствующему росту информационной нагрузки на пользователя. Применение знаков в качестве визуальных стимулов позволяет повысить эффективность управления вниманием пользователя и усилить глубину погружения в ИмС.

В статье рассмотрены теоретические и практические аспекты применения знаков в интерактивных ПИ для контроля вовлечённости пользователей. Типизация знаков позволяет адекватно формировать визуальные стимулы с учётом особенностей восприятия пользователей и корректировать темпо-ритм интерактивного взаимодействия пользователя с АПК. Такой подход будет полезен разработчикам и специалистам по внедрению интерактивных программных комплексов и систем ВР в рамках построения ИмС.

×

作者简介

Anton Ivaschenko

Samara University (Samara National Research University named after academician S.P. Korolev); Samara State Medical University

编辑信件的主要联系方式.
Email: anton.ivashenko@gmail.com
Scopus 作者 ID: 42661608400

Doctor of Technical Sciences (2012), professor (2018). Director of the Higher School of Medical Engineering.

俄罗斯联邦, Samara; Samara

Margarita Aleksandrova

Samara State Medical University

Email: margarita.alexandrowa@mail.ru
Scopus 作者 ID: 57970631000

Project Manager at Open Code LLC.

俄罗斯联邦, Samara

Denis Zheikov

Samara State Medical University

Email: d.s.zhejkov@samsmu.ru
Scopus 作者 ID: 58844784900

Head of practice of the Higher School of Medical Engineering.

俄罗斯联邦, Samara

Alexander Nesterov

Samara University (Samara National Research University named after academician S.P. Korolev)

Email: phil@ssau.ru
Scopus 作者 ID: 57222081807

PhD on philology, Doctor (hab.) of philosophy, Director of the Institute of Social Sciences and Humanities, Head of the Department of Philosophy.

俄罗斯联邦, Samara

参考

  1. Vybornova AI. Immersive technologies in telecommunications: review and prospects [In Russian]. Information technologies and telecommunications. 2021; 9(3): 1-10. doi: 10.31854/2307-1303-2021-9-3-1-10.
  2. Velichkovsky BB, Gusev AN, Vinogradova VF, Arbekova OA. Cognitive control and sense of presence in virtual environments [In Russian]. Experimental psychology. 2016; 9(1): 5-20. doi: 10.17759/exppsy.2016090102.
  3. Gusev AN. Sensation and perception [In Russian]. General psychology in 7 volumes. Volume 7. Moscow: Academy. 2007. 414 p.
  4. Frege G. Selected works [In Russian]. Moscow: House of intellectual books. 1997. 159 p.
  5. Pierce CS. What is a sign? [In Russian]. Bulletin of Tomsk State University. 2009; 3(7): 88-95.
  6. Jacobson RO. Language and the unconscious [In Russian]. Moscow: Gnosis, 1996. 248 p.
  7. Morris CW. Foundations of the theory of signs [In Russian]. In the book: Semiotics: An Anthology. Comp. Yu.S. Stepanov. Ed. 2nd, rev. and additional. Moscow: Academic Project; Ekaterinburg: Business book. 2001. 702 p.
  8. Lotman YuM. Articles on the semiotics of culture and art [In Russian]. St. Petersburg: Humanitarian Agency “Academic Project”. 2002. 544 p.
  9. Nogovitsyn OM. Ontology of form. Perception [In Russian]. Philosophical Studies. 2018; 7(2): 40-57.
  10. Nesterov AYu. Semiotic foundations of technology and technical consciousness [In Russian]. Samara: Publishing House of the Samara Humanitarian Academy, 2017. 155 p.
  11. Karpov OE, Daminov VD, Novak EV. and others. Virtual reality technologies in medical rehabilitation, as an example of modern healthcare informatization [In Russian]. Bulletin of the National Medical and Surgical Center named after N.I. Pirogova. 2020; 15(1): 89-98. doi: 10.25881/BPNMSC.2020.71.14.017.
  12. Zelensky MM, Reva SA, Shaderkina AI. Virtual reality (VR) in clinical medicine: international and Russian experience [In Russian]. Russian Journal of Telemedicine and Electronic Health Care. 2021; 7(3): 7-20. doi: 10.29188/2712-9217-2021-7-3-7-20.
  13. Ivaschenko AV, Aleksandrova MV, Zheikov DS, Zakharova EV, Kolsanov AV. Adaptation of virtual reality interfaces in applications of psychodiagnostics and medical rehabilitation [In Russian]. Medical technology. 2023; 5: 33-35.
  14. Ivaschenko AV, Aleksandrova MV, Zheikov DS, Mazankina EV, Zakharova EV, Kolsanov AV. Psychodiagnostics software with computer vision feedback [In Russian]. Software & Systems. 2024; 37 (2): 193-200. doi: 10.15827/0236-235X.142.193-200.
  15. Ivaschenko AV, Orlov SP, Krivosheev AV User interfaces for accent visualization in an augmented reality environment [In Russian]. Mathematical methods in engineering and technology: St. Petersburg: Polytechnic Publishing House, 2020: 91-95.
  16. Burlachuk LF. Psychodiagnostics: textbook for universities [In Russian]. St. Petersburg: Peter, 2006. 351 p.
  17. Sidorov KR. Quantitative assessment of the productivity of attention in the method of “proofreading test” by B. Burdon [In Russian]. Bulletin of the Udmurt University. Series Philosophy. Psychology. Pedagogy. 2012; 4: 50-57.
  18. Khokhlov NA, Fedorova ED. Standardization of the electronic version of the proof test (Bourdon test) [In Russian]. Approbation. 2016; 8(47): 66-74.
  19. Khudik VA. Experimental study of simple sensorimotor reactions using Schulte tables [In Russian]. Correctional pedagogical education. 2018; 1(13): 86-91.
  20. Vizersky AV, Nikolaeva YuS. Gorbotov-Schulte table as a means of assessing switching and distribution of attention [In Russian]. Current problems of aviation and astronautics. 2018; 3(4): 757-759.

补充文件

附件文件
动作
1. JATS XML
2. Figure 1 - Diagram of a system for controlling user attention in an immersive environment

下载 (308KB)
3. Figure 2 - Example of switching to a new object in an immersive environment

下载 (164KB)
4. Рисунок 3 Повышение вовлечённости

下载 (181KB)
5. Figure 4 - Maintaining engagement

下载 (182KB)
6. Figure 5 - Examples of different index signs to attract the user’s attention when taking a psychological test

下载 (1006KB)
7. Figure 6 - Examples of using signs such as index (highlighting in color) and symbol (indicating the next value) to facilitate passing a psychological test using the Schulte table

下载 (376KB)

版权所有 © Ivaschenko A.V., Aleksandrova M.V., Zheikov D.S., Nesterov A.Y., 2024

Creative Commons License
此作品已接受知识共享署名 4.0国际许可协议的许可

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».