End-to-end mobile application development technology for people with intellectual disabilities

Vladislav V. Guryev; Гурьев Владислав Витальевич; Olga A. Shabalina; Шабалина Ольга Аркадьевна; Natalya P. Sadovnikova; Садовникова Наталья Петровна; Angelina A. Voronina; Воронина Ангелина Андреевна; Stanislav V. Kosyakov; Косяков Станислав Валерьевич; Nikita M. Dmitriev; Дмитриев Никита Михайлович

doi:10.18287/2223-9537-2024-14-2-230-242

End-to-end mobile application development technology for people with intellectual disabilities

Autores: Guryev V.V.¹, Shabalina O.A.¹, Sadovnikova N.P.¹, Voronina A.A.¹, Kosyakov S.V.¹, Dmitriev N.M.¹
Afiliações:
1. Volgograd State Technical University (VSTU)
Edição: Volume 14, Nº 2 (2024)
Páginas: 230-242
Seção: APPLIED ONTOLOGIES OF DESIGNING
URL: https://journals.rcsi.science/2223-9537/article/view/352562
DOI: https://doi.org/10.18287/2223-9537-2024-14-2-230-242
ID: 352562

Citar

Texto integral

Resumo
Texto integral
Sobre autores
Bibliografia
Arquivos suplementares
Estatísticas

Resumo

The features of developing mobile applications for users with intellectual disabilities are examined. A technology for developing mobile applications is proposed, utilizing a template multi-module architecture that allows for the selection of ready-made functional solutions from a module repository. A method for developing an adaptable mobile application interface is described, including the creation of screen templates with interface elements, categorizing template elements into mandatory and optional, and matching each element with sets of possible images. A web system is outlined that supports the stages of creating and operating mobile applications with an adaptable interface. Examples of developed mobile applications demonstrate their effectiveness for users with intellectual disabilities. A method is proposed for adapting the mobile application interface using a configuration panel, which supports the life cycle of mobile applications for this user category. An ontology was selected as a formal model for representing knowledge, enabling the extraction of knowledge for developing mobile applications with an adaptable interface and applying it to create applications accessible to people with intellectual disabilities.

Palavras-chave

limited intellectual capabilities, mobile application, life cycle, adaptable interface, configuration panel, web system

Texto integral

Введение

По данным Всемирной организации здравоохранения^¹ почти 200 миллионов человек в мире имеют интеллектуальные нарушения, т.е. отклонения в развитии умственных способностей. В Международной классификации болезней (МКБ)^² интеллектуальные нарушения (умственная отсталость) определяются как состояние задержанного или неполного развития психики, которое характеризуется нарушением способностей, обеспечивающих общий уровень интеллектуальности. Многие люди с ограниченными интеллектуальными возможностями (ОИВ) могут испытывать трудности в различных аспектах своей повседневной жизни, таких как передвижения, путешествия, домашняя работа, использование денег, телефона, поиска работы и др. В современном обществе стремятся обеспечить качественную жизнь людям с ОИВ^³ (участие в общественной жизни, доступ к цифровым технологиям и др. [1, 2]). Перспективным направлением в этой сфере является внедрение мобильных приложений (МП), помогающих повысить самостоятельность людей с ОИВ [3-7].

При разработке МП для людей с ОИВ требуется решить ряд задач, связанных с особенностями этой категории пользователей. Одним из способов повышения доступности программного обеспечения (ПО) является возможность адаптировать функционал и интерфейс ПО для конкретного пользователя [8]. Современные МП предусматривают настройки интерфейса (шрифтов, цветовой палитры, звукового сопровождения и т.д.), которые можно осуществить на этапе эксплуатации МП. Осуществляет такие настройки пользователь. Однако возможности людей с ОИВ сильно различаются. Для них требуется более глубокая персонализированная адаптация интерфейса (возможность изменения количества элементов управления, выбора различных пиктограмм для отображения элементов управления, использования или неиспользования текста и др.). Многие люди с ОИВ не смогут самостоятельно настроить интерфейс, что также нужно принимать во внимание при разработке МП.

Разработкой МП для людей с ОИВ занимаются не только специализированные компании, но и специалисты, профессиональная деятельность которых связана с обеспечением качества жизни людей с ОИВ. Такие специалисты не всегда обладают достаточной квалификацией как разработчики МП, что сказывается на скорости разработки и качестве решений. Для разработки МП для людей с ОИВ требуются проектные и технологические решения, позволяющие снизить трудоёмкость разработки МП и обеспечивающие возможность адаптации МП под конечных пользователей с ОИВ на этапе эксплуатации без изменения программного кода.

При разработке ПО часто используются методы и средства онтологического моделирования [9]. Онтологическое представление процесса разработки МП для людей с ОИВ, как самостоятельной категории ПО, позволит применять эти знания при создании МП.

1 Подходы к разработке МП

Известно несколько подходов к разработке МП, основными из которых являются нативный, кроссплатформенный, гибридный и прогрессивный [10]. Нативные приложения разрабатываются на языках программирования и в средах, предоставляемых владельцем платформы, работают непосредственно в операционной системе устройства. Кроссплатформенные приложения могут быть написаны на разных языках программирования и в разных средах, но они компилируются в приложение, работающее непосредственно в операционной системе устройства. Разработка гибридных веб-приложений проводится с использованием Web-технологий. В отличие от нативных, гибридные приложения работают в Web-контейнере, который обеспечивает среду выполнения браузера и API для нативных устройств через Apache Cordova^⁴. Web-приложения, которые используют набор возможностей браузера (например, работу в автономном режиме, запуск фонового процесса и добавление ссылки на домашний экран устройства), для обеспечения удобства работы приложения выделяют в самостоятельную категорию прогрессивных Web -приложений. Модель жизненного цикла (ЖЦ) МП рассматривается как самостоятельная категория моделей ЖЦ ПО, отличающаяся содержанием и количеством этапов [11, 12].

Для управления МП разрабатывается специализированное ПО, применяемое на разных этапах ЖЦ МП. Так, для управления разработкой МП используются MDM системы [13]. Типовой функционал таких систем включает конструктор интерфейсов, функции доработки программного кода, публикации обновлений МП. Для администрирования МП, разработанных для использования в различных видах профессиональной деятельности, на этапе эксплуатации применяют MAM системы ^⁵. Их типовой функционал включает адаптацию интерфейса МП под конечного пользователя, управление его аккаунтом, сбор статистики. Разработку МП можно вести с использованием платформ MADP^⁶, которые включают функции управления МП, а также инструменты управления МП.

Бо̀льшая часть ПО, применяемого при разработке МП, поддерживает только один из этапов ЖЦ МП, в результате чего затрудняется выполнение других этапов ЖЦ, которые реализуются в иных системах или программах, не связанных между собой.

Разработка МП для людей с ОИВ сопряжена с высокими рисками, связанными с невозможностью заранее предусмотреть, как такие пользователи будут реагировать на интерфейсные решения и смогут ли они правильно выбирать требуемые действия. Поэтому качество МП для людей с ОИВ в большой степени зависит от того, насколько пользователи с ОИВ привлекались к участию в тестировании МП. Применение успешных интерфейсных решений, реализованных в МП и апробированных пользователями с ОИВ, для разработки новых МП может повысить качество таких МП и уверенность разработчиков МП в их доступности пользователям с ОИВ. Для учёта особенностей пользователей с ОИВ может потребоваться разработка специальных функций, не зависящих от назначения разрабатываемого МП [14, 15]. Повторное использование кода таких функций позволит упростить процесс и уменьшить время разработки МП.

В зависимости от характера и проявления интеллектуальных ограничений потенциальные пользователи МП с ОИВ могут встречаться с различными трудностями (например, невозможность прочитать текст на экране МП, понять назначение элементов управления и других объектов интерфейса, выбирать и перемещать объекты МП, управлять МП и т.д.). Поэтому функционал МП должен включать опции настройки экранов для каждого конечного пользователя без потери полноценного доступа к нему. Не все пользователи с ОИВ могут настроить интерфейс приложения самостоятельно, но такую настройку могут осуществить опекающие их люди.

2 Разработка МП с адаптируемым интерфейсом

2.1 Модульная разработка МП

При создании МП применяют технологии модуляризации, разработанные различными компаниями (Лаборатория Касперского ⁷, SurfStudio⁸ и др.). Анализ применимости методов повторного использования кода при разработке МП для людей с ОИВ проведён по следующим критериям: процесс переноса модуля в другое приложение должен быть понятным разработчику, не обладающему большим опытом; архитектура модулей должна содержать минимальное количество слоёв; способ хранения модулей должен позволять хранить все версии релизов модулей, а также историю их изменения; технология должна описывать архитектуру МП в шаблонах для генерации базового кода. Проведённый анализ показал, что наиболее подходящей является технология, разработанная компанией SurfStudio.

Разработана многомодульная архитектура МП как модификация архитектуры SurfStudio: слойное деление на модули заменено на деление по слоям внутри модуля, что позволило сократить количество модулей, но оставить слойное деление. Модифицированная таким образом архитектура разделяет приложение на три уровня модулей: модуль приложения, функциональные модули, библиотечные модули.

Модуль приложения связывает вместе функциональные модули. Функциональные модули соответствуют полноэкранным, согласованным функциональным возможностям пользователя в приложении. Модуль приложения имеет внутреннюю архитектуру, которая состоит из трёх слоев. В первом слое располагаются источники данных и запросы к ним, например, запросы к API или базе данных (БД). Во втором слое содержится бизнес логика приложения. В третьем слое располагаются компоненты, необходимые для визуализации интерфейса.

В библиотечных модулях функциональность разделена между несколькими модулями. Библиотеки могут зависеть друг от друга, они предоставляют общий функционал, который повторно используется в нескольких функциях.

Модульная разработка МП для пользователей с ОИВ включает этапы: выбор примера с шаблонами генерации базовых классов для экрана; разработка архитектуры МП на основе выбранного шаблона; поиск готовых модулей в хранилище; подключение готовых модулей в МП; выбор модулей для выгрузки в репозиторий.

Разработка МП для пользователей с ОИВ на основе модуляризации позволяет разработчикам использовать готовые решения, применяемые в предыдущих проектах, и добавлять новые решения как модули для повторного использования.

2.2 Разработка адаптируемого интерфейса МП

Разработка адаптируемого интерфейса МП для людей с ОИВ основана на концепции шаблонных интерфейсов [16]. Процесс проектирования интерфейса включает разработку шаблонов всех экранов МП, на которых размещаются все элементы интерфейса, требуемые для доступа к функционалу МП, и разделение элементов шаблонов на обязательные и опциональные элементы. Обязательными являются элементы, которые необходимы для работы отдельно взятого приложения и должны включаться в интерфейс каждого пользователя МП. Опциональные элементы могут включаться в интерфейс в зависимости от возможностей и ограничений пользователя. Каждому элементу управления интерфейса сопоставляется область на экране, в которой этот элемент может быть размещен. При настройке интерфейса МП для каждого пользователя имеется возможность выбрать изображения всех элементов интерфейса из БД или отключить элемент интерфейса, если он относится к категории необязательных. Такую настройку интерфейса МП может осуществлять конечный пользователь с ОИВ либо пользователь, знающий возможности и ограничения своего подопечного.

Процесс конфигурирования шаблонов экранов МП включает выбор элементов интерфейса и их изображений на экране МП (пиктограммы и/или другие графические иллюстрации). Для конфигурирования интерфейса на этапе эксплуатации без изменения программного кода разработан метод конфигурирования интерфейса с помощью конфигурационной панели (КП), которая разрабатывается на этапе реализации МП и встраивается в систему управления для каждого МП.

КП включает область настроек, которая содержит виджеты (графическое приложение, которое выводит информацию на экран смартфона и др.) для настройки элементов интерфейса, конфигурируемого МП, и область, в которой отображается текущая страница интерфейса МП. Разработана модель интерфейса МП, представленная JSON^⁹-объектом, полями которого являются страницы интерфейса МП. Поле содержит информацию о параметрах конфигурации элемента: обязательность/необязательность, размер и цвет элемента, принадлежность к разряду общих элементов. Под общими элементами в модели представления понимаются элементы, которые содержатся более чем на одной странице. Общие элементы необходимы для возможности настройки элемента интерфейса на всех страницах, на которых он представлен. Имеется возможность настраивать повторяющиеся элементы без привязки к общим, настраивая элемент на каждой странице, где он представлен. Поле, описывающее общие элементы, содержится в корне модели представления, как и страницы МП.

В случае, если описание составлено не в соответствии с требованиями, в процессе генерации интерфейса МП пользователю будет выведено сообщение, объясняющее, в чём заключается ошибка в его описании с целью помочь пользователю в редактировании описания.

Процесс генерации интерфейсов МП включает следующие действия: добавление приложения в систему (выполняется разработчиком МП) с названием и описанием приложения, а также файлом, описывающим интерфейс; описание интерфейса (должно выполняться с применением расширения языка JavaScript); редактирование загруженного приложения; просмотр списка приложений в системе; удаление приложения.

Разработка адаптируемого интерфейса включает: обработку файла описания интерфейса МП; рендеринг (визуализацию) блока представления интерфейса МП.

3 Веб-система разработки МП для пользователей с ОИВ

Для разработки МП для пользователей с ОИВ предложена веб-система, обеспечивающая поддержку всех этапов ЖЦ МП [17]. Её архитектура включает подсистемы управления МП на этапах разработки и эксплуатации, API для МП, БД для хранения модулей, данных пользователей, интерфейсов и т.д. Основной функционал MDM подсистемы включает просмотр хранилища модулей, выбор и подключение одиночного модуля в проект разрабатываемого МП, добавление файла описания шаблонов страниц МП, генерацию и редактирование КП для МП. После тестирования разработанного МП модули, определённые разработчиком как применимые для повторного использования, могут добавляться в хранилище модулей.

Результатом работы с подсистемой является МП с шаблонным интерфейсом с элементами, заданными по умолчанию, пригодное для использования в случае, если интерфейс удовлетворяет возможностям конечного пользователя. Если необходима адаптация интерфейса под конечного пользователя, то подсистема предоставляет возможности для конфигурирования интерфейсов экранов МП с помощью КП, сгенерированной для этого МП. Архитектура системы в нотации ArchiMate приведена на рисунке 1.

Рисунок 1 - Архитектура системы

Подсистема работы с модулями МП поддерживает разработку МП на основе многомодульной архитектуры с возможностью выбора готовых функциональных решений из хранилища модулей. Для генерации базового кода функционального модуля используются шаблоны. Шаблонизатором является FreeMarker^¹⁰, который подходит для написания сложных шаблонов.

Разработан способ хранения функциональных модулей. Модули имеют структурированное описание в файле README.md. Структура описания модуля включает компоненты: назначение модуля, тип модуля, код для подключения, документация для работы с модулем.

Подсистема загрузки файла интерфейса МП реализует функции генерации КП. Алгоритм генерации КП показан на рисунке 2.

Рисунок 2 – Алгоритм генерации конфигурационной панели

Логическая схема работы системы на этапах ЖЦ МП показана на рисунке 3.

Рисунок 3 – Логическая схема работы системы на этапах жизненного цикла мобильного приложения

4 Апробация веб-системы разработки МП для пользователей с ОИВ

Разработанная система протестирована на нескольких МП с адаптируемым интерфейсом, предназначенных для разных категорий пользователей с ОИВ. В тестировании принимали участие разработчики МП, потенциальные пользователи веб-системы и пользователи МП (люди с ОИВ). Тестирование системы включало: процесс разработки МП с применением системы; настройку МП под пользователей с ОИВ в системе и работу с разработанными МП этих пользователей с ОИВ. В качестве критериев оценки выбраны трудоёмкость разработки МП и доступность МП для пользователей с ОИВ. Доступность МП оценивалась экспертным путем: сотрудники, работающие с людьми с ОИВ, наблюдали за работой и делали выводы о том, насколько успешно пользователи справлялись с работой.

В рамках апробации были разработаны несколько МП для пользователей с ОИВ:

мобильная игра для развития навыков распознавания и различения предметов, окружающих человека в повседневной жизни (для пользователей с тяжёлыми множественными нарушениями развития);
комплекс МП «e-Board» для информирования клиентов медицинских и реабилитационных центров для людей с ОИВ;
МП «AIT Test» для выявления предпочтений пользователей с ОИВ, проявивших интерес к трудовой деятельности, и выбора для них подходящих рабочих мест;
мобильная игра «Money Game» для тренировки навыков совершения покупок.

Для оценки временных затрат на разработку МП был проведён анализ фактической трудоёмкости разработки МП (T_ф) с применением системы в сравнении с трудоёмкостью разработки таких же МП с применением стандартных средств разработки (T_с), определённых экспертом. Пример оценки трудоёмкости разработки МП «AIT Test», приведён в таблице 1.

Таблица 1 – Анализ временных затрат на разработку МП «AIT Test»

Функционал	Трудоёмкость разработки, час.
Функционал	T_ф	T_с
Разработка архитектуры	0 (использован шаблон многомодульной архитектуры)	8
Разработка экрана авторизации	0 (выбран готовый модель их хранилища модулей)	16
Разработка экрана тестирования	12 (повторно использован код взаимодействия с API сервера)	16
Разработка экрана успешного окончания тестирования	7.45 (использован шаблон для генерации базовых классов для реализации экрана)	8
Разработка КП	4	0
Тестирование	6	2
Итого	29.45	50

Результаты оценки трудоёмкости всех разработанных МП показали, что применение веб-системы позволяет сократить временные затраты на разработку МП в среднем в два раза.

Тестирование разработанных МП проводилось в сотрудничестве с коллективами Волгоградского психоневрологического интерната^¹¹ и медицинского центра MPI Oosterlo^¹², специализирующимся на работе с людьми с ОИВ. В тестировании участвовали сотрудники, как пользователи веб-системы, и пациенты с ОИВ, как пользователи МП. Сотрудники тестировали функции веб-системы, настраивали интерфейсы для пользователей МП и помогали пользователям работать с МП. Сотрудники отметили, что пациенты с большим интересом участвовали в тестировании, практически все они смогли управлять МП без помощи (или с минимальной помощью) сотрудников. Успешная работа пользователей с ОИВ с МП показала, что настройка интерфейса МП для каждого пользователя сотрудниками, которые хорошо знают своих подопечных, обеспечила доступность МП для пользователей с разными возможностями и ограничениями.

Результаты тестирования показали, что применение веб-системы позволяет разрабатывать МП, помогающие людям с ОИВ развивать различные навыки повседневной жизни и социализироваться в современном обществе.

5 Онтологическое представление процесса разработки МП для пользователя с ОИВ

Категоризация МП для пользователей с ОИВ позволяет объединить знания о таких МП, как об объектах разработки, и описать их как самостоятельную область знаний. В качестве формальной модели представления знаний выбрана онтологическая модель. Использование этой модели позволяет извлекать знания о различных аспектах процесса разработки МП для пользователей с ОИВ, технологиях и средствах разработки и применять их для создания МП, доступных людям с различными интеллектуальными возможностями и ограничениями. Онтология процесса разработки МП для пользователей с ОИВ представлена на рисунке 4.

Рисунок 4 – Онтологическая модель процесса разработки мобильных приложений для пользователей с ограниченными интеллектуальными возможностями

Заключение

В работе описан подход к разработке МП для пользователей с ОИВ, включающий набор моделей, методов и технологий и обеспечивающий поддержку всех этапов ЖЦ МП. Новизна подхода заключается в применении шаблонной многомодульной архитектуры с возможностью выбора готовых функциональных решений из хранилища модулей и КП, позволяющих адаптировать интерфейс разработанных МП для конечного пользователя без изменения программного кода. Описаны веб-система для автоматизированной разработки МП для пользователей с ОИВ и приведены примеры разработанных МП с адаптируемым интерфейсом. Описание проектных и технологических решений, разработанных в рамках предложенного подхода, представлено в виде онтологической модели.

¹ World Health Organization. https://www.who.int/.

² ICD. https://icd.who.int/.

³ Инвалидность и дискриминация. https://www.coe.int/ru/web/compass/disability-and-disablism.

⁴ Apache Cordova. https://cordova.apache.org/

⁵Mobile application management (MAM). https://www.techtarget.com/searchmobilecomputing/resources/Mobile-management.

⁶How to Select a Mobile Application Development Platform (MADP)? https://www.credencys.com/blog/how-to-select-a-mobile-application-development-platform-madp/.

⁷ Kaspersky. https://www.kaspersky.ru/.

⁸ Принципы построения многомодульных мобильных приложений SurfStudio. https://github.com/surfstudio/SurfAndroidStandard/blob/snapshot- 0.4.0/docs/common/multimodule/detail.md.

⁹ JSON (англ. JavaScript Object Notation) — текстовый формат обмена данными, основанный на JavaScript.

¹⁰ What is Apache FreeMarker™? https://freemarker.apache.org/.

¹¹ ГБССУ СО ГПВИ "Волгоградский психоневрологический интернат" https://442fz.volganet.ru/025001/.

¹² MPI Oosterlo https://www.mpi-oosterlo.be/