Федеративное обучение для IoT и AIoT: применения, проблемы и перспективы

Полный текст

Введение

Стремительное развитие устройств Интернета вещей (Internet of things, IoT) приводит к росту объема данных, генерируемых такими устройствами. Они все больше и больше используются в домах людей, на производствах, в здравоохранении, собирая личную или чувствительную информацию о пользователях, такую как их местоположение, поведение, предпочтения, здоровье. Также классические облачные методы сбора и хранения информации становятся неэффективными из-за чрезвычайно высоких затрат на связь и расходов на хранение данных, собранных с миллионов или миллиардов устройств IoT.

Федеративное обучение позволяет обучать модели на данных, распределенных по разным устройствам, не требуя передачи этих данных на центральный сервер. Это может помочь в решении проблем конфиденциальности и безопасности, связанных с технологией IoT, так как данные остаются на устройствах пользователей и не раскрываются третьим сторонам. Такой подход не требует централизации данных, что может значительно сократить расходы на сбор и хранение информации.

1. Определение и характеристики AIoT, IoT и федеративного обучения

IoT – это сеть физических объектов, которые имеют встроенные датчики, контроллеры, актуаторы и средства связи, позволяющие им обмениваться данными и взаимодействовать друг с другом и с другими системами через интернет [1]. IoT позволяет расширить возможности компьютерных сетей за пределы традиционных устройств, таких как компьютеры, смартфоны и планшеты, и включить в них различные бытовые, промышленные и общественные объекты – лампочки, холодильники, машины, домофоны, датчики и т.д. IoT позволяет собирать большие объемы данных о состоянии и поведении объектов и окружающей среды, а также управлять ими удаленно и автоматически. В основе IoT лежит ряд ключевых концепций и технологий, включая идентификацию объектов (вещей) (например, IPv6), получение информации (например, RFID, датчики, GPS и т. д.), коммуникационные технологии для обмена данными и технологии сетевой интеграции [2].

Важно отметить, что устаревшие вычислительные и телекоммуникационные архитектуры не были разработаны с учетом особенностей IoT. Масштабы гетерогенных устройств, беспрецедентный объем, разнообразие и скорость данных в сочетании с чрезвычайной вариативностью контекста использования требуют новых парадигм в вычислениях [2].

В качестве такой парадигмы приходят искусственный интеллект (ИИ) и федеративное обучение.

Федеративное обучение (Federation Learning, FL) – это техника машинного обучения, которая позволяет обучать модели AI на децентрализованных данных, без необходимости централизовать или передавать эти данные. Это означает, что устройства, которые генерируют и хранят данные, могут обучать локальные модели AI на своих данных, а затем обмениваться только параметрами или обновлениями моделей с центральным сервером или другими устройствами. Таким образом, создается общая глобальная модель AI, которая учитывает данные и знания всех участников [3].

Федеративное обучение обучает центральную модель с помощью децентрализованных данных без ущерба для конфиденциальности пользователей, благодаря этому она широко используется в устройствах IoT.

Результатом интеграции ИИ, в том числе федеративного обучения, с устройствами интернета вещей является AIoT (Artificial Intelligence of Things), что означает Искусственный Интеллект Вещей.

2. Обзор существующих подходов и методов реализации федеративного обучения для AIoT устройств

Существуют различные подходы и методы FL для AIoT или IoT устройств, которые далее будут классифицированы по типу архитектуры федеративного обучения, используемой для организации взаимодействия между участниками обучения.

2.1. Централизованная архитектура

Это архитектура, при которой существует один сервер, который координирует обучение и агрегацию моделей от устройств. Это наиболее простой и распространенный подход к FL, который использует алгоритм FedAvg или его вариации [4]. В этой архитектуре сервер инициирует обучение, выбирая случайное подмножество устройств, которые имеют достаточно данных и заряда батареи. Затем сервер отправляет им текущую глобальную модель и просит их обучить локальную модель на своих данных [5]. После этого устройства отправляют свои обновления моделей на сервер, который вычисляет среднее взвешенное этих обновлений и формирует новую глобальную модель. Этот процесс повторяется до достижения желаемого уровня точности или сходимости [6]. На рисунке 1 представлена данная архитектура.

 

Рис. 1. Централизованная архитектура

Fig. 1. Centralized architecture

 

В статье [7] продемонстрирован подход, который использует Knowledge Distillation (KD). В этом подходе устройства обучают локальные модели на своих данных и отправляют на сервер не только градиенты моделей, но и мягкие цели (soft targets), которые представляют собой вероятности предсказаний для каждого класса. Сервер агрегирует градиенты и мягкие цели от устройств и формирует глобальную модель, которая затем распространяется на устройства для следующего раунда локального обучения. Во время локального обучения устройства используют как мягкие цели, так и жесткие метки (hard labels), которые представляют собой фактические классы для каждого образца, чтобы аппроксимировать предсказания модели. Это позволяет улучшить точность модели, используя дополнительную информацию от мягких целей. Авторы статьи также предлагают динамическую стратегию настройки весов функции потерь, которая позволяет оптимально согласовать мягкие цели и жесткие метки. Такой подход имеет ряд недостатков. Для передачи мягких целей, которые могут быть большими по размеру, требуется дополнительная коммуникация между устройствами и сервером, что может увеличить издержки на коммуникацию и потребление энергии, а также повысить риск утечки данных. Подход зависит от выбора весов функции потерь, которые определяют баланс между мягкими целями и жесткими метками. Это может быть сложной и эмпирической задачей, которая требует динамической настройки в зависимости от данных, моделей и сценариев применения.

В целом централизованная архитектура проста в реализации и координации, так как сервер контролирует все этапы обучения и агрегации моделей. Также такая архитектура показывает высокую точность и сходимость за счет центрального сервера, который может использовать все данные от устройств и оптимизировать глобальную модель. Но также центральный сервер несет в себе ряд проблем. Например, низкая масштабируемость и отказоустойчивость, так как сервер является узким местом и единой точкой отказа, которая может ограничивать производительность и надежность системы при увеличении числа устройств или данных [6]. Также сервер должен часто обмениваться большими объемами информации с устройствами, что может приводить к большим задержкам, потерям или перегрузкам сети [8].

2.2. Децентрализованная архитектура

При такой архитектуре нет центрального сервера, а устройства обмениваются информацией между собой через протоколы консенсуса, такие как блокчейн. Это более сложный и инновационный подход к FL, который использует алгоритмы, такие как FedCoin [9] или FedBC [10]. В этой архитектуре устройства самоорганизуются в децентрализованную сеть, в которой каждое устройство может выступать в роли клиента или сервера в зависимости от своего состояния и ресурсов. Устройства обучают локальные модели на своих данных и обмениваются обновлениями моделей с другими устройствами через блокчейн, который обеспечивает безопасность, прозрачность и неизменность транзакций [11]. Блокчейн также служит механизмом стимулирования устройств для участия в обучении и агрегации моделей [11]. Рисунок 2 демонстрирует данную архитектуру.

Помимо блокчейна, могут использоваться и другие методы реализации децентрализованной архитектуры. Например, авторы статьи [8] описывают подход, который использует беспроводную сеть типа mesh в качестве коммуникационной основы. В этом подходе устройства обучают локальные модели на своих данных и обмениваются обновлениями моделей с другими устройствами через протокол slotted ALOHA, который позволяет случайный доступ к каналу. Для минимизации размера модели на краю сети и снижения нагрузки на коммуникацию используется передовая техника сжатия, основанная на генетических алгоритмах. Результаты симуляции показывают, что сжатая децентрализованная архитектура достигает производительности, сравнимой с базовой централизованной архитектурой и традиционным федеративным обучением с точки зрения точности и средней потери для задачи классификации. Такой подход требует высокой плотности и надежности устройств в сети, чтобы обеспечить достаточную связность и пропускную способность для обмена обновлениями моделей, что является недостатком.

 

Рис. 2. Децентрализованная архитектура

Fig. 2. Decentralized architecture

 

Децентрализованная архитектура имеет высокую масштабируемость и отказоустойчивость, так как система не зависит от центрального сервера или облака, а может адаптироваться к динамическим изменениям в сети и устройствах. Задержки, потери и перегрузки сети снижены за счет того, что устройства обмениваются маленькими объемами информации с другими устройствами, а не с сервером [11]. Такая архитектура обеспечивает высокую гибкость и адаптивность, так как устройства могут использовать разные модели и алгоритмы для разных данных, вычислительных ресурсов или сценариев применения.

Такие системы требуют сложных алгоритмов и протоколов для обеспечения консенсуса, безопасности и стимулирования в децентрализованной сети [11], соответственно, сложны в реализации. Также система может страдать от проблем, таких как несбалансированность данных, несогласованность моделей, асинхронность обновлений или злонамеренные атаки, которые могут искажать или подрывать обучение, что снижает точность и сходимость. В случае реализации децентрализованной архитектуры с помощью технологии блокчейн, AIoT устройства должны выполнять дополнительные задачи, такие как шифрование, подпись, верификация или майнинг, что повышает потребность в вычислительных ресурсах.

2.3. Гибридная архитектура

Cочетает в себе элементы централизованной и децентрализованной архитектур, чтобы получить преимущества обоих подходов. В этой архитектуре устройства организуются в кластеры или подсети, в которых есть локальные серверы, которые координируют обучение и агрегацию моделей внутри кластера. Затем локальные серверы обмениваются информацией с глобальным сервером или другими локальными серверами через блокчейн или другие протоколы консенсуса, чтобы сформировать общую модель для всей системы. Пример такой архитектуры приведен на рисунке 3.

 

Рис. 3. Гибридная архитектура

Fig. 3. Hybrid architecture

 

Например, в данной статье [12] авторы демонстрируют гибридную блокчейн-архитектуру Hybrid-IoT. В Hybrid-IoT подгруппы IoT устройств становятся пирами на субблокчейнах PoW (Proof of Work) [13], соединенных межсетевой структурой BFT (Byzantine Fault Tolerant) с помощью фреймворка Polkadot или Cosmos. Она отлично демонстрирует эффективность гибридной архитектуры, которая может решить проблемы, связанные с конфиденциальностью, эффективностью и стимулированием данных, а также повышать масштабируемость, отказоустойчивость, гибкость и адаптивность системы. PoW, несмотря на высокую степень безопасности, также требует больших ресурсов и является менее энергоэффективным по сравнению с PoS (Proof of State) [14] и PoA (Proof of Authority) [14].

Также отличным примером реализации гибридной архитектуры является Decentralized Hierarchical Asynchronous Federated Learning (DHA-FL) [15]. DHA-FL использует иерархическую децентрализованную асинхронную архитектуру и обучает модели на краю сети, затем синхронизирует их с локальными или глобальными серверами без необходимости частой или большой коммуникации. Локальные серверы или серверы края в свою очередь асинхронно синхронизируют и агрегируют свои модели с другими локальными серверами, чтобы предотвратить отказы отдельных узлов и снизить влияние медленных устройств или отставших участников, что повышает устойчивость системы. DHA-FL также учитывает различия между устройствами в данных, ресурсах и сценариях применения и адаптирует модели и алгоритмы соответственно. Данный подход демонстрирует высокую скорость сходимости и точности. В свою очередь DHA-FL требует сложной координации между серверами на краю сети и устройствами AIoT, что может приводить к ошибкам синхронизации, потере данных или конфликтам версий моделей.

В свою очередь реализация гибридной архитектуры может столкнуться со сложностью координации и синхронизации между разными типами участников FL, которые могут иметь различные архитектуры моделей, протоколы коммуникации, частоты обновления и требования к конфиденциальности.

Заключение

Федеративное обучение для AIoT имеет большой потенциал для развития и применения в различных областях, таких как здравоохранение, транспорт, смарт-город, промышленность. Также данная технология может быть интегрирована с технологиями будущего для решения проблем таких технологий. Например, активно растущие 5G сети, которые представляют собой высокоскоростную связь с низкой задержкой для большого количества устройств, которые могут быть подвержены атакам или утечкам данных. AIoT устройства с технологией федеративного обучения способны решить эту проблему. Или новая и активно развивающаяся область метавселенных, которая гипотетически является следующим поколением сети Интернет, обеспечивающая полное подключение, погружение и вовлечение в онлайн с помощью устройств виртуальной и дополненной реальности. Связь между виртуальным и физическим миром обеспечивается данными, собранными с устройств IoT. Федеративное обучение – это перспективное решение для обеспечения взаимодействия между границами и сервером для повышения глобальной производительности, а также для повышения безопасности и конфиденциальности метавселенной [16].

Об авторах

Хазрат-Али Муратович Елеев

Кабардино-Балкарский научный центр Российской академии наук

Автор, ответственный за переписку.
Email: khazratalieleev@gmail.com
ORCID iD: 0009-0009-1536-7917

Научно-образовательный центр, аспирант

Россия, 360010, г. Нальчик, ул. Балкарова, 2

Список литературы

Дополнительные файлы