ВВЕДЕНИЕ
Мультиагентные системы, состоящие из агентов со своим входом, выходом и регулятором, находят широкое применение в роевой робототехнике, управлении электроэнергией, а также в описании транспортных систем [1]. Особый интерес представляют системы, в которых все агенты стандартизированы. Такие системы легко масштабировать, они демонстрируют высокую устойчивость к отказам отдельных агентов, при этом остаются экономически выгодными [2].
В контексте нашего исследования будем рассматривать агенты как линейные однородные SISO (Single-Input Single-Output) объекты, подвергаемые ограниченным возмущениям и обладающие информацией только об относительном выходе. Например, если динамика агентов описывается координатой и скоростью, то агенту известно только расстояние до соседей, в то время как относительная скорость остаётся неизвестной.
Основная задача исследования децентрализованный консенсус, или синхронизация состояний между агентами, полагаясь только на информацию от непосредственных соседей [35].
Многие существующие протоколы [6] для достижения консенсуса требуют обмена дополнительной информацией между агентами. Но его, как было показано в статье [7], можно достичь и без коммуникации между агентами. Однако численное моделирование, выполненное нами, показывает, что этот подход уступает в точности при наличии внешних возмущений.
В работе [8] был предложен нелинейный наблюдатель для линейных систем, дающий асимптотически точную оценку. Возникает вопрос, возможно ли адаптировать этот наблюдатель для использования в протоколе [7], чтобы улучшить его точность? Хотя подобный подход уже был рассмотрен для агентов второго порядка [9], наша цель обобщить его для агентов любого порядка.
1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ
Задача консенсуса состоит в синхронизации состояния агентов. Под агентами понимаются объекты одинаковой природы. В нашей работе агенты линейные стационарные динамические системы. Уравнения агента имеют вид
(1)
где вектор состояния -го агента; номер агента; число агентов; управление; измеряемый выход, равный среднему отклонению от соседей; множество соседей агента (если множество соседей пусто, то считаем, что ); одинаковые для всех агентов матрицы. Считаем, что множество соседей не изменяется с течением времени. В классической задаче консенсуса требуется в асимптотике достигнуть равенства состояния агентов:
Мультиагентую систему можно описать в виде графа , вершинами которого являются агенты. Направленные ребра означают, что один агент получает информацию о другом, например, агенту из (1) соответствуют ребра .
Другим представлением информации о связях между агентами является матрица Лапласа матрица размера с элементами
Мы рассматриваем не меняющуюся во времени топологию агентов. Задачу консенсуса для всей системы имеет смысл рассматривать, когда в графе существует остовное направленное дерево (для ненаправленного графа это требование означает, что граф является связным). В этом случае матрица Лапласа имеет ровно одно собственное значение, равное нулю, а у остальных собственных значений положительная вещественная часть.
1.1. Протокол с коммуникацией
В работе [6] был предложен следующий распределённый протокол управления:
(2)
где , состояние регулятора. Расчёт зависит от , что требует передачи информации между агентами. В протоколе (2) и это матрицы коэффициентов регулятора, одинаковые для всех агентов.
1.2. Протокол без коммуникации
В статье [7] был предложен протокол, в котором коммуникация не требуется, т.е. не требуется передача информации о внутреннем состоянии регулятора, как предусмотрено в протоколе (2). Но агентам доступна информация об относительном положении, которая содержится в :
(3)
где состояние регулятора, и матрицы коэффициентов обратной связи. Заметим, что во втором уравнении (3), т.е. законе управления для -го агента, содержатся переменные только с индексом . Это означает, что агент не использует информацию от других агентов, поэтому коммуникация не требуется.
Теорема 1 [7]. Пусть граф содержит остовное направленное дерево. Протокол (3) решает задачу консенсуса тогда и только тогда, когда каждая из матриц
(4)
гурвицева, где , , ненулевые собственные значения матрицы Лапласа, соответствущей графу .
1.3. Каскадный наблюдатель
Рассмотрим систему
(5)
где гурвицева матрица, тройка в общем положении, т.е. управляемая и наблюдаемая; ограниченная помеха. Пусть тройка определяет систему с устойчивой нулевой динамикой. Это означает устойчивость инвариантных нулей системы, которые определяются как значения , при которых понижается ранг матрицы Розенброка
В работе [8] был предложен алгоритм построения каскадного наблюдателя на основе супер-скручивающего наблюдателя [10]. В [11] выведены необходимые и достаточные условия сходимости супер-скручивающего наблюдателя.
Теорема 2 [8]. Пусть устойчивая матрица, SISO система c устойчивой нулевой динамикой, управляемая и наблюдаемая, ограниченная неизвестная помеха. Тогда можно построить каскадный наблюдатель, чтобы ошибка оценки вектора стремилась к нулю.
Для решения задачи оценивания фазового вектора система (5) приводится к нормальной форме, для которой часть подсистемы, соответствующая нулевой динамике, устойчива и может быть оценена экспоненциально точно, а оставшаяся часть порядка ( относительный порядок системы) имеет каноническую форму
(6)
для которой строится каскадный наблюдатель
(7)
где оценка сигнала , построенная на предыдущем шаге каскада; оценка сигнала , вырабатываемая наблюдателем (7) на текущем шаге каскада. В качестве оценки используется выход системы (6).
Алгоритм поиска коэффициентов описан в работе [8].
2. СРАВНЕНИЕ ПРОТОКОЛОВ
Покажем, что протокол без коммуникации проигрывает в точности, когда на систему действуют ограниченные возмущения. Для этого рассмотрим задачу консенсуса (1), когда на агенты действуют два вида помехи в управлении и в измерении:
где неизвестные кусочно-непрерывные функции с известными мажорантами, одинаковыми для всех агентов.
Векторы описывают локальную ошибку консенсуса. Будем обозначать через конкатенацию :
Рассмотрим две нормы , которые отражают зависимость ошибки консенсуса от возмущений : чем больше норма, тем хуже управление подавляет помеху. Для расчёта норм используют нулевые начальные условия для всех агентов:
(8)
Сравним, насколько хорошо оба протокола могут подавлять помехи . Для анализа будем использовать следующий численный эксперимент.
1. Зафиксируем число агентов, связи между ними и уравнение динамики.
2. Сгенерируем 50 000 разных пар матриц , удовлетворяющих теореме .
3. Для каждой пары посчитаем нормы (8) для двух протоколов.
4. Для каждого протокола выберем множество оптимальных по Парето пар . Пара оптимальна по Парето, если не существует другой пары, для которой значение обеих норм было бы меньше.
5. Сравним полученные оптимальные пары двух протоколов.
Далее опишем один набор параметров эксперимента, так как при других параметрах результаты качественно не отличались. Для эксперимента выберем систему из пяти агентов третьего порядка. Граф коммуникации агентов представлен на рис. 1. Мы выбрали матрицы , , минимального порядка, для которых имеет смысл рассматривать каскадный наблюдатель:
Рис. 1. Граф коммуникации.
Далее мы сгенерировали 50 000 разных пар матриц , посчитали нормы (8), используя пакет ControlSystems.jl [12], затем выбрали множество оптимальных по Парето пар для каждого протокола. Каждой паре соответствует пара норм . Оптимальные пары показаны на рис. 1. Сравнив оптимальные пары для двух протоколов, получили ожидаемый результат: протокол без коммуникации менее устойчив к возмущениям, чем протокол с коммуникацией.
Рис. 2. Сравнение протоколов (линии соединяют точки, соответствующие оптимальным по Парето парам . Видно, что для каждой пары протокола без коммуникации (1) существует пара протокола с коммуникацией (2), которая лучше подавляет обе помехи.
Так как эксперимент численный, то нельзя с уверенностью утверждать, что протокол с коммуникацией всегда будет лучше. Однако результаты показывают, что такие системы существуют, следовательно, для них требуется улучшить протокол без коммуникации. Мы предлагаем сделать это путём добавления нелинейного наблюдателя, основанного на каскадном супер-скручивающемся наблюдателе.
3. ПЕРЕХОД К ЗАДАЧЕ НАБЛЮДЕНИЯ
В п. 2 было показано, что протокол без коммуникации менее устойчив к возмущениям, чем протокол с коммуникацией. Ниже покажем, как неизвестное управление влияет на ошибку наблюдателя и как можно построить нелинейный наблюдатель, который даст асимптотически точную оценку.
Рассмотрим ошибку наблюдателя, возникающую из-за помехи для протокола (3). Протокол (3) с добавлением помехи примет вид
Будем считать оценкой для :
Рассмотрим ошибку оценки :
(9)
Выделим два типа возмущений: внешнее возмущение и неизвестное управление соседей :
(10)
Обозначим суммарное возмущение как . Заметим, что мы знаем . Таким образом, требуется рассмотреть асимптотические свойства следующей системы обыкновенных дифференциальных уравнений:
(11)
3.1. Локальный каскадный наблюдатель
Система (11) повторяет структуру системы (5) из теоремы о каскадном наблюдателе. Предположим, что выполняются другие условия теоремы, в частности устойчивость нулевой динамики и ограниченность входа . Тогда можно построить каскадный наблюдатель типа (7), позволяющий получить асимптотически точную оценку . Обозначим эту оценку как , а систему каскадных наблюдателей через оператор . Тогда будет результатом применения оператора к известному входу :
где , векторы коэффициентов каскадного наблюдателя, одинаковые для всех агентов. Оператор состоит из систем (7) второго порядка, а также (если относительный порядок системы ) из наблюдателя для нулевой динамики порядка .
3.2. Теорема о достаточных условиях
Рассмотрим семейство систем достижения консенсуса с протоколом, при котором агенты не обмениваются информацией. Докажем теорему о достаточных условиях, когда можно построить локальный каскадный наблюдатель , чтобы оценить разницу между линейным наблюдателем и средним отклонением от соседей :
(12)
Теорема 3. Пусть для системы (12) выполнены предположения:
1) для матриц , выполнено условие (4);
2) ограниченные помехи с общей для всех агентов мажорантой;
3) матрица гурвицева;
4) матрица гурвицева;
5) система обладает устойчивой нулевой динамикой.
Тогда существуют коэффициенты , , одинаковые для всех агентов, такие, что каскадный наблюдатель даёт асимптотически точную оценку .
Доказательство. Согласно классическому подходу к изучению устойчивости консенсуса необходимо выделить подсистему, отвечающую за ошибку консенсуса. Пусть левый собственный вектор матрицы Лапласа и , где и состоит из единиц. Пусть матрица полного ранга, ортогональная к . Тогда матрица , составленная из , , является невырожденной. Можно показать, что обратная матрица будет состоять из , , т.е.
Более того, известно, что можно выбрать матрицу так, чтобы матрица имела жорданову форму:
Известно, что консенсус в системе достигается тогда и только тогда, когда
где описывает ошибку консенсуса, т.е. любой вектор можно выразить через ; с другой стороны, можно выразить через . Поэтому нам достаточно рассмотреть динамику .
Пусть , , конкатенация , , . Перепишем систему (12) для , , и матрицы Лапласа :
Согласно [7] после ряда вычислений получим, что динамика , замкнута относительно себя:
Если выполняются условия (4), то матрица гурвицева. По условию теоремы ограничены общей мажорантой. Это означает, что , ограничены в установившемся режиме.
Ошибка линейного наблюдателя (??) зависит от . Покажем, что вектор тоже ограничен:
(13)
Домножим на и воспользуемся тем, что :
Используем полученное выражение для анализа :
Тогда (13) преобразуется в равенство
(14)
Это означает, что зависит не от всего вектора , а только от ошибки консенсуса . А мы показали выше, что в установившемся режиме ошибка консенсуса ограничена. Матрица гурвицева по условию теоремы, поэтому согласно (14) вектор тоже ограничен в установившемся режиме.
Вернёмся к ошибке линейного наблюдателя (10):
Мы уже показали, что ограничены в установившемся режиме, ограничены по условию теоремы, поэтому , также ограничены, а значит, ограничена и помеха в системе
По условию теоремы матрица гурвицева, а система обладает устойчивой нулевой динамикой. Мы доказали, что, начиная с некоторого момента времени, ограничена известной мажорантой, поэтому справедлива теорема о супер-скручивающем наблюдателе. Значит, существуют параметры , , при которых каскадный наблюдатель даёт асимптотически точную оценку .
Если выбрать как максимальную мажоранту для : , то существуют параметры , , соответствующие и одинаковые для всех агентов, при которых даёт асимптотически точную оценку . Теорема доказана.
4. ИСПОЛЬЗОВАНИЕ НОВОЙ ОЦЕНКИ В УПРАВЛЕНИИ
Мы определили, при каких условиях можно построить наблюдатель, дающий асимптотически точную оценку. Обычно при построении наблюдателя стараются компенсировать управление, чтобы оно не влияло на оценку. Это невозможно, когда агент не знает управление соседей, поэтому использование оценки в управлении влияет на наблюдатель: управление становится новой помехой в наблюдателе. Далее покажем, когда можно использовать полученную оценку в управлении.
Рассмотрим систему (12), добавив новое управление , которое учитывает новую оценку:
(15)
Следствие. Пусть для системы (15) выполняются условия теоремы . Пусть дополнительно функция ограничена известной мажорантой. Тогда существуют коэффициенты , , одинаковые для всех агентов, такие, что каскадный наблюдатель даёт асимптотически точную оценку .
Доказательство. Пусть функция ограничена мажорантой . Пусть помеха ограничена мажорантой . Тогда, если считать новой помехой и соединить её с , суммарная помеха не будет превышать . Далее нужно использовать теорему , заменив на суммарную помеху. Так как условия теоремы выполняются, то существуют коэффициенты наблюдателя, гарантирующие асимптотически точную оценку.
5. МОДЕЛИРОВАНИЕ
Покажем работу нового подхода на примере задачи из п. 3 про сравнение протоколов. Рассмотрим линейный протокол без коммуникации
и новый подход, где добавляется каскадный наблюдатель и ограниченное управление
Чтобы сравнить прежний и новый подходы, проведём следующий численный эксперимент.
1. Зафиксируем число агентов, связи между ними и уравнение динамики .
2. Выберем пару , одинаковую для двух подходов и удовлетворяющую теоремам и .
3. Выберем вид помехи и ее мажоранту: для любых , .
4. Выберем ограниченное управление .
5. Выберем коэффициенты каскадного наблюдателя .
6. Сгенерируем 1000 траекторий системы при разных помехах на промежутке времени (в эксперименте ).
7. Сравним ошибку консенсуса для линейного протокола и нового подхода.
5.1. Параметры системы
Как и при сравнении протоколов в п. 3 рассмотрим систему из пяти агентов третьего порядка. Граф коммуникации агентов представлен на рис. . Матрицы агентов заданы в каноническом виде
Матрицы , , образуют систему с максимальным относительным порядком. Нулевая динамика отсутствует.
5.2. Выбор матриц ,
Условия теоремы включают в себя условия теоремы , поэтому можно выбрать одинаковые матрицы в обоих подходах. Мы зафиксировали одну пару матриц из множества пар, удовлетворяющих теоремам:
5.3. Выбор помехи
Все помехи в эксперименте имеют мажоранту, равную единице. Рассматривались три вида помехи.
I. Сумма синусов и косинусов
(16)
где коэффициенты , выбраны случайно для каждого эксперимента; ограничены сами коэффициенты , и их сумма .
II. Синусы с разной частотой
(17)
где выбраны случайно для каждого эксперимента из равномерного распределения .
III. Постоянный сигнал
(18)
где выбраны случайно для каждого эксперимента из равномерного распределения .
5.4. Выбор ограниченного управления
В качестве ограниченного управления мы выбрали , где
Хотя сатурация не является идеальным способом получения ограниченного управления, она даёт уменьшение ошибки консенсуса и проста в реализации. Существуют более продвинутые методы синтеза ограниченного управления, но они в данной работе не рассматриваются.
5.5. Каскадный наблюдатель
Каскадный наблюдатель будет состоять из двух этапов:
Коэффициенты , выбраны одинаковыми для всех агентов и этапов каскада.
5.6. Траектории системы
Для каждого вида помехи из п. 5.3 мы рассчитали 1000 траекторий. Для каждой траектории выбрали нулевые начальные условия. Результат моделирования для одной траектории представлен на рис. , а. На рис. , б изображен пример помехи (16).
Рис. 3. Сравнение ошибки консенсуса при применении линейного протокола (1) и нового подхода (2) а, и пример внешнего возмущения для одного агента б.
5.7. Сравнение подходов
Для каждой траектории мы посчитали норму ошибки консенсуса и помехи :
Чтобы определить, насколько хорошо управление подавляет помеху, среднее отношение нормы ошибки консенсуса к норме помехи взяли равным
(19)
Результаты экспериментов приведены в таблице. Эксперименты отличаются коэффициентами помехи, которые выбираются случайным образом. Видно, что новый подход снизил среднюю ошибку консенсуса примерно в 10 раз.
Среднее отношение нормы ошибки консенсуса к норме помехи на основе 1000 экспериментов
Вид помехи | Линейный протокол | Новый подход |
I (16) | | |
II (17) | | |
III (18) | | |
ЗАКЛЮЧЕНИЕ
В условиях действия ограниченных возмущений на мультиагентную систему линейный протокол консенсуса без коммуникации становится уязвимым из-за необходимости больших коэффициентов обратной связи для сокращения ошибки консенсуса. Для решения этой проблемы можно использовать нелинейные наблюдатели для каждого агента, оценивающие ошибку линейного наблюдателя. Мы выбрали каскадный наблюдатель на основе супер-скручивания, который эффективно оценивает устойчивые системы с ограниченной помехой.
Доказаны достаточные условия существования нелинейного наблюдателя и установлено, что его оценку возможно применять внутри ограниченного управления.
Моделирование показало, что наш подход позволяет снизить ошибку консенсуса для систем без коммуникации. Интересно, возможно ли полностью компенсировать помеху, используя более продвинутые методы ограниченного управления? Поиск ответа на этот вопрос может стать предметом будущих исследований.
В нашей работе мы рассматриваем агентов как SISO системы с устойчивой нулевой динамикой, поэтому другим возможным направлением продолжения исследований является расширение допустимого класса агентов.
ФИНАНСИРОВАНИЕ РАБОТЫ
Работа выполнена при финансовой поддержке Российского научного фонда (проект 22-21-00288).
КОНФЛИКТ ИНТЕРЕСОВ
Авторы данной работы заявляют, что у них нет конфликта интересов.