Estimation of probabilities of transitions of markov binary input signal of nonlinear system
- Authors: Boldinov V.A.1, Bukhalev V.A.2, Skrynnikov A.A.1,3, Khismatov I.F.2
-
Affiliations:
- Moscow Aviation Institute (National Research University)
- Moscow Scientific Research Television Institute
- State Scientific Research Institute of Aviation Systems
- Issue: No 2 (2024)
- Pages: 43-52
- Section: MANAGEMENT IN STOCHASTIC SYSTEMS AND UNDER CONDITIONS OF UNCERTAINTY
- URL: https://journals.rcsi.science/0002-3388/article/view/264490
- DOI: https://doi.org/10.31857/S0002338824020045
- EDN: https://elibrary.ru/VOQPZO
- ID: 264490
Cite item
Full Text
Abstract
The problem of estimating unknown probabilities of transitions of a random Markov binary input signal of a nonlinear one-dimensional discrete system based on estimating the expectation and variance of the output signal is considered. The defined expressions are built on the basis of considering equally probable transitions and the steady-state mode of the algorithm for assessing the state of the system, obtained by approximating the probability density of its output signal by the Pearson type I distribution. An example of comparison of theoretical calculations with the results of imitation mathematical modeling is given.
Full Text
Введение. В [1] решалась задача оценивания неизвестных вероятностей переходов марковского двоичного входного сигнала линейной системы. В отличие от нее в статье рассматривается та же задача для нелинейной системы. Синтез алгоритма оценивания осуществляется на основе аппроксимации неизвестной плотности вероятности распределением Пирсона I типа. Его достоинством является разнообразие формы распределения, зависящее от сочетания параметров, связанных с математическим ожиданием и дисперсией простыми алгебраическими формулами. Задача решается методами теории систем со случайной скачкообразной структурой с применением метода двухмоментной параметрической аппроксимации, о которых далее подробно говорится в тексте.
Актуальность задачи состоит в следующем. Вероятности переходов марковской цепи характеризуют среднюю частоту случайных переключений входного двоичного сигнала. В некоторых авиационных системах навигации и наведения на вход пеленгационных устройств поступают сигналы помех от пространственно разнесенных объектов, воспринимаемых на выходе как единое целое [2]. Сигналы помех чередуются со случайными промежутками времени, средняя частота которых неизвестна. Алгоритм ее оценивания улучшает точность и эффективность системы управления летательного аппарата.
Марковские математические модели, применяемые для оптимизации стохастических систем, можно разделить на три класса:
1) системы с дискретным пространством состояний,
2) системы с непрерывным пространством состояний,
3) системы с дискретно-непрерывным пространством состояний (системы со случайной скачкообразной структурой (ССС)).
Соответственно этим классам случайные процессы, протекающие в них, разделяются на:
1) марковские цепи,
2) диффузионные процессы,
3) скачкообразные диффузионные процессы.
Будучи ограничены рамками статьи, проведем небольшой обзор научных работ по теории оценивания марковских процессов, представляя в основном лишь монографии и не претендуя на полный перечень многочисленных серьезных трудов по этой тематике.
Марковские цепи и диффузионные процессы.
- Оптимальные алгоритмы:
- линейная фильтрация с аддитивным белым шумом в канале измерения [3–12],
- линейная фильтрация с небелыми аддитивными шумами в канале измерения [3–11],
- метод наименьших квадратов [10],
- метод максимального правдоподобия [3, 8, 10, 13],
- нелинейная байесовская фильтрация [3–5, 7–11, 14],
- линейное сглаживание [4–6, 8, 11],
- нелинейное сглаживание [4, 5, 8, 11],
- адаптивное оценивание [3, 7, 9–11],
- различение гипотез [14].
- Приближенно-оптимальные алгоритмы:
- фильтрация [3–5, 7, 10, 11, 14, 15],
- сглаживание [5],
- адаптация и самообучение [3, 7, 10, 14],
- кластерный анализ [14],
- метод стохастической аппроксимации [10].
Системы ССС.
- Оптимальные алгоритмы:
а) распознавание и фильтрация:
- линейные системы с марковской структурой [2, 5, 15–26] при аддитивно-мультипликативных возмущениях и помехах,
- нелинейные системы с условно-марковской структурой [2, 5, 17–20];
б) распознавание и сглаживание:
- линейные системы с марковской структурой [5, 18, 20],
- нелинейные системы с условно-марковской структурой [5, 18, 20].
- Приближенно-оптимальные алгоритмы в нелинейных системах с марковской и условно-марковской структурой:
- распознавание и фильтрация [2, 5, 17, 19, 20],
- распознавание и сглаживание [5, 18, 20],
- стохастическая устойчивость [21, 27].
Оптимальные алгоритмы оценивания состояния нелинейных систем основаны на решении функциональных дифференциальных или рекуррентных уравнений для апостериорных плотностей вероятностей вектора состояний. В системах с детерминированной структурой – это вектор фазовых координат, в системах ССС – совместный вектор взаимосвязанных фазовых координат и структуры [5, 17, 18, 20]. В наиболее общей постановке данная задача решена и опубликована в статье [17] и в монографиях [4, 18, 20].
Приближенно-оптимальные алгоритмы, предназначенные для реализации в аппаратуре, описываются обыкновенными рекуррентными уравнениями для апостериорных оценок вектора состояния – математического ожидания (либо моды или медианы), ковариации ошибки оценивания и вероятностей состояний структуры [5, 18, 20].
При неполной и неточной априорной и апостериорной информации, особенно в условиях информационного противодействия и упрощенной математической модели, используемой при анализе, точность вычислений оптимальных алгоритмов не улучшает реальной точности оценивания. В то же время реализация законов распределения по сравнению с реализацией оценок вероятностных моментов требует более высокого быстродействия и объема памяти вычислительных систем.
Наиболее распространенным способом упрощения алгоритмов являются так называемые модифицированные фильтры Калмана: линеаризованный, расширенный, итерационный [10]; с низкочастотной аддитивной помехой [3]; с декомпозицией и снижением размерности вектора состояния [3, 10]; с обнулением слабокоррелированных корреляционных моментов связи в уравнениях Риккати и с использованием установившихся решений этих уравнений [3, 4]; с адаптацией к неизвестным параметрам объекта и измерителя [3, 4, 7, 10, 11, 14].
Модифицированные фильтры Калмана применялись в основном на ранних стадиях развития автоматики. По мере расширения задач, условий применения и использования существенных нелинейностей и логических элементов, при высоком уровне возмущений и помех точность этих фильтров не удовлетворяет техническим требованиям. С другой стороны, прогресс вычислительной техники позволил реализовать более сложные, но более точные приближенно-оптимальные алгоритмы.
К этой группе в первую очередь следует отнести алгоритмы, базирующиеся на аппроксимации неизвестных распределений. Наибольшее распространение получила гауссовская аппроксимация из-за так называемого эффекта нормализации, доказанного в [28] на основе центральной предельной теоремы теории вероятностей. Физическое объяснение этого эффекта – сглаживание линейными инерционными звеньями негауссовских марковских сигналов на выходе нелинейных характеристик. Гауссовская аппроксимация эквивалентна методу статистической линеаризации. Недостатком этих методов является унимодальность распределения и зависимость от табулированной функции – интеграла вероятности [20], что усложняет реализацию алгоритмов.
Приемлемого компромисса между точностью и реализуемостью, удовлетворяющего заданным техническим требованиям, можно достичь с помощью метода двухмоментной параметрической аппроксимации (ДПА) [2, 5, 15, 18–20]. Метод ДПА состоит в замене неизвестных распределений известными законами, зависящими от двух неизвестных параметров, связанных с двумя вероятностными моментами – математическим ожиданием и дисперсией – простыми алгебраическими формулами. В результате функциональные уравнения для плотностей вероятностей в системах с детерминированной структурой преобразуются в обыкновенные рекуррентные уравнения для моментов. В системах ССС аналогичные уравнения для распределения вероятностей вектора состояний преобразуются в систему уравнений для условных моментов при фиксированной структуре и вероятностей состояний структуры.
Для аппроксимации удобно применять распределения Пирсона. Эти распределения полностью определяются четырьмя параметрами, которые связаны с первыми четырьмя вероятностными моментами системой алгебраических уравнений. Если известны два любые из этих параметров, то оставшиеся два параметра связаны с двумя основными моментами: математическим ожиданием и ковариацией. Частными случаями распределения Пирсона, удовлетворяющими этим условиям, являются, например, гауссовское и усеченное гауссовское распределения, бета-распределение (и его частные случаи: закон арксинуса, равномерное и степенное распределения), гамма-распределение (и его частные случаи: показательное и показательно-степенное распределения, -распределение, закон Эрланга), T-распределение Стьюдента.
Для аппроксимации могут использоваться такие непрерывные двухпараметрические распределения, как закон Симпсона, Релея, Максвелла, Парето, логистическое распределение и F-распределение Фишера. Возможно применение и дискретных распределений, например, биномиального, геометрического, Паскаля, Пуассона и Полиа. Параметры этих непрерывных и дискретных распределений связаны с их моментами простыми алгебраическими формулами.
Особенно удобным в прикладных задачах исследования систем ССС является применение распределения Пирсона I типа и его частного случая – бета-распределения. Они имеют весьма важное достоинство: форма плотности вероятности изменяется (в заданных пределах) в широком диапазоне в зависимости от сочетания двух неизвестных параметров, которые получаются в процессе решения замкнутой системы обыкновенных рекуррентных уравнений для математических ожиданий и ковариаций вектора состояний системы. Таким образом, формой аппроксимирующего распределения не нужно задаваться заранее – она определяется автоматически в результате нахождения указанных двух параметров и может изменяться в процессе решения. Для аппроксимации распределений сигналов с пределами удобно применять гамма-распределение.
Еще одно полезное свойство бета- и гамма-распределений – хорошая совместимость с функциями, описывающими типовые нелинейности: пеленгационные и ограничительные характеристики, зоны нечувствительности и проч., например при нелинейностях типа (рис. 1) и плотности вероятности бета-распределения , :
где , , , , , и, в частном случае, при :
В марковских системах со случайной, но не скачкообразной структурой для синтеза приближенно-оптимальных алгоритмов оценивания применяются метод разделения и кластерный анализ [14].
Рис. 1
В статье для построения алгоритма оценивания неизвестных вероятностей переходов марковского двоичного сигнала используется аппроксимация распределением Пирсона I типа в диапазоне .
- Постановка задачи. Нелинейная система, изображенная на рис. 2, задается уравнениями
(1.1)
где – дискретное время; – выходной сигнал; – коэффициент усиления в цепи обратной связи; - индекс состояния структуры, описываемый марковской цепью с неизвестными распределениями равных вероятностей переходов из в : и при : ; – случайный входной двоичный сигнал: , .
Рис. 2
Вероятность переходов , где – шаг дискретности, – интенсивность переходов марковской цепи с непрерывным временем , характеризует среднюю частоту входного сигнала. Пеленгационная характеристика записывается как
(1.2)
Требуется построить алгоритм оценивания вероятности h.
- Алгоритм оценивания вероятностей переходов. В уравнении (1.1) с равновероятными переходами математическое ожидание входного сигнала равно нулю. Поэтому равно нулю и установившееся математическое ожидание выходного сигнла системы (1.1), имеющей нелинейную характеристику . Дисперсия сигнала зависит от частоты и амплитуды входного сигнала и полосы пропускания системы, которые характеризуются параметрами h и l. Зная два любых параметра из тройки R, h l, можно определить третий параметр. На этом основана идея построения алгоритма распознавания неизвестного параметра h.
Для нахождения зависимости R от h, l воспользуемся уравнениями для математических ожиданий и дисперсий нелинейной системы с марковской скачкообразной структурой [18, 20]:
(2.1)
(2.2)
(2.3)
(2.4)
(2.5)
(2.6)
где – вероятность состояния ; и – условные первый и второй начальные моменты при фиксированном ; , и – соответственно безусловные первый и второй начальные моменты и дисперсия сигнала ;
(2.7)
(2.8)
где – условная плотность вероятности при фиксированном .
В [1] рассматривалась линейная система с марковским двоичным входным сигналом, у которой, в отличие от системы (1.1), характеристика , . Было математически строго доказано, что выходной сигнал этой системы имеет условные распределения Пирсона I типа:
(2.9)
где и – специальные бета-функции со следующими свойствами [29]:
где – специальная гамма-функция; h, g – вероятности перехода соответственно из первого состояния во второе и наоборот.
Это обстоятельство, а также способность распределения Пирсона I типа принимать разнообразную форму в зависимости от значений его параметров и (рис. 3) дает основание аппроксимировать условные плотности вероятности в формулах (2.7), (2.8) плотностями вероятности Пирсона I типа:
(2.10)
(2.11)
Так как
,
то из уравнений (2.2), (2.4) с учетом , следует
(2.12)
(2.13)
Подставив (2.10), (2.11) в (2.7), (2.8), получаем
(2.14)
(2.15)
(2.16)
(2.17)
Рис. 3
При равновероятных переходах марковской цепи в установившемся режиме имеем и, как следует из (2.1) – (2.17),
(2.18)
, (2.19)
(2.20)
откуда вытекает, что
(2.21)
Подставив (2.21) в (2.2), находим
(2.22)
где .
Подставив (2.22) в (2.13), получаем
(2.23)
откуда следует
(2.24)
Как видно из формул (2.19) – (2.24), для определения h нужно знать R и l. Дисперсия R может быть оценена любым стандартным способом, используемым в инженерной практике с помощью аналоговой или цифровой техники. Например, алгоритмами фильтрации или сглаживания (на закрепленном интервале, в закрепленной точке, с постоянным запаздыванием) [5], или так называемым методом осреднения [30], применяемым в авиационной технике. Он состоит в следующем: измеряемый сигнал проходит через низкочастотный фильтр, полоса пропускания которого намного уже полосы пропускания исследуемой системы. На выходе фильтра имеем оценку среднего значения . Параллельно с этим сигнал пропускается через квадратичный детектор и аналогичный низкочастотный фильтр, на выходе которого получается оценка среднего квадрата . Вычитанием находим оценку дисперсии. После чего h при известном l определяется согласно (2.24).
- Пример. При и согласно (2.19), (2.21), получаем , , откуда из (2.24) следует
(3.1)
Зависимость при , рассчитанная по формуле (3.1), изображена на рис. 4. Сравнение ее с кривой, найденной путем имитационного математического моделирования , показывает удовлетворительную для практики точность разработанного алгоритма оценивания вероятности переходов марковского двоичного сигнала.
Рис. 4
Заключение. Решена задача оценивания неизвестных вероятностей переходов марковского двоичного входного сигнала нелинейной одномерной дискретной системы на основе использования известных оценок математического ожидания и дисперсии выходного сигнала. На базе методов теории систем со случайной скачкообразной структурой и двухмоментной параметрической аппроксимации неизвестных плотностей вероятностей распределением Пирсона I типа получен приближенно-оптимальный рекуррентный алгоритм оценивания состояния системы. Выражения для определения искомых оценок заданы рассмотрением установившегося режима разработанного рекуррентного алгоритма при условии равновероятных переходов случайного двоичного входного сигнала. Как показывают расчеты, теоретические результаты близки к результатам, полученным путем имитационного математического моделирования.
About the authors
V. A. Boldinov
Moscow Aviation Institute (National Research University)
Author for correspondence.
Email: boldinovva@mai.ru
Russian Federation, Moscow
V. A. Bukhalev
Moscow Scientific Research Television Institute
Email: boldinovva@mai.ru
Russian Federation, Moscow
A. A. Skrynnikov
Moscow Aviation Institute (National Research University); State Scientific Research Institute of Aviation Systems
Email: boldinovva@mai.ru
Russian Federation, Moscow; Moscow
I. F. Khismatov
Moscow Scientific Research Television Institute
Email: boldinovva@mai.ru
Russian Federation, Moscow
References
- Бухалëв В.А., Скрынников А.А., Болдинов В.А. Адаптивное распознавание марковского двоичного сигнала линейной системы на основе распределения Пирсона I типа // АиТ. 2022. № 8. С. 159–168.
- Бухалëв В.А., Скрынников А.А., Болдинов В.А. Алгоритмическая помехозащита беспилотных летательных аппаратов. М.: Физматлит, 2018. 192 с.
- Аоки М. Оптимизация стохастических систем. М.: Наука, 1971. 424 с.
- Брайсон А.Е., Хо Ю Ши. Прикладная теория оптимального управления. М.: Мир, 1972. 544 с.
- Бухалëв В.А. Оптимальное сглаживание в системах со случайной скачкообразной структурой. М.: Физматлит, 2013. 188 с.
- Медич Дж.С. Стохастически оптимальные линейные оценки и управление. М.: Энергия, 1973. 440 с.
- Саридис Дж.Н. Самоорганизующиеся стохастические системы управления. М.: Наука, 1980. 401 с.
- Сейдж Э.П., Мелса Дж.Л. Теория оценивания и ее применение в связи и управлении. М.: Связь, 1976. 496 с.
- Стратонович Р.Л. Условные марковские процессы и их применение в теории оптимального управления. М.: МГУ, 1966.
- Бар-Шалом Я., Бревер Г., Джонсон С. и др. Фильтрация и стохастическое управление в динамических системах / Под ред. К.Т. Леондеса. М.: Мир, 1980. 408 с.
- Elliott R., Aggoun L., Moore J. Hidden Markov Models: Estimation and Control. N.Y.: Springer, 1995. 382 p.
- Kalman R.E., Busy R.S. New Results in Linear Filtering and Prediction Theory // Trans. ASME, J. Basic Engineering. 1961. V. 83D. P. 95–108.
- Dempster A.P., Laird N.M., Rubin D.B. Maximum Likelihood from Incomplite Data via the EM Algorithm // J. Royal Statistical Society of London. 1977. Ser. B. V. 91. № 1. P. 1–38.
- Патрик Э. Основы распознавания образов. М.: Сов. радио, 1980. 408 с.
- Бухалëв В.А., Болдинов В.А., Прядкин С.П., Скрынников А.А. Двухмоментная параметрическая аппроксимация распределений в информационно-управляющих системах навигации и наведения // Вестник компьютерных и информационных технологий. 2016. № 8. С. 8–15.
- Артемьев В.М. Теория динамических систем со случайными изменениями структуры. Минск: Вышэйш. шк., 1979. 160 с.
- Бухалëв В.А. Оптимальная фильтрация в системах со случайной скачкообразной структурой // АиТ. 1976. № 2. C. 44–54.
- Бухалëв В.А. Распознавание, оценивание и управление в системах со случайной скачкообразной структурой. М.: Наука, 1996. 287 с.
- Бухалëв В.А., Скрынников А.А., Болдинов В.А. Игровое управление системами со случайной скачкообразной структурой. М.: Физматлит, 2021. 176 с.
- Бухалёв В.А., Скрынников А.А., Болдинов В.А. Системы со случайной скачкообразной структурой. М.: ИД Академии Жуковского, 2022. 272 с.
- Пакшин П.В. Дискретные системы со случайными параметрами и структурой. М.: Наука, 1994. 304 с.
- Mariton M. Jump Linear Systems in Automatic Control. N.Y.: Taylor & Francis, 1990.
- Piers B.D., Sworder D.D. Bayes and Minimax Controllers for a Linear Systems for Stochastic Jump Parameters // IEEE Trans. AC-16. 1971. No. 4. P. 677–685.
- Robinson V.G., Sworder D.D. A Computational Algorithm for Design of Regulator for Linear Jump Parameters Systems // IEEE Trans. AC-19. 1974. № 1. P. 47–49.
- Sworder D.D. Bayes Controllers With Memor for a Linear Systems with Jump Parameters // IEEE Transactions on Automatic Control. 1972. V. 17. Iss. 1. P. 119–121.
- Loparo К.A., Roth Z.T., Eckert S.J. Nonlinear Filtering for Systems with Random Structure // IEEE Trans. AC-31. 1986. № 1. P. 37–47.
- Kats I. Ya, Martynyuk A.A. Stability and Stabilization of Nonlinear Systems with Random Structures. N.Y.: Taylor & Francis, 2003. 256 p.
- Пугачёв В.С., Синицын И.Н. Теория стохастических систем. М.: Логос, 2004. 1000 с.
- Корн Р., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1984.
- Бендат Дж., Пирсол А. Измерение и анализ случайных процессов. М.: Мир, 1971. 408 с.
Supplementary files
