Research of Video Stream Frame Delay in UAVs FPV-Control Information Exchange Channel of HSTNs Space Segment

Cover Page

Cite item

Full Text

Abstract

In this paper, dependence of applied delay and video stream frame loss values of the FPV video stream on the size of the transmitted frames compressed by a neural network codec when implementing information exchange channels between unmanned aerial vehicles and an external pilot station in the space segment of a hybrid orbital-ground communication network. Satellite information exchange channels built on the basis of the Starlink Low-Earth orbit satellite constellations, as well as the Yamal-402 and Yamal-601 geostationary orbits, are considered. Relevance of the work is based on the necessity to achieve a specified level of quality of FPV control services in satellite communication networks. Methods used. Application delay and frame loss of the video stream using neural network codecs are measured using the field testing method. Video stream frames are segmented, transmitted via the UDP transport protocol and reconstructed. The probability distribution density of delays is reconstructed using the Rosenblatt-Parzen method with a density estimation function with a Gaussian kernel. Results. Average transmission delays and frame losses of a video stream (compressed by a neural network codec) via satellite communication systems in low-Earth and geostationary orbits are obtained. Distributions of video stream delay dependencies on the payload size are reconstructed. The nature of the distribution of video stream delays compressed by a neural network codec is found. Novelty of the obtained results lies in the study of the nature of video stream delays when implementing the FPV control service through various space segments of a hybrid orbital-ground communication network using neural network video stream compression codecs. Practical significance. The results can be used in modeling applied satellite information exchange channels for implementing the FPV control service in order to form an optimal configuration of the neural network codecs used.

About the authors

A. A. Berezkin

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: berezkin.aa@sut.ru
ORCID iD: 0000-0002-1748-8642

R. M. Vivchar

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: vivchar.rm@sut.ru
ORCID iD: 0000-0003-3865-9102

A. A. Chenskiy

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: chenskii.aa@sut.ru
ORCID iD: 0009-0005-0832-8590

R. V. Kirichek

The Bonch-Bruevich Saint Petersburg State University of Telecommunications

Email: kirichek@sut.ru
ORCID iD: 0000-0002-8781-6840

References

  1. Лукаев С.Л., Емельянов Н.А., Смирнов М.П. К вопросу дистанционного зондирования беспилотными летательными аппаратами в сельском хозяйстве // VI Международная научно-практическая конференция «Научно-образовательные и прикладные аспекты производства и переработки сельскохозяйственной продукции» (Чебоксары, Российская Федерация, 15 ноября 2022 г.). Чебоксары: Чувашский государственный аграрный университет, 2022. С. 632–635. EDN:IHDGLM
  2. Хабибуллин И.И., Сахарова В.В., Сабиров Б.М. Применение беспилотных летательных аппаратов (БПЛА) в сельском хозяйстве Российской Федерации // Всероссийская (национальная) научно-практическая конференция молодых ученых «Прикладные исследования в агроинженерии» (Казань, Российская Федерация, 22 ноября 2023 г.). Казань: Казанский государственный аграрный университет, 2024. С. 263–268. EDN:VSZMPJ
  3. Кунин И.Е. Беспилотные летательные аппараты в сельском хозяйстве // XV Международный молодежный форум «Образование. Наука. Производство» (Белгород, Российская Федерация, 23–24 октября 2023 г.). Белгород: Белгородский государственный технологический университет им. В.Г. Шухова, 2023. С. 117–121. EDN:EXZBEG
  4. Глижинская Е.А. Использование беспилотных летательных аппаратов (дронов) в строительстве // Сборник статей магистрантов и аспирантов строительного факультета. СПб.: Санкт-Петербургский государственный архитектурно-строительный университет, 2024. С. 106–112. EDN:BXIYTL
  5. Кудасова А.С., Тютина А.Д., Сокольникова Э.В. Применение беспилотных летательных аппаратов в строительстве // Инженерный вестник Дона. 2021. № 8(80). С. 31–38. EDN:ZSBCJR
  6. Моисеева Н.А. Методы структурного синтеза каналов информационного обмена беспилотных транспортных средств // Международная молодежная конференция, приуроченная к 90-летию СГТУ имени Гагарина Ю.А. «Современные материалы и технологии» (Саратов, Российская Федерация, 27–28 мая 2020 г.). Саратов: Саратовский государственный технический университет имени Гагарина Ю.А., 2020. С. 32–34. EDN:YXRFHY
  7. Моисеев Д.В., Моисеева Н.А., Чужикова-Проскурнина О.Д. Реализация надёжных каналов информационного обмена между беспилотным транспортным средством и диспетчерским цетром с высокой пропускной способностью // Сборник научных трудов «Морская стратегия и политика России в контексте обеспечения национальной безопасности и устойчивого развития в ХХI веке». Севастополь: ЧВВМУ имени П.С. Нахимова, 2020. Т. 4(25). С. 258–262. EDN:EYEFHS
  8. Моисеев Д.В., Моисеева Н.А., Чужикова-Проскурнина О.Д. Обеспечение надежности и высокой пропускной способности каналов информационного обмена между беспилотным транспортным средством и диспетчерским центром // III Международная научно-практическая конференция «Информационные технологии в образовании и аграрном производстве» (Брянск, Российская Федерация, 18 марта 2020 г.). Брянск: Брянский государственный аграрный университет, 2020. С. 309–314. EDN:FDAYNQ
  9. Chao H., Maheshwari A., Sudarsanan V., Tamaskar S., DeLaurentis D.A. UAV Traffic Information Exchange Network // Proceedings of the Aviation Technology, Integration, and Operations Conference (Atlanta, Georgia, 25–29 June 2018). 2018. P. 3347. doi: 10.2514/6.2018-3347
  10. de Resende H.C., Pinheiro J.F.N., Reiter P., Both C.B., Marquez-Barja J.M. 4G/5G performance of a multi-RAT UAV for medical parcel delivery // Proceedings of the 19th Annual Consumer Communications & Networking Conference (CCNC, Las Vegas, USA, 08–11 January 2022). IEEE, 2022. PP. 268–271. doi: 10.1109/CCNC49033.2022.9700528
  11. Vijayaratnam M., Cagnazzo M., Valenzise G., Trioux A., Kieffer M. Towards Zero-Latency Video Transmission Through Frame Extrapolation // Proceedings of the International Conference on Image Processing (ICIP, Bordeaux, France, 18 October 2022). IEEE, 2022. PP. 2122–2126. doi: 10.1109/ICIP46576.2022.9897958
  12. Bachhuber C., Steinbach E. A system for high precision glass-to-glass delay measurements in video communication // Proceedings of the International Conference on Image Processing (ICIP, Phoenix, USA, 25–28 September 2016). IEEE, 2016. PP. 2132–2136. doi: 10.1109/ICIP.2016.7532735
  13. Bachhuber C., Steinbach E. A System for Precise End-to-End Delay Measurements in Video Communication // ar-Xiv:1510.01134. 2015. doi: 10.48550/arXiv.1510.01134
  14. Bachhuber C., Steinbach E., Freundl M., Reisslein M. On the Minimization of Glass-to-Glass and Glass-to-Algorithm Delay in Video Communication // IEEE Transactions on Multimedia. 2017. Vol. 20. Iss. 1. PP. 238–252. doi: 10.1109/TMM.2017. 2726189
  15. Kanj H., Trioux A., Cagnazzo M., Coudoux F.X., Corlay P., Kieffer M. Glass-to-Glass Delay Reduction: Encoding Rate Reduction vs. Video Frame Extrapolation // Proceedings of the 25th International Workshop on Multimedia Signal Processing (MMSP, Poitiers, France, 27–29 September 2023). IEEE, 2023. PP. 1–6. doi: 10.1109/MMSP59012.2023.10337718
  16. Bachhuber C., Steinbach E. Are Today's Video Communication Solutions Ready for the Tactile Internet? // Proceedings of the Wireless Communications and Networking Conference Workshops (WCNCW, San Francisco, USA, 19–22 March 2017). IEEE, 2017. PP. 1–6. doi: 10.1109/WCNCW.2017.7919060
  17. Kumar R. Autonomous Control of Advanced Multirotor Unmanned Aerial Systems. PhD Thesis. University of Cincinnati, 2022.
  18. Ebeid E., Skriver M., Terkildsen K.H., Jensen K., Schultz U.P. A survey of Open-Source UAV flight controllers and flight simulators // Microprocessors and Microsystems. 2018. Vol. 61. PP. 11–20. doi: 10.1016/j.micpro.2018.05.002
  19. Al-Bahri M., Yankovsky A., Borodin A., Kirichek R. Testbed for Identify IoT-Devices Based on Digital Object Architecture // Proceedings of the 18th International Conference on Next Generation Wired/Wireless Networking (NEW2AN 2018), and 11th Conference on Internet of Things, Smart Spaces (ruSMART 2018), St. Petersburg, Russian Federation, 27–29 August 2018. Lecture Notes in Computer Science. Cham: Springer, 2018. Vol. 11118. PP. 129–137. doi: 10.1007/978-3-030-01168-0_12. EDN:YAPAZN
  20. Al-Bahri M., Yankovsky A., Kirichek R., Borodin A. Smart System Based on DOA & IoT for Products Monitoring & Anti-Counterfeiting // Proceedings of the 4th MEC International Conference on Big Data and Smart City (ICBDSC, Muscat, Oman, 15–16 January 2019). IEEE, 2019. doi: 10.1109/ICBDSC.2019.8645610. EDN:TENQWL
  21. Loughlin B.D. The PAL color television system // IEEE Transactions on Broadcast and Television Receivers. 1966. Vol. 12. Iss. 3. PP. 153–158.
  22. Rec. ITU-R BT.470-7 (1970-1974-1986-1994-1995-1998). Conventional Television Systems.
  23. Куйдин Р.А., Панин Д.В., Павлова Ю.Е., Палов П.В. Аналоговое и цифровое FPV // Материалы XXX Международной научно-практической конференции, Анапа, Российская Федерация, 12 мая 2021 г. «Наука. Образование. Инновации». Анапа: Общество с ограниченной ответственностью «Научно-исследовательский центр экономических и социальных процессов» в Южном Федеральном округе, 2021. С. 113–116. EDN:JLXBKT
  24. Townsend G.B. Colour performance of the Secam colour television system // Proceedings of the Institution of Electrical Engineers. 1963. Vol. 110. Iss. 8. PP. 1341–1349. doi: 10.1049/piee.1963.0190
  25. Suzuki Y., Gai T., Yamakawa M., Sugiura H. NTSC/PAL/SECAM digital video decoder with high-precision resamplers // IEEE Transactions on Consumer Electronics. 2005. Vol. 51. Iss 1. PP. 287–294. doi: 10.1109/TCE.2005.1405734
  26. Singh S., Lee H.W., Tran T.X., Zhou Y., Sichitiu M.L., Güvenç I. FPV Video Adaptation for UAV Collision Avoidance // IEEE Open Journal of the Communications Society. 2021. Vol. 2. PP. 2095–2110. doi: 10.1109/ojcoms.2021.3106274. EDN:ADCYJS
  27. Rec. ITU-T H.264 (03/2003). Advanced Video Coding for Generic Audio-Visual Services.
  28. ISO/IEC 23008 2:2013 (12/2013). Information technology. High efficiency coding and media delivery in heterogeneous environments. Part 2. High Efficiency Video Coding.
  29. Rec. ITU-T H.266 (09/2023). Versatile Video Coding.
  30. Bankoski J., Koleszar J., Quillio L., Salonen J., Wilkins P., Xu Y. VP8 Data Format and Decoding Guide. RFC 6386. 2011. doi: 10.17487/rfc6386
  31. Grange A., de Rivaz P., Hunt J. VP9 Bitstream & Decoding Process Specification – v0.6. Google, Inc., 2016.
  32. de Rivaz P., Haughton J. AV1 Bitstream & Decoding Process Specification. The Alliance for Open Media, 2018.
  33. Ченский А.А., Березкин А.А., Киричек Р.В., Захаров А.А. Исследование методов латентного сжатия видеопотока при FPV управлении беспилотными системами // Электросвязь. 2024. № 6. С. 46–56. doi: 10.34832/ELSV.2024.55.6.014. EDN:FWBEQE
  34. Ченский А.А., Березкин А.А., Киричек Р.В., Захаров А.А. Исследование методов квантования латентного пространства вариационного автокодировщика для кадров FPV видеопотока. Часть I // Электросвязь. 2024. № 6. С. 10–16. doi: 10.34832/ELSV.2024.55.6.011. EDN:GPNYSJ
  35. Березкин А.А., Ченский А.А., Вивчарь Р.М., Киричек Р.В. Исследование методов квантования латентного пространства вариационного автокодировщика для кадров FPV видеопотока. Часть II // Электросвязь. 2024. № 7. С. 26–35. doi: 10.34832/ELSV.2024.56.7.005. EDN:NZSTKD
  36. Березкин А.А., Ченский А.А., Киричек Р.В., Захаров А.А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть I. Методика // Электросвязь. 2024. № 9. С. 28–37. doi: 10.34832/ELSV.2024.58.9.004. EDN:MWXFXN
  37. Березкин А.А., Ченский А.А., Киричек Р.В., Захаров А.А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть II. Эксперимент // Электросвязь. 2024. № 10. С. 59–69. doi: 10.34832/ELSV.2024.59.10.009. EDN:IWGJLY
  38. Березкин А.А., Ченский А.А., Киричек Р.В. Маскирование кодированного FPV видеопотока при управлении БПЛА. Часть I. Модели и методика // Электросвязь. 2024. № 12-2. С. 32–45. doi: 10.34832/ELSV.2024.61.12.005. EDN:PDIJJE
  39. Березкин А.А., Ченский А.А., Киричек Р.В. Маскирование кодированного FPV видеопотока при управлении БПЛА. Часть II. Обучение моделей и эксперименты // Электросвязь. 2025. № 5. С. 34–41. doi: 10.34832/ELSV.2025.67.5. 005. EDN:HBJWPW
  40. Jia Z., Li B., Li J., Xie W., Qi L., Li H., et al. Towards Practical Real-Time Neural Video Compression // arXiv:2502.20762. 2025. doi: 10.48550/arXiv.2502.20762
  41. Kirichek R., Pham V.D., Kolechkin A., Al-Bahri M., Paramonov A. Transfer of Multimedia Data via LoRa // Proceedings of the 17th International Conference on Next Generation Wired/Wireless Networking (NEW2AN 2017), and 3d Conference on In-ternet of Things, Smart Spaces (ruSMART 2017), and Third International Workshop on Nano-scale Computing and Communications, NsCC 2017, St. Petersburg, Russian Federation, 28–30 August 2017. Lecture Notes in Computer Science. Cham: Springer, 2017. Vol. 1053. PP. 708–720. doi: 10.1007/978-3-319-67380-6_67. EDN:ZHIASL
  42. Березкин А.А., Вивчарь Р.М., Ченский А.А., Киричек Р.В. Исследование задержки кадров видеопотока в канале информационного обмена наземного сегмента гибридной сети связи при FPV-управлении // Труды учебных заведений связи. 2025. Т. 11. № 1. С. 7–17. doi: 10.31854/1813-324X-2025-11-1-7-17. EDN:FTRJGU
  43. Jamalipour A. Low Earth Orbital Satellites for Personal Communication Networks. Artech House, Inc., 1997. 273 p.
  44. Xia Z., Liu L., Hu C., Bu X. Inter-Satellite Link Channel Characterization of Laser Communication Systems // Proceedings of the 11th International Conference on Information, Communication and Networks (ICICN, Xi'an, China, 17–20 August 2023). IEEE, 2023. PP. 426–431. doi: 10.1109/ICICN59530.2023.10393617
  45. Dong C., Li X. Design of a Data Distribution System for High Earth Orbit Satellites // Proceedings of the 8th International Conference on Electrical, Mechanical and Computer Engineering (ICEMCE, Xi'an, China, 25–27 October 2024). IEEE, 2024. PP. 1615–1619. doi: 10.1109/ICEMCE64157.2024.10862589
  46. Roberts L.D. A lost Connection: Geostationary Satellite Networks and the International Telecommunication Union // Berkeley Technology Law Journal. 2000. Vol. 15. Iss. 3. P. 1095 doi: 10.15779/Z38DQ1J
  47. Гриценко А.А. Спутниковые системы класса HTS // Connect. 2017. № 4. С. 120.
  48. Li J., Li H., Lai Z., Wu Q., Liu Y., Zhang Q., et al. SatGuard: Concealing Endless and Bursty Packet Losses in LEO Satellite Networks for Delay-Sensitive Web Applications // Proceedings of the ACM Web Conference 2024 (Singapore, Singapore, 13–17 May 2024). New York: Association for Computing Machinery, 2024. PP. 3053–3063. doi: 10.1145/3589334.3645639
  49. Michel F., Trevisan M., Giordano D., Bonaventure O. A first look at Starlink performance // Proceedings of the 22nd ACM Internet Measurement Conference (Nice, France, 25–27 October 2022). New York: Association for Computing Machinery, 2022. PP. 130–136. doi: 10.1145/3517745.356141
  50. Михалев А.В., Белецкий А.Б., Лебедев В.П., Сыренова Т.Е., Хахинов В.В. Оптические эффекты полета ракеты-носителя “Протон-М” со спутником Ямал-601 в дальней от места старта зоне // Космические исследования. 2022. Т. 60. № 2. С. 125–133. doi: 10.31857/S0023420622020054. EDN:RNIXIC
  51. Berger V.W., Zhou Y.Y. Kolmogorov–Smirnov Test: Overview // Wiley StatsRef: Statistics Reference Online. John Wiley & Sons, 2014. doi: 10.1002/9781118445112.stat06558
  52. Gupta A.K., Nadarajah S. Handbook of Beta Distribution and Its Applications. Boca Raton: CRC press, 2004. 600 p. doi: 10.1201/9781482276596

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».