ВОССТАНОВЛЕНИЕ СТРУКТУРНОЙ ИНФОРМАЦИИ ОБ АНТРОПОГЕННЫХ ОБЪЕКТАХ ИЗ ОДИНОЧНЫХ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ
- Авторы: Антипова Н.В.1,2, Гвоздев О.Г.1,3, Козуб В.А.1, Мурынин А.Б.1,2, Рихтер А.А.1
-
Учреждения:
- НИИ “АЭРОКОСМОС”
- ФИЦ ИУ РАН
- ФГБОУ ВО “Московский государственный университет геодезии и картографии” (МИИГАиК)
- Выпуск: № 3 (2023)
- Страницы: 90-105
- Раздел: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
- URL: https://journals.rcsi.science/0002-3388/article/view/136881
- DOI: https://doi.org/10.31857/S0002338823030010
- EDN: https://elibrary.ru/EUCSLC
- ID: 136881
Цитировать
Аннотация
Описан метод трехмерной реконструкции зданий по одиночному аэрокосмическому изображению, состоящий из двух этапов – извлечение семантической информации и восстановление геометрии. Рассмотрена топология искусственных нейронных сетей по семантической сегментации компонентов зданий и эталонных объектов. По второму этапу представлены некоторые математические преобразования: по расчету фотометрических параметров изображения на базе метаданных или эталонных объектов, по преобразованию пространственных координат в осевые и плоские координаты изображения и др. Показаны два примера по вычислению фотометрических параметров и трехмерной модели здания по одиночным спутниковому изображению и аэрофотоснимку.
Об авторах
Н. В. Антипова
НИИ “АЭРОКОСМОС”; ФИЦ ИУ РАН
Email: antipova@phystech.edu
Россия, Москва; Россия, Москва
О. Г. Гвоздев
НИИ “АЭРОКОСМОС”; ФГБОУ ВО “Московский государственный университет геодезии и картографии” (МИИГАиК)
Email: gvozdev@miigaik.ru
Россия, Москва; Россия, Москва
В. А. Козуб
НИИ “АЭРОКОСМОС”
Email: postbox-kozub@ya.ru
Россия, Москва
А. Б. Мурынин
НИИ “АЭРОКОСМОС”; ФИЦ ИУ РАН
Email: amurynin@bk.ru
Россия, Москва; Россия, Москва
А. А. Рихтер
НИИ “АЭРОКОСМОС”
Автор, ответственный за переписку.
Email: urfin17@yandex.ru
Россия, Москва
Список литературы
- Biljecki F., Stoter J., Ledoux H., Zlatanova S., Çöltekin A. Applications of 3D City Models: State of the Art Review // ISPRS Intern. J. Geo-Information. 2015. V. 4. № 4. P. 2842–2889.
- Tang L., Li L., Ying S., Lei Y. A Full Level-of-Detail Specification for 3D Building Models Combining Indoor and Outdoor Scenes // ISPRS Intern. J. Geo-Information. 2018. V. 7. № 11. P. 419.
- Yu D., Ji S., Liu J., Wei S. Automatic 3D Building Reconstruction from Multi-view Aerial Images with Deep Learning // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 171. P. 155–170.
- Leotta M.J., Long C., Jacquet B., Zins M., Lipsa D., Shan J., Xu B., Li Z., Zhang X., Chang S.F. et al. Urban Semantic 3D Reconstruction From Multiview Satellite Imagery // IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPRW). California, 2019. P. 1451–1460.
- Anzhu Y., Wenyue G., Bing L., Xin C., Xin W., Xuefeng C., Bingchuan J. Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 175. P. 448–460.
- Yi C., Zhang Y., Wu Q., Xu Y., Remil O., Wei M., Wang J. Urban Building Reconstruction from Raw LiDAR Point Data // Computer-Aided Design. 2017. V. 93. P. 1–14.
- Reconstructing 3D Buildings from Aerial LiDAR with Deep Learning. 2020. URL: https://developers.arcgis.com/python/samples/building-reconstruction-using-mask-rcnn/
- Wang R., Peethambaran J., Chen D. LiDAR Point Clouds to 3-D Urban Models: A Review // IEEE J. Selected Topics in Applied Earth Observations and Remote Sensing. 2018. V. 11. № 2. P. 606–627.
- Karantzalos K., Paragios N. Automatic Model-based Building Detection from Single Panchromatic High Resolution Images // The Intern. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2008. V. 37. № 3Ba.
- Wang K., Frahm J.M. Single View Parametric Building Reconstruction from Satellite Imagery // International Conf. on 3D Vision (3DV). Qingdao, 2017. P. 603–611.
- Alidoost F., Arefi H., Hahn M. Y-shaped Convolutional Neural Network for 3D roof Elements Extraction to Reconstruct Building Models from a Single Aerial Image // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. V. 2. P. 321–328.
- Biljecki F., Pang H.E. 3D Building Reconstruction from Single Street View Images Using Deep Learning // Intern. J. of Applied Earth Observation and Geoinformation. 2022. V. 112.
- Гвоздев О.Г., Козуб В.А., Рихтер А.А., Мурынин А.Б., Кошелева Н.В. Построение трехмерных моделей ригидных объектов по спутниковым изображениям высокого пространственного разрешения с использованием сверточных нейронных сетей // Исслед. Земли из космоса. 2020. № 5. С. 78–96.
- Kazaryan M., Richter A., Gvozdev O., Murynin A., Kozub V., Pukhovsky D., Shakhramanyan M., Semeni-shchev E. Reconstruction of 3-D Models of Infrastructure Objects from Satellite Images Based on Typed Elements // Proc. SPIE 12269, Conf. Remote Sensing Technologies and Applications in Urban Environments VII, 122690J. Edinburgh, 2022.
- Мурынин А.Б., Рихтер А.А. Особенности применения методов и алгоритмов реконструкции трехмерной формы ригидных объектов по данным панорамной съемки // Машинное обучение и анализ данных. 2018. V. 4. № 4. P. 235–247.
- Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015) Springer International Publishing. 2015. P. 234–241.
- Nabil I., M. Sohel R. MultiResUNet: Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation // Neural Networks. 2020. V. 121. P. 74–87.
- Гвоздев О.Г., Касинская К.А., Мурынин А.Б., Рихтер А.А. Получение информации об антропогенном замусоривании земной поверхности по данным спутниковой съемки // Тез. докл. второй Междунар. конф. “Ситуация, язык, речь. Модели и приложения”. Москва, Россия–Рим, Италия, 2019. P. 50–51.
- Гвоздев О.Г., Мурынин А.Б., Рихтер А.А. Комплекс прикладных решений по построению и обучению искусственных нейронных сетей для семантической сегментации аэрокосмических изображений произвольной канально-спектральной структуры в условиях дефицита обучающих данных // Матер. 19-й Всеросс. конф. с междунар. участием: Математические методы распознавания образов (ММРО-2019). М.: Российская академия наук, 2019. С. 344–348.
- Gvozdev O., Kosheleva N., Murynin A., Richter A. 3D-modeling Infrastructure Facilities Using Deep Learning Based on High Resolution Satellite Images // 20th Intern. Multidisciplinary Scientific GeoConf. SGEM. Albena, 2020. P. 149–156.
- Гвоздев О.Г., Козуб В.А., Кошелева Н.В., Мурынин А.Б., Рихтер А.А. Нейросетевой метод построения трехмерных моделей ригидных объектов по спутниковым изображениям // Мехатроника, автоматизация, управление. 2021. V. 22 (1). P. 48–55.
- Рихтер А.А., Гвоздев О.Г., Мурынин А.Б., Козуб В.А., Кошелева Н.В. Восстановление геометрических моделй объектов железнодорожной инфраструктуры по спутниковым изображениям на основе искусственных нейронных сетей // Матер. 18-й Вероссийской открытой конф. “Современные проблемы дистанционного зондирования Земли из космоса”. М., 2020. P. 41.
- Gvozdev O.G., Kozub V.A., Kosheleva N.V., Murynin A.B., Richter A.A. Constructing 3D Models of Rigid Objects from Satellite Images with Spatial Resolution Using Convolutional Neural Networks // Izvestiya, Atmospheric and Oceanic Physics. 2020. V. 56. № 12. P. 1664–1677.