Retrieving Structural Information on Anthropogenic Objects from Single Aerospace Images

N. V. Antipova; Антипова Н. В.; O. G. Gvozdev; Гвоздев О. Г.; V. A. Kozub; Козуб В. А.; A. B. Murynin; Мурынин А. Б.; A. A. Richter; Рихтер А. А.

doi:10.31857/S0002338823030010

Retrieving Structural Information on Anthropogenic Objects from Single Aerospace Images

Authors: Antipova N.V.¹^,2, Gvozdev O.G.¹^,3, Kozub V.A.¹, Murynin A.B.¹^,2, Richter A.A.¹
Affiliations:
1. AEROCOSMOS Research Institute for Aerospace Monitoring, 105064, Moscow, Russia
2. Federal Research Center “Computer Science and Control,” Russian Academy of Sciences, 119333, Moscow, Russia
3. Moscow State University of Geodesy and Cartography (MIIGAiK), 105064, Moscow, Russia
Issue: No 3 (2023)
Pages: 90-105
Section: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
URL: https://journals.rcsi.science/0002-3388/article/view/136881
DOI: https://doi.org/10.31857/S0002338823030010
EDN: https://elibrary.ru/EUCSLC
ID: 136881

Cite item

Full Text

Open Access
Restricted Access

Access granted
Restricted Access

Subscription Access

Abstract
About the authors
References
Supplementary files
Statistics

Abstract

A method for the three-dimensional reconstruction of buildings from a single aerospace image, which consists of two stages—the extraction of semantic information and the restoration of the geometry—is described. The topology of artificial neural networks by the semantic segmentation of building components and reference objects is considered. In the second stage, some mathematical transformations are presented: by calculating the photometric parameters of an image based on metadata or reference objects, by converting spatial coordinates into axial and flat image coordinates, etc. Two examples are shown for calculating photometric parameters and a three-dimensional building model from a single satellite image and an aerial photograph.

References

Biljecki F., Stoter J., Ledoux H., Zlatanova S., Çöltekin A. Applications of 3D City Models: State of the Art Review // ISPRS Intern. J. Geo-Information. 2015. V. 4. № 4. P. 2842–2889.
Tang L., Li L., Ying S., Lei Y. A Full Level-of-Detail Specification for 3D Building Models Combining Indoor and Outdoor Scenes // ISPRS Intern. J. Geo-Information. 2018. V. 7. № 11. P. 419.
Yu D., Ji S., Liu J., Wei S. Automatic 3D Building Reconstruction from Multi-view Aerial Images with Deep Learning // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 171. P. 155–170.
Leotta M.J., Long C., Jacquet B., Zins M., Lipsa D., Shan J., Xu B., Li Z., Zhang X., Chang S.F. et al. Urban Semantic 3D Reconstruction From Multiview Satellite Imagery // IEEE/CVF Conf. on Computer Vision and Pattern Recognition Workshops (CVPRW). California, 2019. P. 1451–1460.
Anzhu Y., Wenyue G., Bing L., Xin C., Xin W., Xuefeng C., Bingchuan J. Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 175. P. 448–460.
Yi C., Zhang Y., Wu Q., Xu Y., Remil O., Wei M., Wang J. Urban Building Reconstruction from Raw LiDAR Point Data // Computer-Aided Design. 2017. V. 93. P. 1–14.
Reconstructing 3D Buildings from Aerial LiDAR with Deep Learning. 2020. URL: https://developers.arcgis.com/python/samples/building-reconstruction-using-mask-rcnn/
Wang R., Peethambaran J., Chen D. LiDAR Point Clouds to 3-D Urban Models: A Review // IEEE J. Selected Topics in Applied Earth Observations and Remote Sensing. 2018. V. 11. № 2. P. 606–627.
Karantzalos K., Paragios N. Automatic Model-based Building Detection from Single Panchromatic High Resolution Images // The Intern. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2008. V. 37. № 3Ba.
Wang K., Frahm J.M. Single View Parametric Building Reconstruction from Satellite Imagery // International Conf. on 3D Vision (3DV). Qingdao, 2017. P. 603–611.
Alidoost F., Arefi H., Hahn M. Y-shaped Convolutional Neural Network for 3D roof Elements Extraction to Reconstruct Building Models from a Single Aerial Image // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. V. 2. P. 321–328.
Biljecki F., Pang H.E. 3D Building Reconstruction from Single Street View Images Using Deep Learning // Intern. J. of Applied Earth Observation and Geoinformation. 2022. V. 112.
Гвоздев О.Г., Козуб В.А., Рихтер А.А., Мурынин А.Б., Кошелева Н.В. Построение трехмерных моделей ригидных объектов по спутниковым изображениям высокого пространственного разрешения с использованием сверточных нейронных сетей // Исслед. Земли из космоса. 2020. № 5. С. 78–96.
Kazaryan M., Richter A., Gvozdev O., Murynin A., Kozub V., Pukhovsky D., Shakhramanyan M., Semeni-shchev E. Reconstruction of 3-D Models of Infrastructure Objects from Satellite Images Based on Typed Elements // Proc. SPIE 12269, Conf. Remote Sensing Technologies and Applications in Urban Environments VII, 122690J. Edinburgh, 2022.
Мурынин А.Б., Рихтер А.А. Особенности применения методов и алгоритмов реконструкции трехмерной формы ригидных объектов по данным панорамной съемки // Машинное обучение и анализ данных. 2018. V. 4. № 4. P. 235–247.
Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015) Springer International Publishing. 2015. P. 234–241.
Nabil I., M. Sohel R. MultiResUNet: Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation // Neural Networks. 2020. V. 121. P. 74–87.
Гвоздев О.Г., Касинская К.А., Мурынин А.Б., Рихтер А.А. Получение информации об антропогенном замусоривании земной поверхности по данным спутниковой съемки // Тез. докл. второй Междунар. конф. “Ситуация, язык, речь. Модели и приложения”. Москва, Россия–Рим, Италия, 2019. P. 50–51.
Гвоздев О.Г., Мурынин А.Б., Рихтер А.А. Комплекс прикладных решений по построению и обучению искусственных нейронных сетей для семантической сегментации аэрокосмических изображений произвольной канально-спектральной структуры в условиях дефицита обучающих данных // Матер. 19-й Всеросс. конф. с междунар. участием: Математические методы распознавания образов (ММРО-2019). М.: Российская академия наук, 2019. С. 344–348.
Gvozdev O., Kosheleva N., Murynin A., Richter A. 3D-modeling Infrastructure Facilities Using Deep Learning Based on High Resolution Satellite Images // 20th Intern. Multidisciplinary Scientific GeoConf. SGEM. Albena, 2020. P. 149–156.
Гвоздев О.Г., Козуб В.А., Кошелева Н.В., Мурынин А.Б., Рихтер А.А. Нейросетевой метод построения трехмерных моделей ригидных объектов по спутниковым изображениям // Мехатроника, автоматизация, управление. 2021. V. 22 (1). P. 48–55.
Рихтер А.А., Гвоздев О.Г., Мурынин А.Б., Козуб В.А., Кошелева Н.В. Восстановление геометрических моделй объектов железнодорожной инфраструктуры по спутниковым изображениям на основе искусственных нейронных сетей // Матер. 18-й Вероссийской открытой конф. “Современные проблемы дистанционного зондирования Земли из космоса”. М., 2020. P. 41.
Gvozdev O.G., Kozub V.A., Kosheleva N.V., Murynin A.B., Richter A.A. Constructing 3D Models of Rigid Objects from Satellite Images with Spatial Resolution Using Convolutional Neural Networks // Izvestiya, Atmospheric and Oceanic Physics. 2020. V. 56. № 12. P. 1664–1677.