Mathematical modeling with constraints and research of the optimal configuration of an optical stereo system consisting of two flat mirrors and videocamera

封面

如何引用文章

全文:

详细

The paper continues a series of studies devoted to mathematical modeling and optimization of optical stereo system configuration, consists of video camera and two flat mirrors. In previous work, we developed a model that takes into account various constraints on the configuration of such a system: the size of the stereo base, the size of the mirrors, overall dimensions of the optical system, the absence of double reflection of light rays, preventing the situation when the video camera is reflected in the mirrors. A conditional optimization problem is formulated, the perimeter of the rectangle that bounds the optical system is chosen as the objective function.In this work we added a set of constraints to the model that define the configuration of the working area, which is formed by the intersection of the fields of view of two virtual cameras. The corresponding changes were made to the program for the numerical solution of the constrained optimization problem using the SciPy package. The results obtained expand the theory of computer vision and can be used in the creation and research of computer vision systems for robotic systems and non-destructive testing systems.

作者简介

Dmitry Stepanov

Ailamazyan Program Systems Institute of RAS

Email: mitek1989@mail.ru
Candidate of Technical Sciences, researcher, Research Center for Multiprocessor Systems, Program Systems Institute of Russian Academy of Sciences. The field of scientific interests: mathematical modeling, numerical methods, computer vision, pattern recognition, parallel programming, visual navigation, data analysis

Igor Tishchenko

Ailamazyan Program Systems Institute of RAS

Email: igor.p.tishchenko@gmail.com
Candidate of Technical Sciences, acting director of the Program Systems Institute of Russian Academy of Sciences. The field of scientific interests: pattern recognition, parallel programming, artificial neural networks, unmanned aerial vehicles

参考

  1. Durand-Texte T., Melon M., Simonetto E., Durand S., Moulet M.-H.. “3D vision method applied to measure the vibrations of non-flat items with a two-mirror adapter”, Journal of Physics Conference Series, 1149:1 (2018), 012008.
  2. Gorevoy A. V., Machikhin A. S.. “Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements”, Computer Optics, 41:4 (2017), pp. 535–544.
  3. Zhou F., Chen Y., Zhou M., Li X.. “Effect of catadioptric component postposition on lens focal length and imaging surface in a mirror binocular system”, Sensors, 19:23 (2019), 5309.
  4. Степанов Д. Н., Смирнов А. В.. «Исследование процесса калибровки и оптических характеристик стереонасадки 3Dberry», Программные системы: теория и приложения, 9:3(38) (2018), с. 11–28.
  5. Степанов Д. Н.. «Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учетом дисторсии объективов», Компьютерная оптика, 43:1 (2019), с. 105–114.
  6. Степанов Д. Н., Тищенко И. П.. «Математическое моделирование и исследование оптимальной конфигурации оптической стереосистемы, состоящей из двух плоских зеркал», Программные системы: теория и приложения, 62:3(62) (2024), с. 23–52.
  7. Gluckman J., Nayar S. K.. “Rectified catadioptric stereo sensors”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24:2 (2002), pp. 224–236.
  8. Clark A. F., Chan S. W.. “Single-camera computational stereo using a rotating mirror”, Proceedings of the British Machine Vision Conference. 2 (13-16 September 1994, University of York, York, UK), ed. Hancock E. R., BMVA Press, 1994, ISBN 952-1898-1-X, pp. 761–770.
  9. Nakao T., Kashitani A.. “Panoramic camera using a mirror rotation mechanism and a fast image mosaicing”, Proceedings 2001 International Conference on Image Processing. 2 (07-10 October 2001, Thessaloniki, Greece), IEEE, 2001, ISBN 0-7803-6725-1, pp. 1045–1048.
  10. Hu S., Dong H., Shimasaki K., Jiang M., Senoo T., Ishii I.. “Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control”, IEEE Robotics and Automation Letters, 7:2 (2022), pp. 4086–4093.
  11. Baker S., Nayar S. K.. “A theory of single-viewpoint catadioptric image formation”, International Journal of Computer Vision, 35:2 (1999), pp. 175–196.
  12. Pachidis T., Lygouras J.. “A pseudo stereo vision system as a sensor for real time path control of a robot”, Proceedings of the 19th IEEE Instrumentation and Measurement Technology Conference. 2, IMTC 2002 (21-23 May 2002, Anchorage, AK, USA), IEEE, 2002, ISBN 0-7803-7218-2, pp. 1589–1594.
  13. Vernon D.. “An optical device for computation of binocular stereo disparity with a single static camera”, Opto-Ireland 2002: Optical Metrology, Imaging, and Machine Vision (5-6 September 2002, Galway, Ireland), Proc. SPIE, vol. 4877, 2003, pp. 38–46.
  14. Chai X., Zhou F., Chen X.. “Epipolar constraint of single camera mirror binocular stereo vision systems”, Optical Engineering, 56:8 (2017), 084103, 8 pp.
  15. Zhou F., Chai X., Chen X., Song Y.. “Omnidirectional stereo vision sensor based on single camera and catoptric system”, Applied Optics, 55:25 (2016), pp. 6813–6820.
  16. Liu Y., Zhou F., Guo Z., Tan H., Zhang W.. “Design and optimization of a quad-directional stereo vision sensor with wide field of view based on single camera”, Measurement, 203:7 (2022), 111915.
  17. Wang R., Li X., Zhang Y.. “Analysis and optimization of the stereo-system with a four-mirror adapter”, Journal of the European Optical Society Rapid Publications, 3 (2008), 08033, 7 pp.
  18. Yu L., Pan B.. “Structure parameter analysis and uncertainty evaluation for single-camera stereo-digital image correlation with a four-mirror adapter”, Applied Optics, 55:25 (2016), pp. 6936–6946.
  19. Luo H., Yu L., Pan B.. “Design and validation of a demand-oriented single-camera stereo-DIC system with a four-mirror adapter”, Measurement, 186:5 (2021), pp. 110083.
  20. López-Alba E., Felipe-Sesé L., Schmeer S., D{'i}az F. A.. “Optical low-cost and portable arrangement for full field 3D displacement measurement using a single camera”, Measurement Science and Technology, 27:11 (2016), 115901.
  21. Yu Z., Ma K., Wang Z., Wu J., Wang T., Zhuge J.. “Surface modeling method for aircraft engine blades by using speckle patterns based on the virtual stereo vision system”, Optics Communications, 411 (2018), pp. 33–39.
  22. Bartol K., Bojanić D., Petković T., Pribanić T.. “Catadioptric stereo on a smartphone”, 2021 12th International Symposium on Image and Signal Processing and Analysis, ISPA 2021 (13-15 September 2021, Zagreb, Croatia), IEEE, 2021, ISBN 1-66542-639-X, pp. 189–194.
  23. Aggarwal R., Vohra A., Namboodiri A. M.. “Panoramic stereo videos with a single camera”, 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016 (27-30 June 2016, Las Vegas, NV, USA), IEEE, 2016, ISBN 978-1-4673-8850-4, pp. 3755–3763.
  24. Zhu L., Wang W., Liu Y., Lai S., Li J.. “A virtual reality video stitching system based on mirror pyramids”, 2017 International Conference on Virtual Reality and Visualization, ICVRV 2017 (21-22 October 2017, Zhengzhou, China), IEEE, 2017, ISBN 978-1-5386-2636-8, pp. 288–293.
  25. Zhong F, Quan C.. “A single color camera stereo vision system”, IEEE Sensors Journal, 18:4 (2018), pp. 1474–1482.
  26. Nene S. A., Nayar S .K.. “Stereo with mirrors”, Sixth International Conference on Computer Vision (07 January 1998, Bombay, India), IEEE, 2002, ISBN 81-7319-221-9, pp. 1087–1094.
  27. Goshtasby A., Gruver W. A.. “Design of a single-lens stereo camera system”, Pattern Recognition, 26:6 (1993), pp. 923–937.
  28. Gluckman J., Nayar S. K.. “Planar catadioptric stereo: geometry and calibration”, Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1 (23-25 June 1999, Fort Collins, CO, USA), IEEE, 1999, ISBN 0-7695-0149-4, pp. 22–28.
  29. Gluckman J., Nayar S. K.. “Catadioptric stereo using planar mirrors”, International Journal of Computer Vision, 44:1 (2001), pp. 65–79.
  30. Endres F., Sprunk C., Kümmerle R., Burgard W.. “A catadioptric extension for RGB-D cameras”, 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (14-18 September 2014, Chicago, IL, USA), IEEE, 2014, ISBN 9781479969357, pp. 466–471.
  31. Mariottini G. L., Scheggi S., Morbidi F., Prattichizzo D.. “Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization”, Visual Servoing via Advanced Numerical Methods, Lecture Notes in Control and Information Sciences, vol. 401, eds. Chesi G., Hashimoto K., Springer, London, 2010, ISBN 978-1-84996-088-5, pp. 3–21.
  32. Takahashi K., Nobuhara S.. “Structure of multiple mirror system from kaleidoscopic projections of single 3D point”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 44:9 (2022), pp. 5602–5617.
  33. Zhao Y., Chen Y., Yang L.. “Calibration of double-plane-mirror catadioptric camera based on coaxial parallel circles”, Journal of Sensors, 2022:12 (2022), 7145400, 15 pp.

补充文件

附件文件
动作
1. JATS XML
下载


Creative Commons License
此作品已接受知识共享署名 4.0国际许可协议的许可

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».