Teleoperated Service Robot with an Immersive Mixed Reality Interface

Cover Page

Cite item

Full Text

Abstract

Teleoperated service robots can perform more complex and precise tasks as they combine robot skills and human expertise. Communication between the operator and the robot is essential for remote operation and strongly affects system efficiency. Immersive interfaces are being used to enhance teleoperation experience. However, latency or time delay can impair the performance of the robot operation. Since remote visualization involves transmitting a large amount of video data, the challenge is to decrease communication instability. Then, an efficient teleoperation system must have a suitable operation interface capable of visualizing the remote environment, controlling the robot, and having a fast response time. This work presents the development of a service robot teleoperation system with an immersive mixed reality operation interface where the operator can visualize the real remote environment or a virtual 3D environment representing it. The virtual environment aims to reduce the latency on communication by reducing the amount of information sent over the network and improve user experience. The robot can perform navigation and simple tasks autonomously or change to the teleoperated mode for more complex tasks. The system was developed using ROS, UNITY 3D, and sockets to be exported with ease to different platforms. The experiments suggest that having an immersive operation interface provides improved usability for the operator. The latency appears to improve when using the virtual environment. The user experience seems to benefit from the use of mixed reality techniques; this may lead to the broader use of teleoperated service robot systems.

About the authors

A. Nakayama

National Autonomous University of Mexico

Author for correspondence.
Email: annkym@gmail.com
Sirkuito Eskolar, Av. Universidad 3000

D. Ruelas

National Autonomous University of Mexico

Email: sango265@ciencias.unam.mx
Sirkuito Eskolar, Av. Universidad 3000

J. Savage

National Autonomous University of Mexico

Email: robotssavage@gmail.com
Sirkuito Eskolar, Av. Universidad 3000

E. Bribiesca

National Autonomous University of Mexico

Email: bribiesca@iimas.unam.mx
Sirkuito Eskolar, Av. Universidad 3000

References

  1. Niemeyer G., Preusche C., Stramigioli S., and Lee D. Telerobotics. Springer International Publishing, Cham, 2016, pp. 1085–1108.
  2. Green M.C., and McAllister C.A. Presence. American Cancer Society, 2020, pp. 1–5.
  3. Toet A., Kuling I.A., Krom B.N., and van Erp J. B.F. Toward enhanced teleoperation through embodiment. Frontiers in Robotics and AI 7 (2020), 14.
  4. Lichiardopol S. A survey on teleoperation. Technische Universitat Eindhoven, DCT report 20 (2007), 40–60.
  5. Stotko P., Krumpen S., Schwarz M., Lenz C., Behnke S., Klein R., and Weinmann M. A VR system for immersive teleoperation and live exploration with a mobile robot. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (Nov 2019).
  6. Almeida L., Menezes P., and Dias J. Improving robot teleoperation experience via immersive interfaces. In 2017 4th Experiment@International Conference (exp.at’17) (2017), pp. 87–92.
  7. Chen J., Glover M., Li C., and Yang C. Development of a user experience enhanced teleoperation approach. In 2016 International Conference on Advanced Robotics and Mechatronics (ICARM) (2016), pp. 171–177.
  8. Schäfer A., Reis G., and Stricker D. Investigating the sense of presence between handcrafted and panorama based virtual environments. arXiv preprint arXiv:2107.03823 (2021).
  9. Mütterlein J., and Hess T. Immersion, presence, interactivity: Towards a joint understanding of factors influencing virtual reality acceptance and use. Twenty-third Americas Conference on Information Systems (2017).
  10. Gradecki J. The Virtual Reality Programmer’s Kit. Wiley, 1994.
  11. Hetrick R., Amerson N., Kim B., Rosen E., Visser E.J.d., and Phillips E. Comparing virtual reality interfaces for the teleoperation of robots. In 2020 Systems and Information Engineering Design Symposium (SIEDS) (2020), pp. 1–7.
  12. Whitney D., Rosen E., Ullman D., Phillips E., and Tellex S. Ros reality: A virtual reality framework using consumer-grade hardware for ros-enabled robots. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2018), IEEE, pp. 1–9.
  13. Lee J., Kim M., and Kim J. A study on immersion and VR sickness in walking interaction for immersive virtual reality applications. Symmetry 9, 5 (2017).
  14. Rogers H., Khasawneh A., Bertrand J., and Madathil K.C. An investigation of the effect of latency on the operator’s trust and performance for manual multi-robot teleoperated tasks. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (2017), vol. 61, SAGE Publications Sage CA: Los Angeles, CA, pp. 390–394.
  15. Sheridan T.B., and Ferrell W.R. Remote manipulative control with transmission delay. IEEE Transactions on Human Factors in Electronics (1963), 25–29.
  16. Lane J.C., Carignan C.R., Sullivan B.R., Akin D.L., Hunt T., and Cohen R. Effects of time delay on telerobotic control of neutral buoyancy vehicles. In Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No. 02CH37292) (2002), vol. 3, IEEE, pp. 2874–2879.
  17. Bouzakaria N., Concolato C., and Le Feuvre J. Overhead and performance of low latency live streaming using MPEG-DASH. In IISA 2014, The 5th International Conference on Information, Intelligence, Systems and Applications (2014), IEEE, pp. 92–97.
  18. Kebria P.M., Abdi H., Dalvand M.M., Khosravi A., and Nahavandi S. Control methods for internet-based teleoperation systems: A review. IEEE Transactions on Human-Machine Systems 49, 1 (2019), 32–46.
  19. Kebria P.M., Khosravi A., Nahavandi S., Shi P., and Alizadehsani R. Robust adaptive control scheme for teleoperation systems with delay and uncertainties. IEEE Transactions on Cybernetics 50, 7 (2020), 3243–3253.
  20. Young J., Sharlin E., and Igarashi T. What is mixed reality, anyway? considering the boundaries of mixed reality in the context of robots. In Mixed Reality and Human-Robot Interaction. Springer, 2011, pp. 1–11.
  21. Milgram P., and Kishino F. A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems 77, 12 (1994), 1321–1329.
  22. Lipton J.I., Fay A.J., and Rus D. Baxter’s homunculus: Virtual reality spaces for teleoperation in manufacturing. IEEE Robotics and Automation Letters 3, 1 (2018), 179–186.
  23. Wen M.C., Yang C.H., Tsai M.H., and Kang S.C. Teleyes: A telepresence system based on stereoscopic vision and head motion tracking. Automation in Construction 89 (2018), 199–213.
  24. Wilson B., Bounds M., McFadden D., Regenbrecht J., Ohenhen L., Tavakkoli A., and Loffredo D. VETO: An immersive virtual environment for tele-operation. Robotics 7, 2 (2018), 26.
  25. Yamamoto T., Nishino T., Kajima H., Ohta M., and Ikeda K. Human support robot (HSR). In ACM SIGGRAPH 2018 Emerging Technologies (New York, NY, USA, 2018), SIGGRAPH ’18, ACM, pp. 11:1–11:2.
  26. Kitano H., Asada M., Kuniyoshi Y., Noda I., and Osawa E. Robocup: The robot world cup initiative. In Proceedings of the first international conference on Autonomous agents (1997), pp. 340–347.
  27. Shibata T. Head mounted display. Displays 23, 1-2 (2002), 57–64.
  28. Desai P.R., Desai P.N., Ajmera K.D., and Mehta K. A review paper on Oculus Rift-A Virtual Reality Headset, arXiv preprint arXiv:1408.1173 (2014).
  29. Webster R., and Jr. J. F.D. System usability scale (SUS): Oculus Rift ® DK2 and Samsung Gear VR ® . In 2017 ASEE Annual Conference & Exposition (Columbus, Ohio, June 2017), ASEE Conferences. https://peer.asee.org/28899.
  30. Parisi D. A counterrevolution in the hands: The console controller as an ergonomic branding mechanism. Journal of Games Criticism 2, 1 (2015), 1–23.
  31. Koubâa A. Robot Operating System (ROS)., vol. 1. Springer, 2019.
  32. Savage J., LLarena A., Carrera G., Cuellar S., Esparza D., Minami Y., and Peñuelas U. ViRbot: A system for the operation of mobile robots. In RoboCup 2007: Robot Soccer World Cup XI (Berlin, Heidelberg, 2008), U. Visser, F. Ribeiro, T. Ohashi, and F. Dellaert, Eds., Springer Berlin Heidelberg, pp. 512–519.
  33. Creighton R. H. Unity 3D game development by example: A Seat-of-your-pants manual for building fun, groovy little games quickly. Packt Publishing Ltd, 2010.
  34. Fisher R., Perkins S., Walker A., and Wolfart E. Laplacian/laplacian of gaussian. Hypermedia Image Processing Reference (2003).
  35. Kessler G.D., and Hodges L.F. A network communication protocol for distributed virtual environment systems. In Proceedings of the IEEE 1996 Virtual Reality Annual International Symposium (1996), pp. 214–221.
  36. SIGVerse. http://www.sigverse.org/wiki/en/
  37. Inamura T., Shibata T., Sena H. Hashimoto T., Kawai N., Miyashita T., Sakurai Y., Shimizu M., Otake M., Hosoda K. Simulator platform that enables social interaction simulation —SIGVerse: SocioIntelliGenesis simulator. In Proceedings of the IEEE/SICE International Symposium on System Integration (2010), pp. 212–217.
  38. ROS web video server package. http://wiki.ros.org/web_video_server.
  39. Brooke, J., et al. SUS: A quick and dirty usability scale. Usability evaluation in industry 189, 194 (1996), 4–7.
  40. Lewis, J. R. The system usability scale: Past, present, and future. International Journal of Human–Computer Interaction 34, 7 (2018), 577–590
  41. Read P., Meyer M.P. Restoration of motion picture film. Elsevier, 2000.
  42. Bangor, A., Kortum, P., and Miller, J. Determining what individual sus scores mean: Adding an adjective rating scale. Journal of usability studies 4, 3 (2009), 114–123.
  43. Miller R.B. Response time in man-computer conversational transactions. In AFIPS Fall Joint Computing Conference (1) (1968), vol. 33 of AFIPS Conference Proceedings, AFIPS / ACM / Thomson Book Company, Washington D.C., pp. 267–277.
  44. GuidelinesforVRperformanceoptimization. https://developer.oculus.com/documentation/native/pc/dg-performance-guidelines/

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».