Collaborative design and prototyping of robotic systems based on a neurocognitive approach
- 作者: Bzhikhatlov K.C.1, Pshenokova I.A.1
-
隶属关系:
- Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences
- 期: 卷 15, 编号 4 (2025)
- 页面: 497-508
- 栏目: GENERAL ISSUES OF FORMALIZATION IN THE DESIGNING: ONTOLOGICAL ASPECTS
- URL: https://journals.rcsi.science/2223-9537/article/view/352637
- DOI: https://doi.org/10.18287/2223-9537-2025-15-4-497-508
- ID: 352637
如何引用文章
全文:
详细
The use of project management systems based on artificial intelligence enhances the efficiency of collaborative work. This study aims to develop a concept for a system that supports collaborative design and prototyping grounded in a neurocognitive multi-agent approach. The structure of the proposed system is presented as a client-server application. System clients may include both human users and intelligent agents represented by standalone programs built on multi-agent neurocognitive architectures. The server stores a generalized behavioral model of the designed device under various conditions, as well as detailed information about all its components. The developed interaction scheme between the server and the system's clients enables the dynamic creation of an ontology that describes the structure of the designed device, thereby facilitating data processing and streamlining the design process. The presented system for designing robotic devices provides comprehensive project management capabilities, including the creation, editing, and deletion of projects, the integration of users and software agents, and efficient data exchange among all participants in the design process.
全文:
Введение
Интеллектуальное прототипирование (ИП) в проектировании робототехнических систем объединяет методы и технологии, основанные на искусственном интеллекте (ИИ). ИП позволяет создавать комплексные решения, которые учитывают разнообразные аспекты пользовательского опыта и функциональности продукта [1]. Совместная работа человеко-машинного коллектива является одним из элементов парадигмы Industry 5.0 [2]. Одним из основных методов ИП является использование генеративного проектирования [3], что позволяет находить инновационные решения [4].
Облачные платформы для совместной работы в реальном времени позволяют нескольким участникам команды одновременно работать над прототипами, делиться результатами и быстро вносить изменения. Это полезно для распределённых команд, так как существенно сокращает время на обратную связь и корректировки.
Важным аспектом является тестирование прототипов с использованием виртуальной или дополненной реальности [5]. Например, в [6] представлена платформа для совместного проектирования городской среды, где для упрощения взаимодействия пользователя и платформы используются виртуальная и дополненная реальности.
В [7] представлен метод проектирования, ориентированный на пользователя и включающий набор инструментов и методов для проектирования, прототипирования и валидации решений. ИП применяется для автоматической адаптации таких решений к предпочтениям и потребностям пользователей.
В [8] рассмотрены три парадигмы ИП: цифровое прототипирование, которое фокусируется на проектировании на основе данных; физическое и цифровое прототипирование, включающее проектирование и сборку с использованием смешанной реальности; коллективное прототипирование, объединяющее интеллект человека и машины. Методы ИП используются в различных областях [9-11], позволяют быстро оценить и доработать проект, получить обратную связь в режиме реального времени.
Целью исследования является разработка системы коллективного проектирования и прототипирования изделий и устройств для робототехники на основе нейрокогнитивного мультиагентного подхода.
1 Концепция системы
В проектировании изделий робототехники принимают участие различные специалисты, использующие специализированное программное обеспечение (ПО), которое позволяет проводить свою часть проектирования и моделирования разрабатываемого устройства. В данной работе, по аналогии с технологией BIM (Building Information Model) [12, 13], рассматривается концепция единой модели устройства робототехники и ПО для работы с подобной моделью.
ПО должно позволять моделировать различные физико-химические свойства изделия: механические и электротехнические; взаимодействие с внешней средой; производственные процессы и др. Для этого необходимы интерфейсы редактирования создаваемого устройства, которые должны работать с единой моделью устройства. Функционал коллективной системы прототипирования устройств робототехники показан на рисунке 1.
Рисунок 1 – Функционал коллективной системы прототипирования устройств (узлов) робототехники
Система проектирования и прототипирования изделий и устройств робототехники может быть реализована в виде клиент-серверного приложения. Схема взаимодействия между клиентами и сервером показана на рисунке 2. Клиентами системы могут быть «живые» пользователи и интеллектуальные агенты (ИА) в виде отдельных программ. Пользователи отвечают за управление проектом, постановку задач для ИА и редактирование устройств. Все изменения отправляются на сервер, где хранится база данных с проектами и типовыми устройствами, и передаются пользователям. На сервере хранятся обобщённые модели создаваемого устройства и информация о всех его элементах, а также моделируется поведение устройства в различных условиях. Редактирование и моделирование производится на нескольких уровнях, а на сервере создаётся вся сопроводительная документация.
Рисунок 2 – Структура коллективной системы прототипирования устройств (узлов) робототехники
ИА и пользователи могут загружать модель редактируемого устройства и просматривать результаты моделирования. ИА наравне с пользователями могут вносить изменения в модель устройства и обмениваться сообщениями с другими участниками человеко-машинного коллектива. Программная реализация системы коллективного проектирования и прототипирования устройств робототехники состоит из серверной части и нескольких клиентов. Схема взаимодействия между элементами подобной программы показана на рисунке 3.
Рисунок 3 – Схема взаимодействия между сервером и клиентами коллективной системы проектирования и прототипирования устройств (узлов) для робототехники
Клиентами являются: программы для редактирования модели устройств; ИА; панель редактирования, которая используется для общего управления проектами и ролями пользователей и ИА. Здесь же проводится сбор статистики и выгрузка отчётов по работе сервера. Редактор представляет собой программу для визуализации и редактирования модели разрабатываемого устройства [14]. Эта программа позволяет вносить изменения в модель устройства, отправлять изменения на сервер, получать результаты моделирования поведения устройства и выводить их в виде трёхмерной модели (рисунок 3).
Редактором осуществляется создание и редактирование сопроводительной документации, а также обмен сообщениями между пользователями (включая ИА). ИА включает интеллектуальную систему (например, обученную модель, предназначенную для генерации конструкции, подбора рекомендаций для пользователя, генерации кода или документов) и модуль взаимодействия с сервером, через который происходит передача результатов работы за счёт изменений в проекте или сообщений для пользователей. ИА содержит информацию о проектируемом устройстве или его элементе, которую он передаёт в виде сообщений другим агентам или пользователю. ИА обладают собственными целевыми функциями (максимизация энергии). Протокол взаимодействия между агентами осуществляется на основе мультиагентного алгоритма (см., например, [15, 16]). При его выполнении агенты заключают договорные обязательства, в соответствии с которыми они взаимодействуют друг с другом посредством сообщений. Зависимость, возникающую, когда агенты заключают друг с другом договорные обязательства на условиях взаимовыгодного обмена энергии на знания, названа мультиагентным контрактом.
На сервере осуществляются: обмен данными между клиентами; хранение информации в базе данных; контроль версий и системы моделирования разрабатываемого устройства; разграничение доступа пользователей и целостность модели устройства.
2 Архитектура интеллектуального агента
ИА в коллективной системе могут выполнять ряд задач, характерных для участников проектирования. ИА представляет собой программное решение, состоящее из интерфейса взаимодействия с сервером, обеспечивающего обмен сообщениями через открытый протокол, конвертирование сообщений сервера в подходящий формат и передачу сообщений в модуль обработки. В работе рассматривается возможность использования мультиагентных нейрокогнитивных архитектур для моделирования процессов рассуждения и принятия решений [17]. Архитектура ИА приведена на рисунке 4. Мультиагентная нейрокогнитивная архитектура состоит из набора агентов, моделирующих отдельные нейроны или группы нейронов головного мозга, разделённые на функциональные группы [18]. Взаимодействие между агентами аналогично механизмам в нейронных сетях мозга человека. Каждый агент, будучи автономным компонентом, решает конкретно поставленную ему задачу в процессе прототипирования, обеспечивая параллельную обработку данных и повышая эффективность совместной работы. Первый слой подобных агентов отвечает за сбор данных из внешней (по отношению к ИА) среды. В частности, агент, работающий в коллективной системе проектирования, имеет две группы сенсоров, предназначенных для: получения сообщений от других пользователей системы; получения информации о модели разрабатываемого устройства (структура, трёхмерная модель, результаты моделирования и т.д.).
Рисунок 4 – Архитектура интеллектуального агента
После сбора информации агенты анализируют и интерпретируют данные в соответствии с заданными алгоритмами и моделями, а также могут осуществлять классификацию, прогнозирование и генерацию новых знаний. Например, агент, отвечающий за 3D-моделирование, может использовать данные о предыдущих версиях проекта, чтобы предложить его улучшение и оптимизацию. Каждый агент может отправлять сообщения своему окружению, что позволяет другим агентам в реальном времени учитывать изменения и принимать решения на основе актуализированных данных. После обработки и обмена информацией агенты вырабатывают совместный результат, который формируется в виде набора сигналов с агентов-эффекторов, которые так же, как и сенсоры, разделены на две группы. Полученная информация собирается программным интерфейсом и отправляется на сервер.
Важным свойством мультиагентной нейрокогнитивной архитектуры является устойчивость к сбоям. Если один из агентов выходит из строя, другие могут продолжать свою работу, обмениваясь информацией и принимая решения на основе оставшихся ресурсов. Это позволяет системе оставаться в рабочем состоянии и адаптироваться к изменяющимся условиям прототипирования. Пример мультиагентной нейрокогнитивной архитектуры, обеспечивающей получение и анализ данных о трёхмерной модели устройства от сервера системы проектирования, приведён на рисунке 5.
Рисунок 5 – Мультиагентная нейрокогнитивная архитектура получения информации о трёхмерной модели проектируемого устройства (узла)
Модель робототехнического устройства описывается набором сообщений от сервера, где представлены данные по определённому аспекту моделирования. В частности, для трёхмерной модели устройства – это информация об элементах устройства, каждый из которых состоит из набора плоскостей, включающих набор точек. Точки определяются набором координат x, y, z. Каждое сообщение от сервера представляет собой набор сообщений для конкретных агентов в мультиагентной нейрокогнитивной архитектуре, в частности для агнейронов-сенсоров, отвечающих за получение сигнала из внешнего мира. В мультиагентной архитектуре созданы следующие агенты-сенсоры: сенсор устройств, сенсор поверхностей, сенсор координат (x, y, z), сенсор углов, сенсор материалов и т.д. Архитектура содержит агентов сенсорного типа (расположены в верхней части рисунка и обозначены треугольниками), абстрактного типа (обозначены кругами), агентов действий (шестиугольники) и агентов событий (обозначены фигурой в виде клевера).
Данные, поступающие в систему, запускают работу базы знаний сенсоров, которые пересылают сообщения другим агентам. Например, при появлении нового устройства сенсор отправляет сообщение с названием устройства агенту абстрактного типа «устройство» и агенту-действие «состоит». Одновременно приходит информация о наличии поверхности на данном устройстве, что вызывает срабатывание сенсора поверхностей. Этот сенсор передаёт информацию агенту абстрактного типа «поверхность», в результате группе агентов событийного типа передаются три сообщения: «устройство», «состоит», «поверхность». Если на момент подобной передачи среди агентов событий нет подходящего, то он создаётся фабрикой событийных агентов. Вновь созданный агент отвечает за мультиагентное представление факта о том, что «устройство состоит из поверхности» и автоматически заключает контракты с агентами, на чьи запросы он был создан. Если агент уже существовал, то он ответит на полученные запросы и отправит своё сообщение далее на следующие слои мультиагентной архитектуры.
После формирования мультиагентного факта распознавания поверхности в мультиагентной архитектуре формируются факты, связанные с конкретными координатами точек на поверхности. Для этого на сенсоры координат отправляются трёхмерные координаты точек поверхности. Сенсоры координат x, y, z отправляют сообщение абстрактному агенту «точка» и выполняют рассылку со своими входными сигналами агентам числительного типа. В результате активируются агенты числительные с именами, совпадающими с координатами. Если подобного агента нет, то фабрика числительных создаст его автоматически (на рисунке 5 это «20»). В результате числительное отправит своё имя событийным агентам. Вместе с координатой событийным агентам отправляются сообщения от агентов «точка», «координата x» и действие «равно», созданные в результате работы сенсора координат. Этот набор сообщений формирует событие «Точка имеет координату Х равную 20». Так же формируются факты для координат y и z. Эта информация позволяет записывать расположение точек на модели.
Срабатывание сенсоров координат вызывает передачу сообщений абстрактному агенту «поверхность» и агенту-действие «содержит», в результате чего формируется событие «Поверхность включает точку», описывающее принадлежность новой точки к конкретной поверхности устройства. Кроме набора поверхностей и точек система получения данных о модели формирует мультиагентные факты, описывающие расстояния между точками и углы между линиями на поверхности. Похожим образом передается информация о свойствах поверхности и материала каждого устройства.
В качестве примера проектируемого устройства рассмотрен модуль опрыскивателя для автономного робота по защите растений (рисунок 6).
Рисунок 6 – Схема (а), внешний вид (б) и чертежи (в, г) манипулятора опрыскивателя
Модуль представляет собой манипулятор, способный перемещаться по горизонтали и смешаться вниз. На транспортной платформе устанавливается несколько таких модулей, каждый из которых оснащён собственной системой управления, двумя двигателями, насосом и набором управляемых форсунок для внесения активных веществ в почву или на поверхность растений. Структурная схема манипулятора показана на рисунке 6а, а на рисунке 6б показан автономный робот с подобным манипулятором во время проведения испытаний. В процессе проектирования разработаны конструкция устройства (рисунок 6в) и схематические решения (рисунок 6г).
В процессе работы в системе коллективного проектирования созданы: модуль трёхмерного проектирования изделия, модуль моделирования схемотехнических решений, текстовый редактор исходного кода для микроконтроллеров; сформирована онтология разрабатываемого устройства. Фрагмент онтологии приведён на рисунке 7. Сначала заполняется список основных элементов устройства (на примере – это модуль управления, система перемещения и два опрыскивателя). Каждый элемент состоит из отдельных устройств. Для разных устройств заполняется информация о расположении, материале, размерах (например, для корпуса основания) или схемы, напряжения питания и выполняемом алгоритме (для сетевого модуля).
Рисунок 7 – Фрагмент формируемой онтологии при разработке манипулятора опрыскивателя
Подобное решение позволяет обеспечить создание онтологии, описывающей структуру проектируемого и используемых устройств, что упрощает проектирование новых устройств для робототехники, дальнейшую обработку данных и интеллектуальное сопровождение процесса проектирования.
Заключение
Представлена коллективная система проектирования и прототипирования устройств для робототехники, которая обеспечивает: управление проектами; возможность создания, редактирования и удаления проектов; постановку цели проектирования; подключение пользователей и программных агентов, а также обмен данными между ними.
Архитектура коллективной системы выполнена в виде клиент-серверного приложения. В качестве клиентов системы могут быть «живые» пользователи и ИА в виде отдельных программ, в т.ч. системы принятия решений на основе мультиагентных нейрокогнитивных архитектур. Сервер осуществляет хранение обобщённой модели создаваемого устройства и информации о его элементах, а также моделирование поведения устройства в различных условиях. Разработанная схема взаимодействия между сервером и клиентами коллективной системы прототипирования позволяет построить онтологию, описывающую структуру проектируемого устройства, упростить дальнейшую обработку данных и интеллектуальное сопровождение процесса проектирования.
作者简介
Kantemir Bzhikhatlov
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences
Email: haosit13@mail.ru
ORCID iD: 0000-0003-0924-0193
Scopus 作者 ID: 55212157600
Researcher ID: O-9741-2014
Candidate of Physical and Mathematical Sciences, Director of the Institute of Computer Science and Problems of Regional Management, Head of the Laboratory “Neurocognitive Autonomous Intelligent Systems”
俄罗斯联邦, NalchikInna Pshenokova
Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences
编辑信件的主要联系方式.
Email: pshenokova_inna@mail.ru
ORCID iD: 0000-0003-3394-7682
Scopus 作者 ID: 57190407251
Researcher ID: V-6679-2018
Candidate of Physical and Mathematical Sciences, Head of the Laboratory “Intelligent Habitats” at the Institute of Computer Science and Problems of Regional Management
俄罗斯联邦, Nalchik参考
- Pissardini PE, Godinho Filho M, Callefi MH, Ganga GMD, da Silva ER. Smart-enhanced organisational functions: A framework comprising capabilities, barriers, and evolutional path. Expert Systems with Applications. 2024; 255: 124530. doi: 10.1016/j.eswa.2024.124530.
- Emiliani F, Bajrami A, Costa DM, Palmieri G, Polucci D, Leoni C, Callegari M. Design and prototyping of a collaborative station for machine parts assembly. Machines. 2024; 8: 572. doi: 10.3390/machines12080572.
- Zheng Wen, Jianming Yang, Bowen Sun & Yuanwei Liu Research on Symmetry Optimization of Designer Requirements and Prototyping Platform Functionality in the Context of Agile Development. Symmetry. 2025; 17(4): 502. doi: 10.3390/sym17040502.
- Gunpinar E., Coskun U. C., Ozsipahi M., Gunpinar S. A. Generative Design and Drag Coefficient Prediction System for Sedan Car Side Silhouettes based on Computational Fluid Dynamics. CAD Computer Aided Design. 2019; 111: 65-79. doi: 10.1016/j.cad.2019.02.003.
- Dzedzickis A, Subačiūtė-Žemaitienė J, Šutinys E, Samukaitė-Bubnienė U, Bučinskas V. Advanced Applications of Industrial Robotics: New Trends and Possibilities. Appl. Sci. 2022; 12: 135. doi: 10.3390/app12010135.
- Imottesjo H, Kain J. The Urban CoCreation Lab—An Integrated Platform for Remote and Simultaneous Collaborative Urban Planning and Design through Web-Based Desktop 3D Modeling, Head-Mounted Virtual Reality and Mobile Augmented Reality: prototyping a minimum viable product and developing specifications for a minimum marketable product. Applied Sciences (Switzerland). 2022; 12(2): 797. doi: 10.3390/app12020797.
- Gil M, Albert M, Fons J. et al. Modeling and “smart” prototyping human-in-the-loop interactions for AmI environments. Pers Ubiquit Comput. 2022; 26: 1413–1444. doi: 10.1007/s00779-020-01508-x.
- Kanaani M. Smart Prototyping: From Data-Driven Mass-Customization to Community-Enabled Co-Production. In: Routledge Companion to Smart Design Thinking in Architecture & Urbanism for a Sustainable, Living Planet. London: Routledge, 2024. P.633-642. doi: 10.4324/9781003384113.
- Arrivillaga M, Bermúdez PC, García-Cifuentes JP, Vargas-Cardona HD, Neira D, del Mar Torres M, ... & Arizala B. Designing CITOBOT: A portable device for cervical cancer screening using human-centered design, smart prototyping, and artificial intelligence. Computational and Structural Biotechnology Journal. 2024; 24: 739-745. doi: 10.1016/j.csbj.2024.11.018.
- Lauff CA, Knight D, Kotys-Schwartz D, Rentschler ME. The role of prototypes in communication between stakeholders. Design Studies. 2020; 66: 1-34. doi: 10.1016/j.destud.2019.11.007.
- Wang J, Ranscombe C, Eisenbart B. An integrated prototyping tool to enhance interdisciplinary communication in smart product design. Ergonomics. 2024. P.1-19. doi: 10.1080/00140139.2024.2418949.
- Desogus G, Frau C, Quaquero E, Rubiu G. From Building Information Model to Digital Twin: A framework for building thermal comfort monitoring, visualizing, and assessment. Buildings. 2023; 13(8): 1971. doi: 10.3390/buildings13081971.
- Pishdad-Bozorgi P, Gao X, Eastman C, Self AP. Planning and developing facility management-enabled building information model (FM-enabled BIM). Automation in Construction. 2018; 87: 22-38. doi: 10.1016/j.autcon.2017.12.004.
- Nagoev Z, Bzhikhatlov K, Pshenokova I, Unagasov A. Algorithms and Software for Simulation of Intelligent Systems of Autonomous Robots Based on Multi-agent Neurocognitive Architectures // In: Ronzhin A., Savage J., Meshcheryakov R. (eds) Interactive Collaborative Robotics. ICR 2024. Lecture Notes in Computer Science, vol 14898. Springer, Cham: Springer Nature Switzerland, 2024. P.381-391. doi: 10.1007/978-3-031-71360-6_29.
- Skobelev PO. Situation-driven decision making and multi-agent technology: finding solutions in dialogue [In Russian]. Ontology of Designing. 2013; 2: 26-48.
- Kiryakov FM, Skobelev PO. Multi-agent method to improving adaptive real-time management of computing resources [In Russian]. Ontology of Designing. 2025; 15(3): 418-435. doi: 10.18287/2223-9537-2025-15-3-418-435.
- Nagoev ZV. Intelligence, or thinking in living and artificial systems. [In Russian]. Nalchik: KBNTs RAS Publishing House, 2013. 211 p.
- Anchekov MI, Apshev AZ, Bzhikhatlov KCh. et al. A formal genome model of a general artificial intelligence agent based on multi-agent neurocognitive architectures. [In Russian]. News of the Kabardino-Balkarian Scientific Center of RAS. 2023; 5(115): 11–24.
补充文件
