Применение алгоритма стаи серых волков и нейронных сетей для решения дискретных задач

Обложка

Цитировать

Полный текст

Аннотация

Актуальность. В последние десятилетия метаэвристические методы оптимизации стали популярными для решения сложных задач, требующих поиска глобальных экстремумов. Алгоритмы, такие как генетический алгоритм (GA), оптимизация колоний муравьев (ACO), оптимизация роя частиц (PSO), а также более современные подходы, как алгоритм кошачьей стаи (CSO) и оптимизация стаи серых волков (GWO), демонстрируют высокую эффективность, но их применение зачастую ограничивается условиями непрерывности и дифференцируемости целевых функций. Это представляет собой вызов при решении задач с дискретными данными, где такие требования не соблюдаются. В данном контексте особую актуальность приобретает поиск методов, позволяющих адаптировать метаэвристические алгоритмы для работы с дискретными функциями.Цель исследования направлена на проверку гипотезы о возможности использования нейронной сети, обученной на ограниченном наборе дискретных данных, в качестве аппроксимации функции, достаточной для корректного выполнения алгоритма GWO при поиске глобального минимума. Методы. Исследование основано на анализе существующих подходов и экспериментальной проверке гипотезы на двух тестовых функциях: линейной функции и функции Бута, которые широко применяются в качестве стандартов для оценки производительности алгоритмов оптимизации. Для получения результатов проведены численные эксперименты с использованием нейронных сетей в качестве аппроксимирующей модели.Решение. В ходе экспериментов проведен анализ применимости нейронных сетей для аппроксимации дискретных функций, показавший успешность данного подхода. Было установлено, что нейронные сети могут с высокой точностью аппроксимировать дискретные функции, создавая условия для успешного поиска глобального минимума с использованием алгоритма GWO.Новизна. Впервые предложена и проверена гипотеза о применении нейронных сетей для аппроксимации целевых функций в задачах метаэвристической оптимизации на дискретных данных. Это направление ранее не получило должного освещения в научной литературе, что придает ценность полученным результатам и подтверждает эффективность предложенного подхода.Значимость. Результаты исследования открывают новые перспективы для применения алгоритмов, таких как GWO, в задачах оптимизации, основанных на дискретных данных, расширяя возможности метаэвристических методов и способствуя их внедрению в более широкий класс прикладных задач, включая задачи, где применение других методов ограничено.

Об авторах

А. А. Лисов

Южно-Уральский государственный университет (НИУ)

Email: lisov.andrey2013@yandex.ru
ORCID iD: 0000-0001-7282-8470
SPIN-код: 1956-3662

А. Г. Возмилов

Южно-Уральский государственный университет (НИУ)

Email: vozmiag@rambler.ru
ORCID iD: 0000-0002-1292-3975
SPIN-код: 2893-8730

К. А. Гундарев

Южно-Уральский государственный университет (НИУ)

Email: pioneer03.95@mail.ru
ORCID iD: 0009-0004-8358-1329
SPIN-код: 1238-1158

А. З. Кулганатов

Южно-Уральский государственный университет (НИУ)

Email: kulganatov97@gmail.com
ORCID iD: 0000-0002-7576-7949
SPIN-код: 7607-9723

Список литературы

  1. Bonabeau E., Dorigo M., Theraulaz G. Swarm Intelligence: From Natural to Artificial Systems. 1999. doi: 10.1093/oso/ 9780195131581.001.0001
  2. Dorigo M., Birattari M., Stutzle T. Ant colony optimization // IEEE Computational Intelligence Magazine. 2006. Vol. 1. Iss. 4. PP. 28‒39. doi: 10.1109/MCI.2006.329691
  3. Kennedy J., Eberhart R. Particle swarm optimization // Proceedings of the International Conference on Neural Networks (Perth, Australia, 27 November ‒ 01 December 1995). IEEE, 1995. PP. 1942‒1948. doi: 10.1109/ICNN.1995.488968
  4. Chu S.C, Tsai P.W, Pan J.S. Cat Swarm Optimization // Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence (Guilin, China, 7‒11 August 2006). Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2006. Vol. 4099. PP. 854‒858. doi: 10.1007/978-3-540-36668-3_94
  5. Johnson J.M., Rahmat-Samii Y. Genetic algorithm optimization and its application to antenna design // Proceedings of IEEE Antennas and Propagation Society International Symposium and URSI National Radio Science Meeting (Seattle, USA, 20‒24 June 1994). IEEE, 1994. Vol. 1. PP. 326‒329. doi: 10.1109/APS.1994.407746
  6. Afshar A., Massoumi F., Afshar A., Mariño M.A. State of the Art Review of Ant Colony Optimization Applications in Water Resource Management // Water Resources Management. 2015. Vol. 29. PP. 3891‒3904. doi: 10.1007/s11269-015-1016-9
  7. Parsopoulos K.E., Vrahatis M.N. Particle swarm optimization and intelligence: advances and applications. Advances and applications. Information Science Reference. 2010. 328 p. doi: 10.13140/2.1.3681.1206
  8. Mirjalili S., Mirjalili S.M., Lewis A. Grey wolf optimizer // Advances in Engineering Software. 2014. Vol. 69. PP. 46‒61 doi: 10.1016/j.advengsoft.2013.12.007
  9. Mittal N., Singh U., Sohi B. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 7950348. doi: 10.1155/2016/7950348
  10. Mirjalili S., Saremi S.M., Mirjalili L.D., Coelho S. Multi-objective grey wolf optimizer: A novel algorithm for multicriterion optimization // Expert Systems with Applications. 2016. Vol. 47. PP. 106‒119. doi: 10.1016/j.eswa.2015.10.039
  11. Hu P., Pan J.S., Chu S.C. Improved Binary Grey Wolf Optimizer and Its application for feature selection // Knowledge-Based Systems. 2020. Vol. 195. P. 105746. doi: 10.1016/j.knosys.2020.105746
  12. Vozmilov A., Andreev L., Lisov A. Development of an Algorithm for the Program to Recognize Defects on the Surface of Hot-Rolled Metal // Proceedings of the International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM, Sochi, Russian Federation, 16‒20 May 2022). IEEE, 2022. PP. 1004‒1008. doi: 10.1109/ICIEAM54945.2022.9787116
  13. Лисов А.А. Разработка системы электронного дифференциала для электромобилей на основе нейросети глубокого обучения // Инновационные транспортные системы и технологии. 2024. Т. 10. № 3. С. 351‒367. doi: 10.17816/transsyst634127. EDN:DFDXJO
  14. Лисов А.А., Кулганатов А.З., Панишев С.А. Акустическое обнаружение транспортных средств аварийных служб с использованием сверхточных нейронных сетей // Инновационные транспортные системы и технологии. 2023. Т. 9. № 1. C. 95‒107. doi: 10.17816/transsyst20239195-107. EDN:MAGRJH
  15. Возмилов А.Г., Лисов А.А., Урманов В.Г., Синева Г. Н. Определение вида заболеваний, поражающих листья картофеля, с использованием алгоритмов машинного обучения // Вестник НГИЭИ. 2023. № 3(142). С. 7–16. doi: 10.24412/2227-9407-2023-3-7-16. EDN:BXWBRC
  16. Emary E., Zawbaa H.M., Grosan C., Hassenian A.E. Feature Subset Selection Approach by Gray-Wolf Optimization // Proceedings of the First International Afro-European Conference for Industrial Advancement (AECIA, Belfast, UK, 2‒4 September 2024). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 334. PP. 1‒13. doi: 10.1007/978-3-319-13572-4_1
  17. Emary E., Zawbaa H.M., Hassanien A.E. Binary grey wolf optimization approaches for feature selection // Neurocomputing. 2016. Vol. 172. PP. 371–381. doi: 10.1016/j.neucom.2015.06.083
  18. Vosooghifard M., Ebrahimpour H. Applying Grey Wolf Optimizer-based decision tree classifer for cancer classification on gene expression data // Proceedings of the International Conference on Computer and Knowledge Engineering (ICCKE, Mashhad, Iran, 29 October 2015). IEEE, 2015. PP. 147–151. doi: 10.1109/ICCKE.2015.7365818
  19. Yamany W., Emary E., Hassanien A.E. New Rough Set Attribute Reduction Algorithm Based on Grey Wolf Optimization // Proceedings of the 1st International Conference on Advanced Intelligent System and Informatics (AISI, 28–30 November 2015, Beni Suef, Egypt). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 407. PP. 241–251. doi: 10.1007/978-3-319-26690-9_22
  20. Mirjalili S. How effective is the Grey Wolf optimizer in training multi-layer perceptrons // Applied Intelligence. 2015. Vol. 43. PP. 150‒161. doi: 10.1007/s10489-014-0645-7
  21. Mosavi M.R., Khishe M., Ghamgosar A. Classification of sonar data set using neural network trained by gray wolf optimization // Neural Network World. 2016. Vol. 26. Iss. 4. PP. 393‒415. doi: 10.14311/NNW.2016.26.023
  22. Muangkote N., Sunat K., Chiewchanwattana S. An improved grey wolf optimizer for training q-Gaussian Radial Basis Functional-link nets // Proceedings of the International Computer Science and Engineering Conference (ICSEC, Khon Kaen, Thailand, 30 July ‒ 01 August 2014). IEEE, 2014. PP. 209–214. doi: 10.1109/ICSEC.2014.6978196
  23. Vapnik V. The nature of statistical learning theory. New York: Springer, 2015.
  24. Vapnik V.N. An overview of statistical learning theory // IEEE Transactions on Neural Networks. 1999. Vol. 10. Iss. 5. PP. 988‒999. doi: 10.1109/72.788640
  25. Eswaramoorthy S., Sivakumaran N., Sekaran S. Grey wolf optimization-based parameter selection for support vector machines // Compel: International journal for computation and mathematics in electrical and electronic engineering. 2016, Vol. 35. Iss. 5. PP. 1513‒1523.
  26. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. Training LSSVM with GWO for price forecasting // Proceedings of the International Conference on Informatics, Electronics & Vision (ICIEV, Fukuoka, Japan, 15‒18 June 2015). IEEE, 2015. doi: 10.1109/ICIEV.2015.7334054
  27. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. LS-SVM hyperparameters optimization based on GWO algorithm for time series forecasting // Proceedings of the 4th International Conference on Software Engineering and Computer Systems (ICSECS, Kuantan, Malaysia, 19‒21 August 2015). IEEE, 2015. PP. 183–188. doi: 10.1109/ICSECS.2015.7333107
  28. Kumar V., Chhabra J.K., Kumar D. Grey Wolf Algorithm-Based Clustering Technique // Journal of Intelligent Systems. 2017. Vol. 26. Iss. 1. PP. 153‒168. doi: 10.1515/jisys-2014-0137
  29. Zhang S., Zhou Y. Grey Wolf Optimizer Based on Powell Local Optimization Method for Clustering Analysis // Discrete Dynamics in Nature and Society. 2015. Vol. 1. P. 481360. doi: 10.1155/2015/481360
  30. Dao T.K., Shieh C.S., Nguyen T.T., Wang H.Y. Enhanced Diversity Herds Grey Wolf Optimizer for Optimal Area Coverage in Wireless Sensor Networks // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 174‒182. doi: 10.1007/978-3-319-48490-7_21
  31. Волков А.Н. Динамические туманные вычисления и бессерверная архитектура: на пути к зеленым ИКТ // Труды учебных заведений связи. 2024. Т. 10. № 3. С. 24‒34. doi: 10.31854/1813-324X-2024-10-3-24-34. EDN:QOELMJ
  32. Abdullah H.M., Kumar A.S., Ahmed A.A., Mosleh M.A. Hybrid optimization based on spectrum aware opportunistic routing for cognitive radio ad hoc networks // Informatics and Automation. 2023. Vol. 22. Iss. 4. PP. 880‒905. doi: 10.15622/ia.22.4.7. EDN:VPRGZW
  33. Li S.X., Wang, J.S. Dynamic Modeling of Steam Condenser and Design of PI Controller Based on Grey Wolf Optimizer // Mathematical Problems in Engineering. 2015. Vol. 1. P. 120975. doi: 10.1155/2015/120975
  34. Yadav S., Verma S.K., Nagar S.K. Optimized PID Controller for Magnetic Levitation System // IFAC-PapersOnLine. 2016. Vol. 49. Iss. 1. PP. 778‒782. doi: 10.1016/j.ifacol.2016.03.151
  35. Wong L.I., Sulaiman M.H., Mohamed M.R., Hong M.S. Grey Wolf Optimizer for Solving Economic Dispatch Problems // Proceedings of the International Conference on Power and Energy (PECon, Kuching, Malaysia, 01‒03 December 2014). IEEE, 2014. PP. 150–154. doi: 10.1109/PECON.2014.7062431
  36. Song H.M., Sulaiman M.H., Mohamed M.R. An Application of Grey Wolf Optimizer for Solving Combined Economic Emission Dispatch Problems // International Review on Modelling and Simulations. 2014. Vol. 7. Iss. 5. PP. 838–844. doi: 10.15866/iremos.v7i5.2799
  37. Tsai P.W., Dao T.K. Robot Path Planning Optimization Based on Multiobjective Grey Wolf Optimizer // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 166–173. doi: 10.1007/978-3-319-48490-7_20
  38. Zhang S., Zhou Y., Li Z., Pan W. Grey wolf optimizer for unmanned combat aerial vehicle path planning // Advances in Engineering Software. 2016. PP. 121‒136. doi: 10.1016/j.advengsoft.2016.05.015
  39. Lu C., Xiao S., Li X., Gao L. An effective multi-objective discrete grey wolf optimizer for a real-world scheduling problem in welding production // Advances in Engineering Software. 2016. Vol. 99. PP. 161‒176. doi: 10.1016/j.advengsoft. 2016.06.004
  40. Mittal N., Singh U., Sohi B.S. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 4598. doi: 10.1155/2016/7950348

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».