Метод автоматического поиска структуры и параметров нейронных сетей для решения задач обработки информации

Обложка

Цитировать

Полный текст

Аннотация

Нейронные сети активно применяются при решении различных прикладных задач анализа, обработки и генерации данных. При их использовании одним из сложных этапов является подбор структуры и параметров нейронных сетей (количество и типы слоев нейронов, функции активации, оптимизаторы и т.д.), обеспечивающих наибольшую точность и, следовательно, успешность решения поставленной задачи. В настоящее время данный вопрос решается путем аналитического подбора архитектуры нейронной сети исследователем или разработчиком программного обеспечения. Существующие автоматические инструменты (AutoKeras, AutoGAN, AutoSklearn, DEvol и др.) недостаточно универсальны и функциональны.  Поэтому в рамках данной работы рассматривается метод автоматического поиска структуры и параметров нейронных сетей различного типа (многослойных плотных, сверточных, генеративно-состязательных, автоэнкодеров и др.) для решения широкого класса задач. Представлена формализация метода и его основные этапы. Рассмотрена апробация метода, доказывающая его эффективность относительно аналитического решения при подборе архитектуры нейронной сети. Проведено сравнение метода с существующими аналогами, выявлено его преимущество по точности сформированных нейронных сетей  и времени поиска.

Об авторах

Артем Дмитриевич Обухов

Тамбовский государственный технический университет

392000, г.Тамбов, ул.Советская, 106

Список литературы

  1. Бескровный А. С., Бессонов Л. В., Иванов Д. В., Кириллова И. В., Коссович Л. Ю. Использование сверточной нейронной сети для автоматизации построения двумерных твердотельных моделей позвонков // Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика. 2020. Т. 20, вып. 4. С. 502–516. https://doi.org/10.18500/1816-9791-2020-20-4-502-516
  2. Li H., Yuan D., Ma X., Cui D., Cao L. Genetic algorithm for the optimization of features and neural networks in ECG signals classification // Scientific Reports. 2017. Vol. 7, iss. 1. P. 1–12. https://doi.org/10.1038/srep41011
  3. He X., Zhao K., Chu X. AutoML: A Survey of the State-of-the-Art // Knowledge-Based Systems. 2021. Vol. 212. P. 106622. https://doi.org/10.1016/j.knosys.2020.106622
  4. Jin H., Song Q., Hu X. Auto-keras: An efficient neural architecture search system // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2019. P. 1946–1956. https://doi.org/10.1145/3292500.3330648
  5. Real E., Aggarwal A., Huang Y., Le Q. V. Regularized evolution for image classifier architecture search // Proceedings of the AAAI Conference on Artificial Intelligence. 2019. Vol. 33. P. 4780–4789. https://doi.org/10.1609/aaai.v33i01.33014780
  6. Budjac R., Nikmon M., Schreiber P., Zahradnikova B., Janacova D. Automated machine learning overview // Research Papers Faculty of Materials Science and Technology Slovak University of Technology. 2019. Vol. 27, iss. 45. P. 107–112. https://doi.org/10.2478/rput-2019-0033
  7. Feurer M., Klein A., Eggensperger K., Springenberg J., Blum M., Hutter F. Efficient and robust automated machine learning // Automated Machine Learning. 2019. P. 113–134. https://doi.org/10.1007/978-3-030-05318-5_6
  8. Le Q., Zoph B. Using machine learning to explore neural network architecture // Google Research Blog. 2017. URL: https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html (дата обращения: 05.04.2022).
  9. Gong X., Chang S., Jiang Y., Wang Z. Autogan: Neural architecture search for generative adversarial networks // Proceedings of the IEEE International Conference on Computer Vision. 2019. P. 3224–3234. https://doi.org/10.1109/ICCV.2019.00332
  10. Liu C., Zoph B., Neumann M., Shlens J., Hua W., Li L. J., Murphy K. Progressive Neural Architecture Search // Computer Vision – ECCV 2018. ECCV 2018 / eds.: V. Ferrari, M. Hebert, C. Sminchisescu, Y. Weiss. Cham : Springer, 2018. P. 19–34. (Lecture Notes in Computer Science, vol. 11205). https://doi.org/10.1007/978-3-030-01246-5_2
  11. Cai H., Gan C., Han S. Once for all: Train one network and specialize it for efficient deployment // arXiv preprint arXiv:1908.09791. 2019.
  12. Truong A., Walters A., Goodsitt J., Hines K., Bruss C. B., Farivar R. Towards automated machine learning: Evaluation and comparison of AutoML approaches and tools // 2019 IEEE 31st International Conference on Tools with Artificial Intelligence. 2019. P. 1471–1479. https://doi.org/10.1109/ICTAI.2019.00209
  13. Moen E., Bannon D., Kudo T., Graf W., Covert M., Van Valen D. Deep learning for cellular image analysis // Nature Methods. 2019. Vol. 16, iss. 12. P. 1233–1246. https://doi.org/10.1038/s41592-019-0403-1
  14. Obukhov A., Krasnyanskiy M. Quality assessment method for GAN based on modified metrics inception score and Frechet inception distance // Proceedings of the Computational Methods in Systems and Software. 2020. P. 102–114. https://doi.org/10.1007/978-3-030-63322-6_8
  15. MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. URL: http://yann.lecun.com/exdb/mnist/ (дата обращения: 05.04.2022).
  16. UCI Machine Learning Repository. URL: https://archive.ics.uci.edu/ml/datasets.php (дата обращения: 05.04.2022).
  17. Obukhov A., Siukhin A., Dedov D. The model of the automatic control system for a treadmill based on neural networks // 2020 International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). 2020. P. 1–5. https://dx.doi.org/10.1109/FarEastCon50210.2020.9271589
  18. Обухов А. Д., Краснянский М. Н. Нейросетевой метод обработки и передачи данных в адаптивных информационных системах // Вестник Удмуртского университета. Математика. Механика. Компьютерные науки. 2021. Т. 31, вып. 1. С. 149–164. https://doi.org/10.35634/vm210111

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».