Intelligent recommendation system for apple orchard protection in the Kabardino-Balkarian Republic

Full Text

Введение

В современном сельском хозяйстве одной из основных проблем является обеспечение защиты посевов от болезней и вредителей, в частности, эти факторы негативно сказываются как на объеме собираемого урожая в плодовых садах, так и на его качестве. При этом стоит отметить тренд на отток трудовых ресурсов в сельском хозяйстве [1], в результате чего сейчас наблюдается дефицит кадров в области защиты растений. Одним из способов решения перечисленных выше проблем выступает использование интеллектуальных систем в сельском хозяйстве [2, 3]. Учитывая значительную роль яблоневых садов в экономике Кабардино-Балкарской Республики [4], задача автоматизации агротехнических процессов, в частности своевременного определения вредителей и болезней, является особенно актуальной. Среди основных болезней яблонь можно выделить паршу (Venturia inaequalis), мучнистую росу (Podosphaera leucotricha), монолиз (Monilia fructigena) и последствия бактериального ожога (Erwinia amylovora) [5, 6]. Стоит также отметить наличие проблем с рядом вредителей яблони [7, 8]: яблонная моль (Hyponomeuta malinella), кровяная тля (Eriosoma lanigerum), паутинный клещ (Tetranychus urticae) и яблонная плодожорка (Cydia pomonella). Внешние признаки основных болезней и вредителей яблонь, распространенных на территории КБР, приведены в таблице 1.

 

Таблица 1. Внешние признаки болезней и вредителей яблонь

Table 1. External signs of apple tree diseases and pests

Тип	Наименование болезни или вредителя	Внешние признаки
Болезни	Парша	Характеризуется появлением темных пятен на листьях, плодах и побегах
	Мучнистая роса	Характеризуется появлением белого порошка на плодах и листьях яблонь, вследствие чего листья могут закручиваться и осыпаться
	Монилиоз или плодовая гниль	Вызывает покраснение и усыхание листьев и гниение плодов
	Бактериальный ожог	Вызывает пожелтение и появление бурой или черной окраски на побегах и листьях
Вредители	Яблонная моль или листовертка	После вылупления личинки покрываются паутиной и начинают питаться листьями дерева, сворачивая их и создавая характерные узлы
	Кровяная тля	Вызывает увядание и покрытие липкой росой листьев яблони
	Паутинный клещ	Паутинные клещи покрывают нижнюю сторону листьев и плодов тонкими «паутинными» нитями
	Яблонная плодожорка или яблоневый червь	Гниение плодов яблони

 

Существует ряд исследований, посвященных автоматизации процесса обнаружения болезней на яблонях. В работе [9] представлен обзор сверточных нейронных сетей в задачах обнаружения заболеваний растений на примере архитектур CNN, ResNet, DenseNet, MobileNet и EfficientNet. Все рассмотренные архитектуры показали достаточно высокий уровень точности распознавания (не менее 95 %). А в статье [10] приведены результаты анализа нейронных моделей классификации MLP (MultiLayer Perceptrons), RBF (Radial Basis Function) и DNN (Deep Neural Networks) для обнаружения болезней на изображениях яблонь. В работах [11, 12, 13, 14] рассматривались различные архитектуры нейронных сетей для распознавания болезней на изображениях листьев яблони (модели VGG16, ResNet50, SDINet). Результаты позволили распознавать различные заболевания по фото листьев с точностью 95 % и выше. А в [15] для распознавания степени поражения листьев грибком Alternaria использовалась интеграция двух нейронных сетей PSPNet (на базе модели MobileNet) и UNet (на базе VGG), что позволило добиться средней точности 96 %. В [16] для этой же задачи используется сеть с архитектурой Yolo, а в [17] описаны методы оптимизации гиперпараметров для данной модели нейронной сети.

Во всех представленных работах исследователи показали применимость нейронных сетей в задаче распознавания вредителей и болезней. Стоит отметить, что уже существует ряд промышленных решений, применимых для автоматизации защиты растений [18]. При этом, учитывая значительное влияние климатических условий и ландшафта на процесс роста и развития деревьев и протекание их заболеваний, наиболее эффективные решения должны строиться на использовании наборов данных для конкретного региона. В данной работе описана разработка сервиса распознавания болезней и подготовки рекомендаций на основе данных по болезням яблонь в Кабардино-Балкарской Республике.

Архитектура приложения

С целью обеспечения возможности быстрого определения болезни яблони и подбора рекомендаций по защите разрабатывается сервис контроля состояния яблоневых садов. Для удобства пользователя сервис реализован в виде веб-сайта, а также в виде бота для мессенджера «Telegram». Соответственно, пользователь может подключиться к сервису либо через веб-браузер, либо из приложения мессенджера. В обоих случаях на сервер передается фотография яблока, которая передается в нейронную сеть, обученную распознавать болезни яблок. Далее результат ее работы передается в нейронную сеть, подбирающую рекомендации. Стоит отметить, что на сервере также есть база данных, хранящая все предыдущие запросы и рекомендации к ним, сгруппированные по садам пользователя. Архитектура разработанного сервиса приведена на рисунке 1 (сиреневые линии – передача изображения, оранжевые – передача промежуточных данных, зеленые – ответ пользователю с рекомендациями).

 

Рис. 1. Архитектура сервиса контроля состояния яблоневых садов

Fig. 1. Architecture of the apple orchard condition monitoring service

 

Разработанный веб-сервис представляет собой программу, написанную на языке программирования python с использованием FastAPI¹, который представляет собой высокоуровневый веб-фреймворк, что упрощает создание безопасных и масштабируемых веб-приложений. Клиентская часть сервиса использует Vue.js² – JavaScript-фреймворк для создания пользовательских интерфейсов. Отчет об обработке изображения формируется в формате PDF с использованием библиотеки PyPDF³. Внешний вид главной страницы приведен на рисунке 2. На нем доступны ссылки на личный кабинет пользователя и список садов, в основной части располагается приглашение к загрузке изображения. После загрузки изображения сервис сразу выводит результаты – описание болезни (при ее наличии) и рекомендации по защите. Эти данные можно выгрузить в виде pdf-файла. Для зарегистрированных пользователей доступно объединение набора изображений в сад, где ведется учет всех рекомендаций, полученных пользователем (рис. 3). Структура разработанного сайта и базы данных подробнее описаны в [19].

 

Рис. 2. Пользовательский интерфейс веб-приложения

Fig. 2. User interface of the web application

 

Рис. 3. Интерфейс сада пользователя

Fig. 3. User’s garden interface

 

В случае работы с мессенджером пользователь должен подключиться к нему и просто отправить изображение, в ответ придет рекомендация (рис. 4). Работа с мессенджером реализована с помощью библиотеки Aiogram⁴.

 

Рис. 4. Работа чат-бота в мессенджере «Telegram»

Fig. 4. Chatbot operation in the Telegram messenger

 

Подобное решение позволяет максимально упростить взаимодействие пользователя с сервисом. На данном этапе ведется работа по созданию чат-бота для других мессенджеров.

Результаты обучения нейронной сети

Для обеспечения распознавания яблок рассматриваются различные архитектуры нейронных сетей, в частности, в работе использовался сервис Roboflow и доступные в нем модели нейронных сетей для распознавания изображений: Roboflow 3.0 (Fast), RF-DETR (base), YOLO v11 и YOLO v12. Для обучения модели было собрано 1500 изображений яблок, деревьев и листьев, полученных за счет фотографий в садах республики и сбора данных из открытых источников. Все изображения были размечены и разделены на 8 классов: здоровые яблоки «healthy» (268 изображений), яблоки с признаками парши «scab» (285), гнилые «rot» (376), пораженные грибковыми заболеваниями «blotch» (252), признаки наличия тли «aphids» (433), цветоеда «flowereater» (122), яблоневой моли «applemoth» (71) и плодожорки «fruitmoth» (64). Стоит отметить, что в выборке были яблоки, имеющие признаки двух или трех заболеваний сразу, поэтому количество меток (1871) несколько больше количества изображений. Входной набор изображений имел значительный разброс в размерах и разную ориентацию. Для дальнейшего обучения все изображения автоматически ориентированы в альбомную ориентацию и приведены к размеру 640*640 пикселей. Для увеличения обучающей выборки использовались методы аугментации: поворот изображения на 90 градусов, сдвиг по горизонтали и вертикали и добавление шума, в результате чего количество изображений было увеличено до 3400. Стоит отметить, что полученный набор данных имеет некоторый дисбаланс в классах (явно не хватает изображений с признаками flowereater, applemoth и fruitmoth), что может стать причиной низких значений точности распознавания. Пример изображения, используемого для обучения модели, показан на рисунке 5.

 

Рис. 5. Пример размеченного изображения из набора собранных данных

Fig. 5. Example of a labeled image from the collected dataset

 

Разметка данных, обучение моделей и их дальнейшее развертывание проводились на сервисе RoboFlow. Для каждой обученной модели определены основные метрики: mean Average Precision или mAP (усредненная точность по всем классам), precision (точность) и recall (полнота). Результаты обучения и тестирования для четырех созданных моделей приведены в таблице 2.

 

Таблица 2. Результаты обучения и тестирования моделей для распознавания болезней и вредителей на яблоках

Table 2. Results of training and testing models for recognizing diseases and pests on apples

Модель	Архитектура	Метрики
		mAP, %	precision, %	recall, %
apple disease and pest detection5	Roboflow 3.0	91,0	97,5	88,5
test detection yolov126	Yolo v12	82,8	82,7	75,9
test detection yolov117	Yolo v11	86,1	86,3	81,0
rf detection8	RF-DETR	82,4	100	100

 

Полученные модели позволили определять заболевания и вредителей яблок, причем для моделей на базе архитектуры Yolo метрики достигли достаточно высоких показателей. Лучше всего в задаче распознавания болезней и вредителей яблок себя показала модель «test detection yolov12» на основе Roboflow 3 версии: mAP составила 91,0 %, precision – 97,5 %, а recall – 88,5 %. Подобные показатели позволяют говорить о положительном результате, но для внедрения такого сервиса требования значительно выше. Повышение точности возможно за счет сбора значительного объема фотоматериала в садах республики, причем полученных с различных ракурсов и в различных погодных условиях.

На рисунке 6 приведена зависимость метрики mAP от эпохи обучения каждой модели. Как видно из рисунка, для большинства моделей усредненная точность значительно колеблется, что, вероятно, свидетельствует о малом объеме обучающей выборки. Наиболее стабильный процесс обучения модели наблюдается для Yolo v12 (рисунок 6b).

 

Рис. 6. Зависимость метрики mAP от эпохи обучения нейронной сети для моделей на базе Roboflow 3.0 (a), Yolo v12 (b), Yolo v11 (c) и RF-DETR (d)

Fig. 6. Dependence of the mAP metric on the neural network training epoch for models based on Roboflow 3.0 (a), Yolo v12 (b), Yolo v11 (c) and RF-DETR (d)

 

Результаты распознавания заболеваний и вредителей отправляются в другую нейронную сеть, которая подбирает методы защиты деревьев. Подбор рекомендаций основан на использовании библиотеки CatBoost classifier⁹, для дообучения которого необходим набор данных с указанием распознанного заболевания, расположения, погодных условий и даты фиксации заболевания, а в качестве выходных данных – наиболее эффективные меры защиты сада. Для сбора подобного массива данных необходимо обеспечить автоматическое распознавание болезней и вредителей яблок с помощью данной системы в течение нескольких сезонов. На данный момент в выборке существует лишь набор основных рекомендаций специалистов по болезням и вредителям яблок.

Для дальнейшего увеличения точности работы модели планируется расширение выборки за счет использования изображений, находящихся в широком доступе, а также изображений, собранных самостоятельно и отражающих заболевания и вредителей, характерных для Кабардино-Балкарской Республики. Кроме того, предполагается использование не только данных из изображения, но и информации об условиях в саду (широта, долгота, время года, температура, влажность, инсоляция, сумма активных температур и т.д.).

Как отмечалось выше, сейчас нейронная сеть для обработки изображений развернута на внешнем сервисе. Сейчас сервер отвечает за получение запросов от пользователей, их хранение и передачу изображений на внешнюю нейронную сеть, а также генерацию ответов пользователю. В такой реализации требования к серверу минимальные – скрипт занимает всего 135 Мб оперативной памяти. В процессе тестирования среднее время обработки одного изображения (при отправке с мобильного телефона со средней скоростью загрузки 50 Мбит/с и отправки 25 Мбит/с) составило 4,1 секунды. Дальнейшее развитие сервиса предполагает развертывание нейросети на собственном сервере и независимую работу в онлайн-режиме. В этом случае сервер должен отвечать следующим требованиям: CPU 4-ядерный процессор (Intel Core i5, AMD Ryzen 5 или выше), GPU с поддержкой технологии CUDA и 6 ГБ видеопамяти (NVIDIA GTX 1060 или выше), RAM 16 ГБ, SSD 256 ГБ. Пользователь должен обладать устойчивым интернет-соединением (минимум 10 Мбит/с). Локальное развертывание сервиса связано с рядом трудностей и, по нашему мнению, не является критичным, поскольку большая часть садов республики расположена в регионах со стабильной сотовой связью.

Заключение

Представленный сервис позволит диагностировать заболевания яблонь с минимальными задержками по времени, а также обеспечить подбор методов защиты в случае необходимости. Это должно позволить снизить риски потери урожая садоводами Кабардино-Балкарской Республики. Тестирование программы показало применимость сервиса, в частности обеспечение распознавания базовых заболеваний, характерных для яблони, и выдачу рекомендаций по их защите (в том числе и в формате pdf-файла). Реализация сервиса в виде веб-приложения снимает необходимость портирования системы на различные платформы и максимально упрощает взаимодействие с системой. Применение чат-бота еще больше упрощает интерфейс пользователя.

В работе были обучены и протестированы четыре модели на базе архитектур Roboflow 3.0, Yolo v12, Yolo v11 и RF-DETR. Лучшие результаты показала модель на базе Roboflow 3.0 версии: mAP составила 91,0 %, precision – 97,5 %, а recall – 88,5 %. При этом, несмотря на точность распознавания выше 90 %, собранной выборки фотографий недостаточно для достижения применимости модели. На данном этапе планируется сбор дополнительных фотоматериалов в садах республики, полученных в разных погодных условиях и при разном освещении. А в дальнейшем – расширение выборки с учетом различных климатических зон КБР и соседних республик, а также за счет охвата всех распространенных в регионе заболеваний и вредителей. Стоит отметить, что дальнейшее развитие сервиса позволит обеспечить его интеграцию с автономными робототехническими системами ухода за растениями [20], например, с автономным роботом по мониторингу и защите посевов [21].

Финансирование. Исследование проведено без спонсорской поддержки.

Funding. The study was conducted without sponsorship.

Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

¹ FastAPI documentation. URL: https://fastapi.tiangolo.com.

² Vue.js documentation. URL: https://vuejs.org.

³ PyPDF documentation. URL: https://pypdf.readthedocs.io.

⁴ Aiogram documentation. URL: https://docs.aiogram.dev.

⁵ Apple Disease & Pest Detection. URL: https://universe.roboflow.com/aydemir/apple_disease_-_pest_detection.

⁶ Test detection YOLOVv12. URL: https://universe.roboflow.com/aydemir/test_detection_yolov12.

⁷ Test detection YOLOVv11. URL: https://universe.roboflow.com/aydemir/test_detection_yolov11.

⁸ RF Detection. URL: https://universe.roboflow.com/aydemir/rf_detection.

⁹ CatBoost documentation. URL: https://catboost.ai/.

About the authors

Aidemir Z. Temrokov

Berbekov Kabardino-Balkarian State University

Author for correspondence.
Email: temrokovaydemir@gmail.com
ORCID iD: 0009-0005-2272-475X
SPIN-code: 4961-2069

2nd-Year Student in the Field of Informatics and Computer Science

Russian Federation, 173, Chernyshevsky St., Nalchik, 360004

Kantemir Ch. Bzhikhatlov

Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences

Email: haosit13@mail.ru
ORCID iD: 0000-0003-0924-0193
SPIN-code: 9551-5494

Candidate of Physical and Mathematical Sciences, Head of the Laboratory of Neurocognitive Autonomous Intelligent Systems

Russian Federation, 2, Balkarov St., Nalchik, 360010

References

Supplementary files