Prediction the yield of green crops based on monitoring morphometric parameters using machine vision and neural networks

Full Text

Введение

Согласно экспертным оценкам, сельскохозяйственным организациям приходится принимать до 50 различных управленческих решений в ограниченные промежутки времени [1]. На сегодняшний день применение технического зрения и нейронных сетей для целей мониторинга состояния и аналитики растений находит широкое применение в современном сельском хозяйстве [2–4]. Совершенствование сельскохозяйственных культур часто ограничено скоростью получения больших объемов фенотипической информации. Поэтому все чаще требуется разработка методов высокопроизводительного фенотипирования сельскохозяйственных культур, особенно для сокращения ручного труда в различных условиях и лучшей характеристики фенотипов. Таким образом, подобные системы востребованы по причине повышения автоматизации производства. В последнее время основное внимание уделяется методам глубокого обучения для автоматического извлечения и использования ключевых функций из многочисленных изображений [5]. Создание таких алгоритмов и методов позволит определять стадии роста и параметрические характеристики растения. Показателями роста (морфометрические параметры) сельскохозяйственных и садовых культур являются высота, диаметр и площадь листьев, зеленая биомасса (сырой вес, сухой вес). Целью этой работы является создание алгоритма обработки мультиспектральных изображений для получения морфометрических параметров салата листового на основе технического зрения и нейронных сетей.

Основная часть и сопутствующие работы

Салат является наиболее часто используемым листовым овощем, который широко выращивается во всем мире [6]. Как листовой овощ, имеющий большую экономическую ценность, салат можно собирать как на спелой, так и на ранней стадии роста [7]. Быстрый рост салата способствует получению листьев одинаковой формы, цвета и вкуса [8]. Таким образом, салат стал одним из основных видов овощей в растениеводстве из-за его короткого времени выращивания, одинаковой формы и спроса на рынке [9].

За последнее десятилетие сочетание изображений и методов машинного обучения для решения сельскохозяйственных проблем было одной из наиболее изученных областей цифрового сельского хозяйства [10]. Использование компьютерного зрения с методами глубокого обучения позволяет своевременно и правильно идентифицировать различные параметры салата: биомасса/сырой вес (fresh weight) [11, 12], высота салата [13], диаметр листьев [14], площадь листьев [15]. Прогнозирование урожайности салата также является важной задачей [16].

В статье [14] авторы разработали и оценили модель сверточной нейронной сети (CNN) с использованием изображений RGB и глубины для оценки свежего веса, сухого веса, высоты, диаметра и площади листьев салата, выращенного в тепличной гидропонной системе. Данные были собраны с помощью камеры Intel RealSense D415 (388 RGB-изображений). Разработанная модель имеет двухэтапную архитектуру CNN на основе слоев ResNet50V2. Модель обеспечивала коэффициенты определения от 0,88 до 0,95 с нормализованными среднеквадратичными ошибками 6,09; 6,30; 7,65; 7,92 и 5,62 % для свежего веса, сухого веса, высоты, диаметра и площади листьев соответственно на изображениях неизвестного салата-латука. Среднее время обработки каждого изображения салата с использованием разработанной модели CNN, запущенной на мини-ПК Jetson SUB, составило 0,83 с.

В статье [17] представлена оценка вегетативного роста растений салата-латука в аэропонной камере, где параметры развития корней и листьев были измерены у трех культур салата с помощью изображений, полученных в видимом, ближнем инфракрасном и дальнем инфракрасном спектрах. Морфометрические и тепловые параметры корней салата-латука (периметр, площадь, длина и средняя температура) и листьев (периметр, площадь и средняя температура) оценивались для каждой культуры в течение десяти сеансов получения изображений с помощью внедренной системы мультиспектрального зрения. Средние значения морфометрических параметров корней и листьев, полученные с помощью системы визуализации в течение всего периода выращивания салата, были статистически проанализированы с помощью теста Тьюки. Полученные средние значения массы свежего листа составили 102,5; 185,5 и 184,3 г для урожая 1, 2 и 3 соответственно. Анализ значимой разницы полученной средней свежей массы трех культур был проведен с помощью теста Тьюки для p ≤0,05. Полученные результаты исследования позволяют предположить, что мультиспектральная обработка изображений является полезным неинвазивным инструментом для оценки параметров вегетативного роста корней и листьев аэропонных растений салата в теплице.

В статье [13] извлекается высота листьев салата из изображений RGB с использованием сетей распознавания изображений без калибровки камеры или эталонных объектов. Были выбраны четыре сети распознавания изображений с большими различиями в архитектуре, а именно MobileNetV1, DenseNet, ResNext и EfficientNet. На тестовом наборе, включающем 80 изображений высотой от 0,9 см до 7,5 см, авторы добились результата со средней абсолютной погрешностью 1,22 мм.

Авторы [18] предложили конвейер обработки изображений для оценки множества характеристик салата-латука (вес в свежем виде, сухой вес, высота растения, диаметр, площадь листьев). Авторы объединили DeepLabV3+ и MobileNetV2 для реализации высокоточной и быстрой сегментации салата-латука на сложных фонах и при освещении. Случайный лес (RF), частичная регрессия наименьших квадратов (PLSR) и метод опорных векторов были применены для прогнозирования множества признаков салата-латука и сравнивались для выбора оптимальной модели. Результаты показали, что DeepLabV3+ с Mobilenetv2 обладает наилучшей производительностью сегментации с точностью до пикселей 97,52 и 99,821 %, mIoU 88,661 и 98,517 %, а также скоростью сегментации 0,094 и 0,049 мс на изображение в двух наборах данных. PLSR показал самую высокую точность при прогнозировании веса в свежем виде, сухого веса, диаметра и площади листа, при этом R2 равны 0,898; 0,899; 0,931 и 0,904 соответственно. RF показал самую высокую точность прогнозирования высоты растений – R2, равный 0,858.

В исследовании [11] анализируется способность двух методов обработки изображений – морфологического анализа и анализа значений пикселей – измерять сырой вес салата, выращенного в закрытой гидропонной системе. Изображения 82 образцов салата были получены с помощью цифровой камеры. Изображения в градациях серого использовались для морфологического анализа участков листа с помощью программы LabVIEW. Для разработки модели калибровки, которая связывает количество пикселей в образцах салата с их фактическим свежим весом (измеренным без корней с использованием цифровых весов), были использованы методы простой линейной регрессии и полиномиальной регрессии для определения моделей, объясняющих отношения между количеством пикселей в изображении и фактическим весом свежего салата. Точность модели оценивали путем сравнения новых весов, определенных калибровочной моделью и цифровыми весами, по коэффициенту детерминации (R2), стандартной ошибке калибровки (SEC) и стандартной ошибке прогноза (SEP). Значения коэффициентов детерминации (>0,93) и стандартной ошибки прогнозирования (SEP) (<5 г), полученные двумя разработанными моделями, означают, что методы обработки изображений могут точно оценить сырой вес каждого растения салата на стадии его роста.

В исследовании [15] предлагалось отслеживать рост салата в теплицах с помощью покадровых изображений и глубокого обучения в режиме замедленной съемки сверху. Маска R-CNN была использована для автоматической сегментации области листьев салата-латука на изображении. Маска R-CNN состоит из базовой CNN, сети извлечения объектов, сети предложений по регионам (RPN), выравнивания по интересующей области (RoI), регрессии по ограничивающим рамкам, классификации объектов и прогнозирования по маске. ResNet-50 использовалась в качестве базового CNN. Авторы определяли скорость роста как площадь листьев салата в зависимости от времени. Экспериментальные результаты показали, что модель Mask R-CNN достигла точности 97,63 % при оценке площади листа.

Таким образом, достижения в области машинного зрения имеют большой потенциал для улучшения эффективности и устойчивости сельскохозяйственного производства. Несмотря на это, существует необходимость в разработке новых методов адаптации алгоритмов и сенсоров под различные условия и культуры, а также расширении наборов данных для обучения алгоритмов для достижения высокой точности и надежности систем машинного зрения. Кроме того, в приведенных работах рассматриваются способы оценки стадии созревания различных растений на оценке площади зеленой массы с последующим отображением полученных значений на соответствующие стадии роста. Первым важным недостатком такого подхода является необходимость дополнительно обосновывать отображения значений площади зеленой массы на определенную стадию роста салата. Кроме того, такой подход сопряжен с необходимостью трудоемкой разметки площадей зеленой массы на изображениях. Однако для оценки стадий роста салата в ходе мониторинга степени его созревания оказывается достаточной категориальная разметка изображений на отдельные стадии, выполненная экспертом-агрономом. Сами стадии роста салата являются устоявшимися категориями, которые имеют очерченные классификационные признаки. Категориальная разметка, помимо всего прочего, существенно ускоряет сам процесс разметки. В рамках данной работы выполняется сравнительное исследование распространенных нейросетевых алгоритмов классификации изображений стадий роста салата. При этом анализируются не только усредненные оценки эффективности классификации, как в большинстве представленных научных работ, но и более детальные оценки эффективности классификации для отдельных стадий роста, что позволяет определить, насколько равномерно алгоритмы способны распознавать рассматриваемые стадии роста.

Материалы и методы

Сбор данных осуществлялся в лабораторных условиях. Выращенные растения салата помещались в определенном положении относительно стационарно установленной мультиспектральной камеры. Съемка осуществлялась на протяжении 30 дней с периодичностью два дня. На рис. 1 показана часть набора данных, размер изображений 1280×720 пикселей. Набор данных содержит 1180 изображений в видимом и инфракрасном спектрах.

 

Рис. 1. Фрагмент набора данных

Fig. 1. Dataset fragment

 

В рамках работы выполнялась категориальная разметка изображений, каждое из которых оценивалось на соответствие определенному классу стадии роста – всходы, рассада и первый настоящий лист; разметка выполнялась экспертом-агрономом на основании качественных визуальных признаков, характерных для каждой стадии роста. Полученный набор данных был разделен на обучающую и тестовую выборку. Процесс аннотации собранного набора данных был проведен в программе Labelme [19].

Выбор методов, технологий и инструментов  искусственного интеллекта

Согласно проведенному обзору литературы для оценки классификации стадий роста салата были выбраны три распространенные нейросетевые архитектуры – VGG11 [20], ResNet34 [21], EfficientNetB0 [22]. Данные архитектуры показали свою эффективность в смежных задачах, таких как обнаружение и классификация болезней листьев растений [23], классификация уровней спелости масличной пальмы [24] и классификация фруктов [25].

Для оценки качества классификации использовались следующие метрики:

$\begin{array}{l}accuracy=\frac{TP+TN}{TP+TN+FP+FN},\\ precision=\frac{TP}{TP+FP},\\ recall=\frac{TP}{TP+FN},\\ F1-score=2\frac{precision\cdot recall}{precision+recall},\end{array}$

где TP – количество истинно положительных результатов, FP – количество ложноположительных результатов, FN – количество ложноотрицательных результатов.

Процедура анализа данных представлена на рис. 2.

 

Рис. 2. Общая процедура анализа данных

Fig. 2. General data analysis procedure

 

Результаты

Обучение классификации стадий роста выполнялось на подвыборке исходного датасета, состоящей из 273 случайно отобранных изображений с соблюдением баланса классов (91 изображение в каждом классе). Размер обучающей выборки – для каждого класса 45 изображений. Размер тестовой выборки – 46 изображений для каждого класса. Результаты для каждого эксперимента усреднялись. Дополнительно были получены оценки эффективности распознавания для отдельных стадий роста, что позволяет оценить, насколько равномерно алгоритм способен распознавать различные стадии роста салата.

Результаты распознавания стадий роста и распознавания отдельных стадий (табл. 1 и 2).

 

Таблица 1. Усредненные результаты распознавания стадий роста

Table 1. Average results of growth stages recognition

Модель	VGG11	ResNet34	EfficientNetB0
Accuracy	0,949	0,956	0,949
Precision (avg)	0,952	0,960	0,949
Recall (avg)	0,949	0,957	0,951
F1-score (avg)	0,950	0,957	0,950

 

Таблица 2. Результаты распознавания отдельных классов

Table 2. Recognition results of individual classes

1-я стадия
Метрики	Всходы
	VGG	ResNet	EfficientNet
Precision	0,902	0,976	0,936
Recall	0,958	0,976	0,917
F1-score	0,929	0,976	0,926
2-я стадия
Метрики	Первый настоящий лист
	VGG	ResNet	EfficientNet
Precision	0,975	0,976	0,953
Recall	0,951	0,976	1,00
F1-score	0,963	0,976	0,976
3-я стадия
Метрики	Стадия рассады
	VGG	ResNet	EfficientNet
Precision	0,978	1,00	0,957
Recall	0,938	0,917	0,938
F1-score	0,957	0,957	0,947

 

Классификация стадий роста показала высокие результаты – более 95 % верно распознанных экземпляров и более 93 % верных распознаваний при определении отдельных стадий роста, которое оценивает метрика Recall. По отдельным метрикам (Precision, Recall, F1-score) лучше всего себя показала архитектура ResNet34 в усредненной оценке распознавания (табл. 1). При распознавании отдельных стадий роста, где в первую очередь необходимо смотреть на разброс оценок, лучше всего показала себя архитектура VGG (табл. 2).

Cегментация растений салата с использованием нормализованного вегетационного индекса NDVI в дальнейшем может позволить определять параметрические характеристики салата посевного (площадь, занимаемая растениями; высота растения; количество растений). На данном этапе был вычислен NDVI (рис. 3), однако для проверки эффективности и точности в задаче сегментации необходимо дополнительно разметить выборку.

 

Рис. 3. NDVI изображения салата

Fig. 3. NDVI images of lettuce

 

Заключение

В данном исследовании алгоритм определения стадий роста растений, использующий мультиспектральную камеру и нейронные сети, был разработан и протестирован. Специфика мониторинга степени созревания салата, а также наличие четких классификационных признаков для определения конкретной стадии роста позволяют ограничиться решением задачи классификации, что существенно облегчает процесс подготовки данных. Полученные результаты классификации стадий роста показывают высокую общую (усредненную) точность – более 95 % правильно распознанных экземпляров и более 93 % точности при распознавании отдельных стадий роста. Последний результат свидетельствует не только о стабильно высоких результатах распознавания, но и об отсутствии существенных отклонений при классификации отдельных классов. Этот алгоритм может быть использован для мониторинга морфометрических характеристик растений и прогнозирования урожайности зеленых культур. Использование машинного зрения и нейронных сетей позволяет автоматизировать и упростить процесс анализа и измерения этих параметров, что может быть полезно для сельскохозяйственных предприятий и исследовательских учреждений.

Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

Финансирование. Исследование проведено без спонсорской поддержки.

Funding. The study was performed without external funding.

About the authors

Marina A. Astapova

St. Petersburg Federal Research Center of the Russian Academy of Sciences

Author for correspondence.
Email: astapova.m@iias.spb.su
ORCID iD: 0000-0002-9121-894X
SPIN-code: 3195-0770

Junior Researcher of the Laboratory of Big Data Technologies in Socio-Cyberphysical Systems

Russian Federation, 199178, St. Petersburg, 14th line of Vasilyevsky island, 39

Mikhail Yu. Uzdiaev

St. Petersburg Federal Research Center of the Russian Academy of Sciences

Email: uzdyaev.m@iias.spb.su
ORCID iD: 0000-0002-7032-0291
SPIN-code: 7398-2273

Junior Researcher of the Laboratory of Big Data Technologies in Socio-Cyberphysical Systems

Russian Federation, 199178, St. Petersburg, 14th line of Vasilyevsky island, 39

Vitaly M. Kondratyev

St. Petersburg State Agrarian University

Email: vitsevsk@mail.ru
ORCID iD: 0000-0001-5822-4144
SPIN-code: 2148-2591

Candidate of Agricultural Sciences, Assistant Professor of the Department of Technology of Storage and Processing of Agricultural Products

Russian Federation, 196601, St. Petersburg, Pushkin, Peterburgskoe highway, 2

References

Supplementary files