Computer vision for monitoring and accounting Pyrenophora teres of winter barley
- Authors: Arinicheva I.V.1, Volkova G.V.2, Yakhnik Y.V.2, Arinichev I.V.3
-
Affiliations:
- Kuban State Agrarian University named after I.T. Trubilin
- Federal Scientific Center for Biological Plant Protection
- Kuban State University
- Issue: Vol 26, No 2 (2024)
- Pages: 72-79
- Section: Agrochemistry, agrosoil science, plant protection and quarantine
- URL: https://journals.rcsi.science/1991-6639/article/view/256001
- DOI: https://doi.org/10.35330/1991-6639-2024-26-2-72-79
- EDN: https://elibrary.ru/XZSDTK
- ID: 256001
Cite item
Full Text
Abstract
The traditional practice of diagnosing a disease and determining the economic threshold of harmfulness is based on visual assessment. But it is difficult and requires highly qualified specialists, whose timely departure is not always possible, especially to small farms. A fundamentally new and extremely promising approach to diagnose the development of net leaf spot of barley is an approach based on automatic (without the participation of a human expert) recognition of the pathogen and the degree of its development from an image or series of images. The article proposes the use of an innovative approach to diagnosing the development of net blotch (Pyrenophora teres) of winter barley, based on advanced computer vision technologies. This approach involves a two-step image analysis process designed to improve the efficiency and accuracy of plant disease diagnosis. The first step uses two convolutional neural networks to perform two key tasks: separating barley leaf blades from the image background and segmenting net spot lesions. This allows for precise identification of affected areas, which is critical for subsequent analysis. At the second stage, a quantitative assessment of the degree of damage occurs, based on counting the pixels of affected and healthy areas of the leaf. The ratio of the areas of the affected areas to the total leaf area is determined, which provides an accurate and objective assessment of the degree of disease development. This method demonstrates significant advantages over traditional visual diagnostic methods, including increased accuracy and objectivity, as well as an accelerated analysis process. Field and laboratory studies were carried out in 2021–2023 at the sites of the Federal State Budgetary Institution Federal Research Center for Biological Plant Protection.
Full Text
Введение
Краснодарский край занимает лидирующие позиции среди регионов Российской Федерации по возделыванию озимого ячменя (Hordeum vulgare L.). На конец 2023 года валовой сбор ячменя составил 1110 тыс. тонн, уступив по объему лишь Воронежской области, где было намолочено 1356 тыс. тонн[1]. Посевная площадь озимого ячменя в Краснодарском крае непрерывно растет, достигнув в 2023 году 184 тыс. гектаров, что подчеркивает важность данной культуры для аграрного производства региона. Озимый ячмень играет ключевую роль в экономике края, определяя не только значительную часть сбора зерновых культур, но и формируя основу для кормовой базы животноводства, а также производства продуктов питания.
Успех возделывания данной культуры напрямую зависит от эффективности борьбы с болезнями, в частности с сетчатой пятнистостью листьев, вызываемой грибом Pyrenophora teres Drechs, который является одним из доминантных патогенов в ценозе культуры как на юге России, так и в целом по стране [1]. Сетчатая пятнистость ‒ серьезное заболевание, способное значительно снизить урожайность и качество зерна [2], борьба с ней требует комплексного подхода, включающего как создание и использование устойчивых к болезни сортов, протравливание семян, так и применение современных инструментов фитосанитарного контроля. По этой причине разработка эффективных методов диагностики сетчатой пятнистости приобретает актуальность и высокое практическое значение [3].
Традиционная практика диагностики развития болезней ячменя основана на визуальной оценке и широко используется в сельском хозяйстве, однако имеет ряд определенных ограничений. Визуальная оценка требует от специалиста, лица, принимающего решение, наличия значительного опыта и высокой квалификации, поскольку многие симптомы болезней ячменя могут быть схожими или перекрываться с проявлениями других проблем. Данный уровень экспертизы не всегда доступен, особенно для небольших колхозно-фермерских хозяйств.
Такое положение дел подталкивает к разработке новых, инновационных подходов, основанных на использовании цифровых технологий и искусственного интеллекта, способных произвести оценку развития заболевания без участия человека-эксперта. Дополнительную актуальность использования цифровых решений в процессе производства ячменя и диагностики сетчатой пятнистости придает растущая зависимость аграрной сферы от устойчивых и экологически безопасных подходов, где интеллектуальные технологии могут сыграть ключевую роль в снижении риска развития и распространения этой болезни на посевах озимого ячменя.
Цель исследования – разработка инновационного подхода, позволяющего на основе методов компьютерного зрения выполнить оценку сетчатой пятнистости озимого ячменя по изображению.
Материалы и методы
Для достижения поставленной цели в 2021–2023 гг. на площадках ФГБНУ ФНЦБЗР были выполнены полевые и лабораторные исследования. При проведении экспериментов использованы классические фитопатологические методы и подходы. Идентификация Pyrenophora teres осуществлялась по определителю В. И. Билай [4]. Наработка инокулюма гриба, инокуляция растений в фазу взрослого растения в условиях поля осуществлялись по стандартным методикам [5, 6]. В полевых условиях учет проводился с момента первичного проявления заболевания, последующие учеты – до фазы молочно-восковой спелости зерна с интервалом 10–12 суток. Степень пораженности листьев и других органов сетчатой пятнистостью определялась по шкале Э. Э. Гешеле. Ранжирование сортов по устойчивости к патогену производилось согласно шкале CIMMYT [7].
Фотоснимки пораженных сетчатой пятнистостью листьев получены при искусственном освещении, на белом фоне, под углом 90°, на расстоянии 30–50 см до объекта съемки. Разрешение каждого фотоснимка 1024 на 682 пикселей, формат хранения данных – растровый (png). В общей сложности объем выборки составил 161 изображение.
Чтобы обучить нейронные сети сегментировать пораженные области на листьях, исходные изображения были размечены. Аннотации всех фотоснимков производились вручную (рис. 1).
Рис. 1. Исходное изображение из полученной выборки (а) и соответствующие ему размеченные объекты: маска сетчатой пятнистости (б), маска листовой пластины (в)
Fig. 1. The original image from the resulting sample (a) and the corresponding marked objects: net spot mask (b), leaf plate mask (c)
Из 161 объекта случайно отбирались 129 пар (изображение и маска) в качестве тренировочного набора и 32 пары в качестве тестового набора для оценки производительности модели.
Результаты и обсуждение
Инновационный подход к оценке развития Pyrenophora teres, обсуждаемый в данной работе, опирается на использование технологии компьютерного зрения. Идея, стоящая за предлагаемым способом, состоит в использовании нейронной сети, которая на основе размеченных данных учится распознавать и сегментировать участки поражения на листовой поверхности без участия человека-эксперта. Модель U-Net, выбранная в качестве сверточной архитектуры для искусственной нейронной сети, отличается своей способностью эффективно функционировать при работе с ограниченным объемом данных, обеспечивая высокую точность в задачах сегментации. Это достигается благодаря внедрению механизма «skip connections», который создает прямые соединения между слоями сжатия и расширения. Такая структура способствует передаче контекстной информации и обеспечивает высокую точность локализации объектов на изображениях, делая U-Net особенно ценной для применения в аграрной сфере, где критически важна точная сегментация на фоне ограниченного объема релевантных данных.
Как показано в [8–10], анализ количественных показателей качества сегментации, изучение динамики снижения функционала потерь, а также визуальное сопоставление результатов моделирования с экспертной разметкой пятнистости подтверждают эффективность прогнозов, выполненных с использованием нейросетевых технологий. Такие прогнозы соответствуют уровню профессиональных оценок, доказывая высокую степень точности и надежности моделирования.
В рамках настоящего исследования был предпринят новый подход, отличающийся от методик, применяемых в предыдущих работах [8–10]. Авторами были разработаны и обучены две сверточные нейронные сети на базе архитектуры U-Net для локализации двух различных областей. Первая модель, обозначенная как M1, была нацелена на выделение всей площади листовой пластины растения от остального фона, тем самым обучаясь распознавать и отделять лист от не связанных с ним элементов. С помощью второй модели M2 производилась более детальная работа по сегментации конкретных участков листа, затронутых очаговыми поражениями, аналогично методике, описанной в исследовании [8] (рис. 2).
Рис. 2. Способ определения степени развития сетчатой пятнистости ячменя на основе современных методов компьютерного зрения
Fig. 2. Method for determining the degree of development of net spot barley based on modern computer vision methods
После сегментации обеими моделями использовалась программа для подсчета количества пикселей, относящихся к каждому из выделенных сегментов. Этот подход позволил не только точно определить области поражений на листьях, но и численно оценить степень развития болезни, предоставив ценные данные для анализа состояния растений.
Предлагаемый в статье способ представляет собой новаторский подход и может позиционироваться как начальный этап автоматизации процесса оценки степени развития Pyrenophora teres озимого ячменя на основе шкалы CIMMYT.
Среди ключевых преимуществ данного подхода можно выделить следующие.
Точность: использование компьютерного зрения и машинного обучения позволяет точно определить границы пораженных участков, что существенно повышает точность диагностики по сравнению с традиционными визуальными методами.
Объективность: автоматизированный анализ уменьшает человеческий фактор и повышает объективность оценки степени заболевания.
Скорость обработки: процесс анализа изображений может быть выполнен значительно быстрее, чем визуальная оценка специалистом, что важно для своевременного принятия решений в зерновом производстве.
Масштабируемость: метод может быть применен к новым изображениям, позволяя «доучивать» нейросеть и обеспечивая горизонтальную масштабируемость процесса (например, на новых болезнях).
Выводы
В данной работе был предложен инновационный подход к оценке развития Pyrenophora teres озимого ячменя, основанный на технологиях компьютерного зрения (сверточные нейронные сети), позволяющий в режиме реального времени получать количественную оценку без участия фитопатолога. Способ показал значительные преимущества по сравнению с традиционными визуальными методами, среди которых повышенная точность, объективность и скорость. Одной из ключевых перспектив развития этого подхода является переход от контролируемых условий получения изображений к полуконтролируемым и неконтролируемым, что включает в себя адаптацию обученной модели к изменяющимся условиям окружающей среды, таким как освещение, погодные условия и другие факторы, влияющие на качество изображений. Это открывает возможность проведения диагностики в полевых условиях, что существенно ускорит процесс принятия решений и повысит эффективность фитосанитарных мероприятий.
К другому направлению дальнейшего развития можно отнести масштабируемость инструмента на новые виды болезней ячменя, а также другие сельскохозяйственные культуры.
1 Уборка урожая зерновых и зернобобовых по областям РФ на 29 декабря 2023 года. Режим доступа: https://zerno.ru/node/23178
About the authors
Irina V. Arinicheva
Kuban State Agrarian University named after I.T. Trubilin
Author for correspondence.
Email: loukianova7@mail.ru
ORCID iD: 0000-0002-3331-8731
SPIN-code: 6169-1334
Doctor of Biology Sciences, Professor of the Department of Higher Mathematics
Russian Federation, 350044, Krasnodar, Kalinina street, 13Galina V. Volkova
Federal Scientific Center for Biological Plant Protection
Email: galvol.bpp@yandex.ru
ORCID iD: 0000-0002-3696-2610
SPIN-code: 1949-6965
Doctor of Biology Sciences, Corresponding Member of the Russian Academy of Sciences, Deputy Director for Research
Russian Federation, 350039, Krasnodar, VNIIBZR, 1Yana V. Yakhnik
Federal Scientific Center for Biological Plant Protection
Email: yahnik1@mail.ru
ORCID iD: 0000-0002-3410-7928
SPIN-code: 7453-5768
Researcher at the Laboratory of Plant Immunity to Diseases
Russian Federation, 350039, Krasnodar, VNIIBZR, 1Igor V. Arinichev
Kuban State University
Email: iarinichev@gmail.com
SPIN-code: 7555-6470
Candidate of Economic Sciences
Russian Federation, 350040, Krasnodar, Stavropolskaya street, 149References
- Arinichev I.V., Polyanskikh S.V., Arinicheva I.V. Semantic segmentation of rusts and spots of wheat. Computer Optics. 2023. T. 47. No. 1. Pp. 118–125. doi: 10.18287/2412-6179-CO-1130. (In Russian)
- Volkova G.V., Yakhnik Ya.V., Merzlikina E.N. et al. Sensitivity of barley net spot to triazole class fungicides. Advanced Research of Kuban. Sbornik materialov Yezhegodnoy otchetnoy konferentsii grantoderzhateley Kubanskogo nauchnogo fonda [Collection of materials from the Annual Reporting Conference of Grant Holders of the Kuban Science Foundation]. Krasnodar, 2022. Pp. 51–55. (In Russian)
- Veretelnikova N.A., Kuznetsova T.E., Nesterenko V.V. et al. Source material for the selection of winter barley for resistance to leaf diseases. Materialy IV mezhdunarodnoy nauchno-prakticheskoy konferentsii «Sovremennoe sostoyanie, problemy i perspektivy razvitiya agrarnoy nauki» [Materials of the IV international scientific and practical conference “Current state, problems and prospects for the development of agricultural science”]. 2019. Pp. 144–146. (In Russian)
- Bilay V.I. Mikroorganizmy – vozbuditeli bolezney rasteniy [Microorganisms – pathogens of plant diseases]: handbook. Kyiv: Naukova Dumka, 1988. 549 p. (In Russian)
- Khasanov B.A. Opredelitel' gribov-vozbuditeley «gel'mintosporiozov» rasteniy iz rodov Bipolaris, Drechslera i Exserohilum [Identify to fungi that cause “helminthosporiosis” of plants from the genera Bipolaris, Drechslera and Exserohilum]. Tashkent: Fan, 1992. 180 p. (In Russian)
- Lashina N.M., Mironenko N.V., Zubkovich A.A., Afanasenko O.S. Juvenile resistance of barley varieties and samples to net-, spot- and hybrid (net × spot) forms of Pyrenophora teres. Mycology and Phytopathology. 2023. Vol. 57. No. 1. Pp. 48–59. DOI: 10.31857/ S0026364823010099. (In Russian)
- Koyshibaev M. Bolezni pshenitsy. [Wheat diseases]. Ankara: Prodovol'stvennaya i sel'skokhozyaystvennaya organizatsiya Ob"yedinonnykh natsiy. 2018. 394 p. (In Russian)
- Arinichev I.V., Volkova G.V. Arinicheva I.V. Diagnosis of the development of net blight of winter barley based on digital intelligent technologies. Trudy Kubanskogo gosudarstvennogo agrarnogo universiteta [Proceedings of the Kuban State Agrarian University]. 2023. No. 106. Pp. 81–85. doi: 10.21515/1999-1703-106-81-85. (In Russian)
- Arinichev I., Arinicheva I., Foshchan G., Saybel N. Digital monitoring of crops in grain ecosystems. BIO Web of Conferences (Agri Science2023), 2023. No. 66. P. 14016. DOI: 10.1051/ bioconf/20236614016.
- Arinichev I., Sidorov V., Arinicheva I. Digital solutions in the system of intelligent crop monitoring. In the collection: II International conference on current issues of breeding, technology and processing of agricultural crops, and environment (CIBTA-II- 2023). Les Ulis Cedex A, France, 2023. P. 1112. doi: 10.1051/bioconf/20237101112.
Supplementary files
