Machine learning application for functional properties prediction in magnetic materials

Full Text

ВВЕДЕНИЕ

Концепция больших данных, развитие искусственного интеллекта и алгоритмов машинного обучения (МО) значительно изменили современную науку: быстро набирает обороты четвертая парадигма науки, заключающаяся в том, что исследования проводятся с использованием поиска закономерностей в огромных массивах данных [1]. Перспективы, открывающиеся с применением МО в различных научных областях, сильно отличаются и зависят от характера исследований. Очень большим потенциалом обладает сочетание МО с химией и наукой о материалах. В последние несколько лет наблюдается экспоненциальный рост количества научных публикаций, связанных с использованием МО в материаловедении (рис. 1). Публикационная динамика наглядно демонстрирует высокий спрос на такие исследования. Кроме того, большие перспективы данного подхода привели к появлению таких программ, как “Materials Genome Initiative”, “Novel Materials Discovery”, “Materials design at the eXascale”, и многих других, призванных направить, поддержать и систематизировать подобные исследования.

 

Рис. 1. Количество статей в Web of Science core collection по запросу “machine learning + materials science”. Для компенсации ошибок поиска использован поправочный коэффициент 0.8.

 

Применительно к материаловедению существует несколько основных направлений использования МО. Например, углубленный и/или автоматический анализ структуры методами электронной [2] или оптической микроскопии [3], обнаружение дефектов и прогноз вероятности разрушения металлических объектов при их экспресс анализе [4]. Использование МО позволяет автоматизировать технический контроль различных изделий без существенной потери качества по сравнению с анализом, проведенным человеком. Особенно актуален такой подход при работе с протяженными или труднодоступными объектами, такими как железнодорожные пути [5] или подводные конструкции [4], постоянный контроль которых затруднителен или опасен для человека. В научных исследованиях МО используют для расширения возможностей компьютерного моделирования, например, для расчета межатомных потенциалов с использованием в качестве данных для обучения значений энергий и межчастичных сил, полученных путем ab initio расчетов [6].

Такой подход позволяет реализовывать моделирование больших атомных ансамблей различных систем с точностью, сопоставимой с традиционными методами моделирования, при этом используя гораздо меньшие вычислительные мощности [7, 8]. Несомненно, все эти и другие способы использования МО являются полезными и перспективными и заслуживают отдельных обзоров. Настоящая статья посвящена использованию МО для решения другой задачи — прогноза функциональных свойств материалов на основе комбинации независимых переменных (химический состав, параметры изготовления и обработки). Поиск возможности прогноза свойств и эксплуатационных характеристик функциональных материалов с высокой точностью является одной из важнейших задач современного материаловедения. Ее решение позволит, во-первых, эффективно разрабатывать материалы со свойствами, требуемыми для конкретных технических применений, а во-вторых, открывать неизвестные ранее перспективные материалы гораздо быстрее, чем это можно сделать экспериментальным путем. Использование алгоритмов МО и различных инструментов визуализации данных позволяет продвигаться в установлении и понимании зависимостей в цепочке: химический состав + параметры обработки → структура → свойства. Более того, часто МО позволяет найти скрытые корреляции, являющиеся незаметными для человека и простых статистических инструментов [9, 10]. Например, удалось добиться большого прогресса в определении связей между структурой и свойствами с помощью МО благодаря созданию Crystal Graph Convolutional Neural Networks (CGCNN) [11]. Таким образом, помимо разработки новых материалов и усовершенствования существующих, МО позволяет углубить понимание корреляции между структурой и свойствами, что является одной из задач науки о материалах. МО имеет здесь огромный потенциал, однако одно лишь его применение не гарантирует надежных и положительных результатов. При всех своих достоинствах данный подход имеет ряд ограничений и недостатков, которые будут рассмотрены в настоящей статье.

Крайне высокая динамика развития материаловедения, основанного на данных, появление новых областей применения, эволюция методов и подходов приводит к необходимости систематизации и анализа текущих результатов. Каждый год публикуются десятки обзоров по этой тематике. Разумеется, ни один отдельный обзор не способен охватить всего объема результатов, получаемых c помощью МО в области материаловедения, и описать все используемые инструменты. Стоит отметить, что подавляющее большинство работ направлено на разработку определенных материалов. В частности, полупроводников [12], материалов для хранения энергии [13], ферроэлектриков [14] и высокоэнтропийных сплавов [15] и др. Несмотря на то что инструменты МО применяли к разработке множества материалов, конкретные направления исследований все еще не сформировались. Поэтому информация, которая приводится в многочисленных обзорах, часто дублируется, в то время как некоторые темы остаются нераскрытыми. Одной из таких тем является разработка функциональных магнитных материалов с помощью МО. Данная обзорная статья посвящена анализу и обобщению результатов, достигнутых в области разработки подходов прогнозирования функциональных свойств в магнитных материалах с помощью МО. Кроме того, рассмотрены общие принципы организации работы по применению МО для прогнозирования свойств материалов, а также достоинства и недостатки такого подхода. Таким образом, данную статью можно рассматривать не только как обзор, но и частично как практическое руководство по организации исследований, целью которых является поиск возможности высокоточного прогнозирования свойств различных материалов на основе ряда параметров.

1. ОБЩИЕ ПРИНЦИПЫ ИСПОЛЬЗОВАНИЯ МАШИННОГО ОБУЧЕНИЯ В ОБЛАСТИ ПРОГНОЗИРОВАНИЯ СВОЙСТВ МАТЕРИАЛОВ

МО часто определяют как подраздел искусственного интеллекта, который изучает разработку алгоритмов, позволяющих вычислительным машинам извлекать знания из данных и самостоятельно обучаться на основе опыта, без явного программирования, и использовать эти знания для прогноза новых, ранее неизвестных результатов. При разработке новых материалов с использованием машинного обучения чаще всего решают две задачи: регрессия и классификация, обе из которых попадают в категорию обучения на размеченных (labeled) данных или обучения с учителем (supervised machine learning). В таком случае они выглядят как множество пар независимых переменных (признаков, дескрипторов) и соответствующих им целевых переменных. Необходимо отметить, что для этих целей, помимо обучения с учителем, также могут быть использованы другие категории и подходы МО, такие как обучение без учителя (unsupervised learning), обучение с подкреплением (reinforcement learning), эволюционные алгоритмы (evolutionary algorithms) и другие.

Классификация позволяет разделять материалы по определенным категориям или типам, основываясь на наборе независимых переменных. Классификация материалов может быть полезна, например, при прогнозировании фазового состава [16] или принадлежности материала к определенному классу или категории в среде огромного массива данных. Например, установить на основе состава, является ли конкретное соединение типа AB₂C сплавом Гейслера [17].

Задача регрессии заключается в поиске отношения между зависимой переменной y и независимыми переменными X = {x₁, x_2, …, x_n} в предположении, что между ними имеется причинная связь. В общем случае такая связь может быть описана следующим образом:

$y=f\left(X\right)+\epsilon$, (1)

где f(X) — функция регрессии, ε — ошибка.

Цель обучения — создать наиболее подходящую функцию с минимальным значением ε. С помощью регрессии можно прогнозировать непрерывные характеристики материалов (зависимые переменные), такие как ширина запрещенной зоны [12], твердость [18], теплопроводность [19], индукция насыщения [20] и любые другие свойства на основе набора входных данных (независимых переменных), например, химического состава, структурных дескрипторов и параметров термической обработки. Модели, в которых в качестве независимых переменных использован химический состав и параметры синтеза, можно объединить в одну группу, а модели, в которых независимые переменные извлекаются из структуры материала — в другую. Кроме того, возможно сочетание этих двух подходов.

Чаще всего для разработки моделей МО с целью прогноза свойств в магнитных материалах решается задача регрессии с помощью обучения с учителем. Поэтому практически вся нижеизложенная информация относится к этому вопросу.

1.1. Типичная схема исследований, направленных на прогнозирование свойств различных материалов с помощью МО

Процесс создания моделей МО, способных прогнозировать свойства материалов, обычно имеет несколько основных этапов (рис. 2). В первую очередь, необходимо каким-либо образом получить размеченные данные. Далее происходит этап очистки и подготовки данных, целью которого является повышение их качества и пригодности для обучения моделей МО. В этот этап, например, входит удаление сомнительных значений, устранение выбросов и больших разрывов между данными. После того как данные подготовлены, необходимо осуществить выбор наиболее подходящего алгоритма МО. Это можно сделать исходя из общих принципов работы разных алгоритмов и особенностей имеющихся данных (количество, характер распределения) путем сравнения основных метрик качества для различных алгоритмов, обученных на валидационной выборке. Кроме того, после выбора наиболее подходящего алгоритма необходимо провести оптимизацию его гиперпараметров для достижения наилучшей производительности. Следующим этапом является собственно обучение выбранного алгоритма и аттестация на тестовой выборке для оценки качества прогноза.

 

Рис. 2. План стандартного исследования, направленного на разработку новых материалов, путем разработки моделей для прогнозирования их свойств.

 

Затем обученную модель используют для прогнозирования свойств с целью обнаружения новых сочетаний химических составов и обработок. Крайне рекомендуется произвести экспериментальную валидацию обученной модели путем сравнения спрогнозированных значений с реальными результатами.

Опционально, полученные экспериментальные результаты можно также внести в исходную базу данных для ее увеличения и последующего повторения всех предыдущих этапов уже с использованием расширенной базы данных. Такой подход получил название активное обучение.

Конечной целью вышеописанного является разработка новых материалов и способов их обработки для достижения требуемых функциональных характеристик, что и является последним этапом.

1.2. Данные для обучения моделей

Как отмечено ранее, базы данных, используемые для обучения и валидации моделей МО при прогнозе свойств, должны содержать наборы переменных, отражающих, например, состав, параметры обработки или структурные дескрипторы (независимые переменные или признаки) и свойства, соответствующие каждому набору таких переменных (зависимые или целевые переменные). Таким образом, ключевым фактором для обеспечения высокой точности прогноза свойств в каких-либо материалах, в том числе магнитных, является наличие качественных баз данных. При планировании работы неизбежно возникает проблема поиска подходящих данных хорошего качества. Если исходная база данных содержит некорректные значения, то обученная на них модель будет не способна выполнять прогноз свойств реальных материалов с приемлемой точностью. Помимо очевидного требования к качеству данных, имеется также требование к их количеству. Как правило, имеется прямо пропорциональная зависимость между количеством данных и качеством прогноза свойств, оцененным по основным метрикам [21, 22]. Проблема заключается в том, что обычно в науке о материалах сложно создавать большие массивы данных, особенно в том случае, когда их источником является эксперимент [23]. Поэтому работа по обучению моделей МО в данной области знаний часто ведется с использованием баз данных, близких по размеру к нижней допустимой границе. Уровень этой границы условен, поскольку зависит от качества данных, характера их распределения и корреляции между независимыми и зависимыми переменными, количества независимых переменных, а также от алгоритмов, которые планируется использовать. Существует мнение, что минимально допустимое количество наборов данных для обучения классических алгоритмов МО (которые не основаны на искусственных нейронных сетях) в материаловедении составляет порядка 100 [24, 25], тогда как для эффективного обучения алгоритмов глубокого обучения, основанных на нейронных сетях, требуется по меньшей мере 500 наборов данных [25]. Это связано с тем, что для качественной оптимизации параметров искусственных нейронных сетей (веса и значения смещений) в процессе обучения требуется большое количество данных [26]. Как правило, многие классические алгоритмы превосходят нейронные сети при малом количестве данных. По мере увеличения количества данных разница в точности прогноза сначала нивелируется, а затем алгоритмы, основанные на нейронных сетях, начинают превосходить классические. Таким образом, при планировании работы по прогнозу свойств с помощью МО и выборе подходящего алгоритма необходимо отталкиваться от имеющихся данных. В области науки о материалах возможные источники данных для обучения уместно разделить на три группы:

Репозитории баз данных. Готовые базы данных для обучения моделей МО с целью прогноза свойств можно найти на специализированных порталах, таких как Materials Project, AFWLOW, Citrination, Materials cloud, Fighare, Mendeley data и многие другие. Такие данные легко получить, и обычно они уже готовы к использованию. Проблемой является то, что возможности прогноза свойств в этом случае ограничены существующими данными. Кроме того, базы данных, находящиеся в открытом доступе, как правило, уже используются различными исследовательскими коллективами для обучения моделей, и получить новые уникальные результаты с использованием стандартных алгоритмов проблематично.

Сбор данных из научной литературы. Такой подход более вариативен, поскольку он позволяет получать данные для решения требуемой задачи даже в случае, когда репозитории не содержат подходящей информации. Основной проблемой данных, полученных таким образом, является их неоднородность и, в некоторых случаях, низкое качество. Это связано с тем, что, результаты, получаемые разными авторами, могут отличаться из-за различий в условиях экспериментов и используемом оборудовании. Более подробно эта проблема обсуждается в разд. 4.1.

Генерация новых данных. Такие данные обладают максимальной надежностью и качеством по сравнению с предыдущими случаями (при условии правильно организованных экспериментов или расчетов). Можно получать данные любого характера, а не опираться на полученные ранее, что обеспечивает высокую вариативность такого подхода. Главной проблемой являются большие ресурсо-, время- и трудозатраты, особенно в случае экспериментальных исследований. Таким образом, получение больших массивов данных этим способом затруднительно.

Важно подчеркнуть, что при создании наборов данных для обучения моделей МО необходимо придерживаться принятых в научном сообществе правил, наиболее распространенные из которых обозначают аббревиатурой FAIR (Findable, Accessible, Interoperable, Reusable) [27].

1.3. Способы оценки качества моделей при прогнозе свойств

Для того чтобы оценивать прогнозирующую способность моделей, исходную выборку (еще до обучения) разбивают на три: обучающую (О), валидационную (В) и тестовую (Т). Выборку О используют для обучения алгоритмов, В — для выбора алгоритмов и настройки гиперпараметров, Т — для финальной оценки качества обученных моделей. Каждая из выборок представляет собой массив размеченных данных. Как правило используют соотношение О:В:Т — 70:15:15, но допустимы и другие. На выборке О происходит обучение различных моделей машинного обучения, затем с помощью оценки по выборке В подбираются гиперпараметры и сравниваются разные алгоритмы для определения самого эффективного. После этих операций лучший алгоритм рассматривают как обученную рабочую модель. Затем в эту модель подают данные из выборки Т с целью оценки способности прогноза целевого свойства на новых данных. Таким образом, сравниваются значения зависимой переменной из тестовой выборки с результатом прогноза модели, путем оценки точности с применением различных метрик, которые будут описаны ниже. Стоит отметить, что при увеличении размера Т повышается надежность оценки, однако при этом из-за уменьшения количества данных, используемых в обучающей выборке, может ухудшиться качество модели, особенно в случае работы с небольшими базами данных.

Возможны также подходы, при которых валидационная выборка отсутствует. В таком случае настройку гиперпараметров проводят с помощью кросс-валидации на обучающей выборке. Кросс-валидация бывает разных видов, наиболее простым и распространенным вариантом является k-fold. При таком подходе осуществляется k-кратное изменение подвыборок данных, используемых для обучения и для валидации. Обучающая выборка делится на k блоков, а каждой итерации проверки модели присуждается номер i, который лежит в промежутке от 1 до k. В свою очередь, в каждой итерации выбор блока данных t, который будет использован в качестве тестового, осуществляется как t=k–i. Чаще всего k выбираются в диапазоне от 5 до 10, оптимальное значение зависит от количества данных. На примере k=5 в первой итерации обучающими данными будут блоки под номерами от 1 до 4, тогда t=5. На второй итерации данные для обучения это блоки 1–3 и 5, t=4 и т.д. до i=5.

Вне зависимости от того, каким образом организована работа по обучению и валидации моделей МО, необходимо соблюдать одно правило, которое заключается в следующем: нельзя использовать тестовую выборку до того момента, пока каким-либо способом не будет выбран лучший алгоритм и комбинация гиперпараметров. В противном случае будет иметь место искусственная подгонка под наилучший результат на тестовой выборке, который не отражает реальную прогнозирующую способность модели. Многократное использование тестовой выборки с целью подгонки наилучших алгоритмов и гиперпараметров для достижения максимального качества прогноза может привести к тому, что несмотря на хорошие показатели метрик модели, она не будет способна к обобщению, то есть качественному прогнозу целевого свойства на новых данных.

Для оценки качества обученных моделей используют набор стандартных для регрессионного анализа метрик: коэффициент детерминации R², скорректированный (adjusted) коэффициент детерминации, среднеквадратичная ошибка (mean squared error, MSE), корень среднеквадратичной ошибки (root mean square error, RMSE), средняя абсолютная ошибка (mean absolute error, MAE) и средняя абсолютная процентная ошибка (mean absolute percent error, MAPE). Подробное описание данных метрик представлено ниже.

Коэффициент детерминации R² является самым распространенным показателем оценки качества прогноза модели, который рассматривают как универсальную метрику. Он показывает, какую долю изменчивости зависимой переменной можно объяснить с помощью данной модели. R²-находят по следующей формуле:

$R^2=1-\frac{\sum _{i=1}^n{(y_i-\overbrace{y_i})}^2}{\sum _{i=1}^n(y_i-\overline{y_i{)}^2}}$, (2)

где $y_i$  и $\overbrace{y_i}$  — действительное и спрогнозированное значение, ${\overline{y}}_i$ – среднее значение y, n — количество образцов данных. Результатом вычисления R² являются значения от 0 до 1, где 0 означает, что модель не имеет прогнозирующей способности, 1 — это идеальная модель, где все точки графика в координатах: спрогнозированное значение — действительное значение лежат на прямой линии.

Существует проблема оценки с помощью классического коэффициента детерминации, заключающаяся в том, что при увеличении количества независимых переменных происходит увеличение значения R², не связанное с увеличением качества прогноза [28]. По этой причине не вполне корректно использовать R² для сравнения между собой моделей, обученных на массивах данных с разным количеством независимых переменных. Для решения этой проблемы был предложен adjusted, или скорректированный, коэффициент детерминаций:

$R_{adj}^2=1-\left(1-R^2\right)\frac{N-1}{N-k-1}$, (3)

где N — объем выборки, k — количество независимых переменных.

Среднеквадратичная ошибка (MSE) показывает отклонение прогноза от экспериментальных значений и рассчитывается путем суммирования квадратов разницы между ними:

$MSE=\frac{1}{n}\sum _{i=1}^n{(y_i-\widehat{y_i})}^2$, (4)

Цель этой метрики — подчеркнуть большие ошибки, демонстрируемые моделью, за счет того, что разница между реальным и спрогнозированным значением возводится в квадрат. Однако по этой же причине данную метрику сложно интерпретировать, и по ее значениям не всегда удобно оценивать точность прогноза.

Существует аналогичная метрика, лишенная этого недостатка, а именно, корень среднеквадратичной ошибки (RMSE), которая является квадратным корнем из MSE:

$RMSE=\sqrt{\frac{1}{n}}\sum _{i=1}^n{(y_i-\widehat{y_i})}^2$. (5)

RMSE метрика в отличие от MSE используется в случае, когда требуется сохранить размерность прогнозируемых параметров. Чем ниже значения MSE и RMSE, тем более точно модель делает прогноз.

Абсолютная средняя ошибка (MAE) показывает точное отклонение между прогнозом и экспериментальным значением в тех же единицах измерения, что и измеряемый параметр (как и RMSE), к примеру, при прогнозе H_c ее MAE будет иметь размерность А/м. MAE вычисляется по следующей формуле:

$MAE=\frac{1}{n}\sum _{i=1}^n\left|y_i-\widehat{y_i}\right|$. (6)

Существует также модификация MAE — средняя абсолютная процентная ошибка (MAPE), которая показывает отклонение прогноза от реальных значений, как в процентах, так и в долях. Для получения значений в процентах MAPE рассчитывается по формуле:

$MAPE=100\frac{1}{n}\sum _{i=1}^n\frac{\left|y_i-\widehat{y_i}\right|}{y_i}$. (7)

Стоит отметить, что для оценки качества работы моделей на разных данных (и при прогнозировании разных свойств) правильно использовать  $R_{adj}^2$ и MAPE, поскольку они показывают качество прогноза без привязки к единицам измерения и нечувствительны к дополнительным параметрам, таким как количество независимых переменных. В то же время в рамках оценки качества различных моделей при работе с одними и теми же данными, удобно использовать MSE, RMSE и MAE, поскольку они дают больше информации о точности прогноза.

Необходимо отметить, что в регрессионном анализе существует гораздо больше разнообразных метрик. Так, например, в модуле “metrics” в популярной библиотеке для анализа данных scikit-learn на сегодняшний момент реализовано 18 метрик для оценки качества регрессионных моделей. Выше приведены только основные, которые чаще всего встречаются в работах по прогнозированию свойств, в том числе и в магнитных материалах.

1.4. Основные алгоритмы МО, используемые при прогнозе свойств

К настоящему моменту разработаны десятки различных алгоритмов для решения задачи регрессии, многие из которых используются при прогнозе свойств материалов, в том числе магнитных. Существует несколько подходов к их классификации. Один из наиболее простых подходов предполагает деление всего на две группы: классические алгоритмы и алгоритмы глубокого обучения. Классическими алгоритмами считаются те, которые не задействуют в своей работе искусственные нейронные сети (Artificial Neural Networks). Алгоритмами глубокого обучения, напротив, называют любые алгоритмы, основанные на искусственных нейронных сетях. В свою очередь, в группе классических алгоритмов можно выделить подгруппу ансамблевых алгоритмов (рис. 3).

 

Рис. 3. Классификация алгоритмов машинного обучения для решения задач регрессии.

 

Ансамбли основаны на стратегии объединения нескольких базовых моделей (чаще всего деревьев решений), каждая из которых обучается на подмножестве данных, что позволяет получать более точные прогнозы. Существуют разные способы объединения, такие как bagging, boosting и другие, которые подробно описаны в работе [29]. В разных случаях наилучшую производительность при прогнозе свойств демонстрируют разные алгоритмы МО, поэтому нет универсального решения для всех задач. Часто в работах по прогнозированию свойств выбор оптимального алгоритма в каждом отдельном случае осуществляется путем перебора. Обучение набора алгоритмов и выбора наилучшего происходит путем их сравнения по результатам оценки метрик. Однако такой подход может приводить к излишним затратам времени при ограниченных вычислительных ресурсах. Несмотря на то, что при прогнозировании свойств материалов как правило используется малое количество данных, в некоторых случаях процесс обучения и, в особенности, настройка гиперпараметров, может занимать продолжительное время. Для того чтобы минимизировать эти издержки, необходимо перед первичным выбором подходящих алгоритмов анализировать исходные данные с точки зрения характера их распределения, наличия выбросов и по другим критериям. Затем по результатам анализа ограничивать список потенциально применимых к данному случаю алгоритмов на основе особенностей их работы. Более подробная информация по этому вопросу может быть найдена в работе [23].

В табл. 1 перечислены и расшифрованы названия алгоритмов, упоминаемых в статье.

 

Таблица 1. Основные алгоритмы машинного обучения

Алгоритм	Расшифровка
SVR	Support Vector Regressor
KNN	K-Nearest Neighbors
LR	Linear Regression
DTR	Decision Tree Regressor
RFR	Random Forest Regressor
GB	Gradient Boosting
XGBoost	Extreme Gradient Boosting
LightGBM	Light Gradient-Boosting Machine
ANN	Artificial Neural Network
RNN	Recurrent Neural Network
CNN	Convolutional Neural Network
DNN	Deep Neural Network

 

Помимо того, что эти и другие алгоритмы можно использовать для предсказания свойств по отдельности, существует подход, позволяющий объединять прогноз сразу нескольких алгоритмов в один общий результат. Модели, объединяющие несколько алгоритмов, называются составные или сложенные (stacked). В таком случае имеется две или более базовые модели, часто называемые моделями нулевого уровня, и метамодель, которая объединяет прогнозы базовых моделей, ее часто называют модель первого уровня. Задача метамодели состоит в том, чтобы в процессе обучения научиться наилучшим образом комбинировать прогнозы базовых моделей для достижения результата прогноза с минимальной ошибкой. Более подробная информация о таком подходе может быть найдена, например, в работе [30]. Такой подход довольно часто (но не всегда) показывает лучшую точность по сравнению с одиночными моделями.

По степени привлечения эмпирической информации модели МО, используемые для предсказания свойств, могут быть дата-ориентированными (data-driven) и гибридными [31]. Дата-ориентированные модели основаны исключительно на данных — их параметры подбираются в процессе обучения на основе имеющихся данных и как правило не имеют физической интерпретации. Поэтому их часто называют “черным ящиком” или эмпирическими моделями. Это наиболее распространенный и простой тип, который повсеместно используется в МО. Гибридная модель объединяет дата-ориентированную модель МО и первопринципную модель. Первопринципные модели являются противоположностью дата-ориентированных, поскольку они полностью основаны на фундаментальных законах физики, химии, термодинамики и др., а не на данных. Объединение этих двух подходов в гибридных моделях можно осуществлять разными способами и с разной целью. Например, в дата-ориентированную модель вводят ограничения, обусловленные физическими законами, для корректировки прогнозирования, или первопринципная модель корректируется с использованием дата-ориентированной для изучения феномена, который неизвестен первой. Еще один способ — с помощью первопринципных вычислений и экспериментальных данных создается суррогатная модель (дата-ориентированная), с помощью которой калибруется первопринципная модель и определяются расхождения между результатами моделирования и наблюдаемыми данными. Описанные в данном обзоре результаты в основном получены с помощью дата-ориентированных моделей.

2. РАЗРАБОТКА ФУНКЦИОНАЛЬНЫХ МАГНИТНЫХ СПЛАВОВ С ПОМОЩЬЮ МАШИННОГО ОБУЧЕНИЯ.

По характеру перемагничивания магнитные материалы традиционно разделяют на магнитомягкие, магнитотвердые и полумагнитотвердые. Все они обладают разными наборами функциональных свойств, при этом конкретная комбинация требуемых характеристик зависит от условий эксплуатации материала. В разных ситуациях приоритет отдают разным свойствам. В любом случае, возможность знать свойства материала еще до его изготовления является крайне востребованной. Традиционно ведутся работы, направленные на разработку новых магнитных материалов с помощью классических вычислительных подходов [32, 33]. МО расширяет возможности данного направления. Например, было показано, что с помощью МО можно с хорошей точностью прогнозировать температуру Кюри ферромагнетиков на основе их состава [34]. В данном разделе обобщены и проанализированы результаты работ, опубликованных в научной литературе, целью которых было прогнозирование функциональных свойств магнитомягких и магнитотвердых материалов с помощью МО на основе набора независимых переменных (химический состав, параметры обработки, структурные дескрипторы).

2.1. Прогнозирование свойств в магнитомягких материалах

Магнитомягкие материалы играют ключевую роль в преобразовании энергии, широко используются в трансформаторах, электрических двигателях и многих других электротехнических устройствах [35]. По мере общемирового роста энергопотребления, а также развития тенденций к миниатюризации и появления новых областей применения электротехнических устройств, возрастает потребность в разработке новых магнитомягких материалов и улучшении уже существующих. Такие материалы должны обладать низкой коэрцитивной силой H_с, высокой магнитной проницаемостью µ, высокой магнитной индукцией B_S, низкой магнитострикцией λ и высоким электрическим сопротивлением ρ. Часто также важна высокая температура Кюри T_C. По этой причине МО обычно используют для прогноза именно этих свойств. Самой популярной группой магнитомягких материалов, в которых реализуются такие исследования, являются многокомпонентные сплавы типа FINEMET. В первую очередь, в этих сплавах стремятся повысить B_S, улучшить температурную стабильность магнитных свойств, при этом не допустив ухудшения остальных функциональных свойств и стеклообразующей способности. Главным инструментом воздействия на свойства сплавов этой группы является варьирование химического состава. Проблема заключается в том, что выбор оптимального состава, обеспечивающего требуемые свойства, осложнен огромным пространством возможных комбинаций. Это связано с тем, что на сегодняшний день при их разработке используют более двадцати различных элементов таких как Fe, Co, Ni, Si, B, Cu, Nb, P, Zr, V, Ge, Ga, Mn, Mo, W, Hf, C, Ta и другие [36, 37]. Существуют определенные стратегии разработки химического состава новых сплавов, например частичное или полное замещение исходных элементов, входящих в состав FINEMET, способных выполнять аналогичные функции [36]. Поэтому количество возможных комбинаций существенно меньше, чем могло бы быть при равноценном использовании всех элементов. Тем не менее оно все еще слишком велико для того, чтобы имелась хотя бы гипотетическая возможность экспериментально исследовать все потенциально перспективные сочетания. Помимо состава можно варьировать параметры изготовления аморфных сплавов (например, скорость охлаждения расплава) и их термообработки, что еще сильнее увеличивает пространство возможных комбинаций переменных. В связи с этим прогнозирование свойств с помощью МО становится особенно актуальным, поскольку оно позволяет выбирать из огромного многообразия вариантов только те, которые с высокой вероятностью будут обладать требуемыми свойствами. Аморфные сплавы уже довольно давно являются объектом исследований с применением МО, например, при прогнозе стеклообразующей способности [38]. Однако работы по прогнозированию магнитных свойств в аморфных и частично кристаллизованных сплавах начались всего несколько лет назад. В одной из первых работ по этой теме с целью прогноза B_S и температуры начала кристаллизации T_X была разработана модель на основе алгоритма XGBoost [39]. Для ее обучения использовали не только состав, но и другие расчетные показатели: усредненная разница атомных радиусов, концентрация валентных электронов, электроотрицательность и другие. Данные для обучения были взяты из литературы (252 состава), точность моделей (R²) составила 0.93 для B_S и 0.94 для T_X. Экспериментальная валидация на семи выбранных составах показала хорошее соответствие спрогнозированных и экспериментальных значений. В результате удалось разработать 2 сплава с сочетанием относительно высокой индукции насыщения (>1.4 Тл) и высокой температурной стабильности (T_X > 800 К), в частности сплав Fe_77.05B_14.79Si_3.9Ta_1.5Zr_2.76. В работе [40] были осуществлены попытки прогноза B_S, H_с, λ, T_C и размера зерна магнитомягких сплавов типа FINEMET на основе железа. Данные для обучения алгоритмов были собраны из научных статей, посвященных разработке и исследованию подобных сплавов, опубликованных в период с 1988 по 2018 год. В качестве независимых переменных, в дополнение к составу, использовали параметры отжига (температуру и время) и толщину лент. Для обучения задействовали 5 различных алгоритмов, среди которых наилучшую производительность при прогнозе всех свойств, оцениваемую по величине R², продемонстрировал RFR. Экспериментальная валидация была реализована только для двух основных свойств B_S и H_с на нескольких составах, которые были получены с использованием обученных моделей и стохастической оптимизации. Показано, что в случае H_с спрогнозированная и реальная величины расходятся в несколько раз, а в случае B_S расхождение достигает 50%. Вероятно, причиной такого результата являлся неправильный выбор алгоритма и подбор гиперпараметров, а также некачественные данные. Тем не менее, несмотря на проблемы с точностью прогноза, данная работа, наряду с [39], показала возможности, которые открывает МО в области разработки и исследования новых многокомпонентных магнитомягких сплавов. С этого момента количество работ по данной тематике начало расти.

Наиболее часто усилия исследователей сосредоточены на поиске составов с повышенным значением B_S за счет разработки моделей МО для прогнозирования этого свойства [20, 41–45]. Это связано с тем, что низкая B_S в сплавах типа FINEMET по сравнению с электротехнической сталью, являетcя одной из ключевых проблем. В этом случае для обучения моделей всегда используют данные, собранные из научной литературы. Количество строк в таких базах данных варьируется в пределах нескольких сотен. Чаще всего в этих сплавах для обучения используют ансамблевые алгоритмы (RFR, XGBoost, LightGBM), поскольку они демонстрируют лучшую прогнозирующую способность среди остальных опробованных алгоритмов. В некоторых случаях высокие показатели основных метрик демонстрируют также искусственные нейронные сети, в частности ANN [46] и CNN [43].

Помимо B_S, довольно точно прогнозируют и другие свойства, в частности коэрцитивную силу [20, 46], температуру Кюри [44, 46] и магнитную проницаемость [46]. Это подтверждается как высокими метриками, полученными на тестовых данных (R² > 0.8), так и результатами экспериментальной валидации.

В результате таких исследований был разработан ряд сплавов, обладающих экспериментально доказанным перспективным сочетанием свойств, например, Fe₈₃B₉P₃C₄Nb₁ с B_S=1.71 Tл и H_с=0.5 А/м в нанокристаллическом состоянии [46]. Таким образом, продемонстрированы перспективы, которые открывает прогноз свойств с помощью МО в разработке многокомпонентных магнитомягких сплавов нового поколения.

Необходимо отметить, что прогноз магнитных свойств с помощью МО по отношению к другим группам магнитомягких материалов применяется гораздо реже. В первую очередь, это связано с отсутствием подходящих наборов данных, которые можно использовать для обучения. Существуют только отдельные работы по данному направлению. В одной из них авторы использовали алгоритм XGBoost для оптимизации параметров селективного лазерного сплавления магнитомягких композитов на основе порошка Fe–3.5Si–4.5Cr [47]. Для этого был реализован обширный эксперимент, в котором образцы изготавливали при варьировании основных параметров данного метода, таких как концентрация кислорода, мощность лазера и скорость печати. У изготовленных образцов в форме колец измеряли магнитные потери и проницаемость при разных частотах. В результате удалось создать базу данных, с помощью которой была успешно обучена модель, способная точно (R² > 0.85) прогнозировать функциональные свойства магнитомягких композитов данного типа на основе параметров изготовления [47].

Единичными пока являются работы по прогнозу функциональных свойств в классических поликристаллических магнитомягких сплавах. Например, в работе [48] были впервые разработаны модели, которые способны с высокой точностью прогнозировать магнитную поляризацию, коэрцитивную силу, начальную проницаемость и удельное электросопротивление в зависимости от состава в тройном сплаве FeSiAl.

2.2. Прогнозирование свойств в магнитотвердых материалах

В магнитотвердых материалах основными функциональными свойствами, помимо B_S и H_с (которая в данном случае должна быть как можно более высокой), являются остаточная индукция B_r, максимальное энергетическое произведение (BH)_max и температура Кюри T_C [49]. Электротехническая промышленность критически зависит от данного класса материалов, что стимулирует их постоянное развитие. Современные широко используемые магнитотвердые материалы (главным образом 4f-3d-соединения SmCo и NdFeB в разных вариациях) содержат большое количество дорогих редкоземельных элементов, что негативным образом сказывается на их цене. Таким образом, в области разработки магнитотвердых материалов нового поколения необходимо решать две задачи: повышать функциональные свойства материалов и находить пути снижения содержания дорогих редкоземельных элементов. В этом направлении ведутся работы как по снижению доли редкоземельных элементов в составе сплавов [50], так и по разработке и исследованию материалов, не содержащих в составе редкоземельных элементов [51]. В связи с этим использование МО открывает широкие перспективы, поскольку такой подход может помочь быстро находить составы, которые будут обладать повышенными свойствами и/или сниженным содержанием редкоземельных металлов.

Первые работы в этом направлении начали появляться 10–15 лет назад [52, 53]. Здесь, как и в случае с магнитомягкими сплавами, часто применяется подход простого обучения моделей МО с использованием данных химического состава и параметров обработки. В частности, в работе [54] для обучения нейронной сети были задействованы массивы данных из литературы по постоянным магнитам на основе самария, полученным с помощью быстрой закалки из расплава. Данные делили по содержанию Nb, Ti и Zr для систем Sm–Fe–Co–Nb–N, Sm–Fe–Co–Ti–N и Sm–Fe–Co–Zr–N соответственно. Кроме того, был использован общий массив данных без ограничений по входящим в него химическим элементам, размером 805 строк. Помимо химического состава в качестве независимых переменных были задействованы параметры изготовления и обработки лент: скорость вращения колеса при разливке, температура, время отжига и другие. Прогнозируемыми свойствами были B_r и коэрцитивная сила H_cj. В результате показано, что в данном классе сплавов можно довольно точно прогнозировать указанные свойства с помощью МО (R² > 0.83). Исключением являются химические составы, которые сильно отличаются по содержанию элементов от составов, входящих в массив данных, используемый для обучения нейросети.

Зачастую преимуществом МО перед другими расчетными методами является более высокая точность. В работе [55] показано, что с помощью МО можно прогнозировать изменение T_C при замещении Fe и Nd в Fe₁₄Nd₂B₁ другими элементами точнее, чем это позволяют сделать первопринципные расчеты. В данной работе опробовано большое количество алгоритмов МО, лучшие из них демонстрируют MAE около 15 К. В работе [56] эти же авторы разработали составную модель МО для высокоточного прогноза намагниченности насыщения при замещении железа различными элементами в аналогичной системе. Сравнение реальных и спрогнозированных величин поляризации насыщения показало, что MAE не превышает 0.1 Тл. Кроме того, ими был предложен способ прогнозирования плотности сплавов типа TM₁₄RE₂(B,C) (TM — переходный металл, RE — редкоземельный элемент) на основе химического состава с помощью алгоритма линейной регрессии [57].

В большом количестве работ в области магнитотвердых материалов МО не является самостоятельным инструментом, а одним из элементов многоэтапной стратегии разработки новых составов и способов обработки сплавов с повышенными свойствами. Так, например, в работе [58] с помощью высокопроизводительного скрининга (HTS) и расчетов функциональной теории плотности (DFT) было создано несколько тысяч фаз путем комбинаторной замены атомов в определенных положениях. В них определяли такие свойства, как намагниченность, константа анизотропии и энергия относительной фазовой стабильности. Эти данные были использованы для обучения алгоритма SVR. Такой подход позволил разработать ряд сплавов с термодинамически стабильной решеткой типа ThMn₁₂, с подходящим уровнем функциональных свойств и сниженным содержанием редкоземельных элементов. Используются также подходы, сочетающие микромагнитное моделирование и МО. В работе [59] с помощью пакета Mumax3 было сгенерировано 1000 микроструктур поликристаллов NdFeB, затем для каждой структуры смоделированы B–H-кривые, из которых были получены значения H_с и (BH)_max, а их использовали для обучения в качестве целевых переменных. В качестве дескрипторов были использованы параметры, извлеченные из смоделированных микроструктур, такие как средний размер зерна и степень несоосности легких осей.

Аналогичный подход, сочетающий первопринципные расчеты с моделированием и МО, был использован и в других работах [60–62]. Таким образом, исследователи успешно создают новые многообещающие методы разработки функциональных материалов. Например, в работе [60] с помощью подобного метода было разработано и синтезировано соединение Fe₃CoB₂, обладающее магнитной анизотропией K₁ = 1.2 МДж/м³, и поляризацией насыщения J_S = 1.39 Tл.

Для ускорения и облегчения исследований, основанных на данных в области магнитотвердых материалов и разработки перспективных сплавов без редкоземельных элементов, в 2019 году была создана обширная база данных Novomag [63]. С ее помощью был получен ряд результатов, в частности, предложены соединения с высокой намагниченностью насыщения и константой анизотропии, которые могут быть потенциальной заменой традиционных магнитотвердых сплавов [64].

МО применяется также для прогнозирования свойств других магнитотвердых материалов, например, ферритов. В работе [65] разработана методика прогнозирования магнитных свойств гексаферритов стронция. Для этого был реализован обширный эксперимент, в котором при изготовлении порошка методом твердофазного синтеза варьировали содержание SrCO₃, Fe₂O₃, La₂O₃, Co₂O₃ и тем самым состав конечного продукта. В синтезированных образцах измеряли B_S и H_cJ, которые задействовали в качестве целевых переменных. Используемым алгоритмом был SVR с применением различных приемов оптимизации гиперпараметров. В результате удалось не только разработать модель для высокоточного прогноза B_S и H_cJ в гексаферритах стронция в зависимости от состава, но и проанализировать влияние различных элементов на свойства.

Другими группами материалов, которые также становятся объектами подобных исследований, являются сплавы Гейслера [66, 67] и халькогениды на основе железа [68]. Например, в работе [67] с помощью алгоритма RFR и данных, собранных из литературы, прогнозировали магнитный момент, константу кристаллической решетки и энергию формирования фаз в сплавах Гейслера. На тестовых данных созданная модель демонстрирует значение R² в диапазоне 0.80–0.94, что свидетельствует об ее эффективности. Тестирование показало, что при сравнении прогноза с расчетными и экспериментальными данными, взятыми из литературы, наблюдается высокая точность модели.

Описанные выше результаты, как для магнитомягких, так и для магнитотвердых сплавов обобщены в табл. 2. Они показывают, что МО применимо для прогнозирования магнитных свойств широкого круга материалов с разными структурными особенностями.

 

Таблица 2. Примеры использования машинного обучения для прогноза свойств различных магнитных материалов. Указано общее количество данных до разделения на выборки. Значение R² приводится до второго знака после запятой без округления

Класс материалов	Прогнозируемое свойство	Кол-во данных	Алгоритм	R2	Ссылка
Сплавы типа FINEMET	Магнитная индукция	252	XGBoost	0.93	[39]
Сплавы типа FINEMET	Температура кристаллизации	252	XGBoost	0.94	[39]
Сплавы типа FINEMET	Коэрцитивная сила	742	RFR	0.76	[40]
Сплавы типа FINEMET	Температура Кюри	114	RFR	0.78	[40]
Сплавы типа FINEMET	Проницаемость	441	RFR	0.58	[40]
Сплавы типа FINEMET	Магнитная индукция	295	RFR	0.86	[40]
Сплавы типа FINEMET	Магнитострикция	204	RFR	0.82	[40]
Сплавы типа FINEMET	Магнитная индукция	622	CNN	0.96	[43]
Сплавы типа FINEMET	Намагниченность	1045	ANN	0.98	[46]
Сплавы типа FINEMET	Коэрцитивная сила	217	ANN	0.9	[46]
Сплавы типа FINEMET	Температура Кюри	205	ANN	0.92	[46]
Сплавы типа FINEMET	Максимальная проницаемость	209	ANN	0.96	[46]
Магнитомягкий композит на основе FeSiCr	Потери при перемагничивании	624	XGBoost	0.93	[47]
Магнитомягкий композит на основе FeSiCr	Проницаемость	624	XGBoost	0.99	[47]
Сплав Fe–Si–Al	Коэрцитивная сила	122	ANN	0.93	[48]
Сплав Fe–Si–Al	Электросопротивление	104	ANN	0.98	[48]
Сплав Fe–Si–Al	Магнитная поляризация	65	ANN	0.96	[48]
Сплав Fe–Si–Al	Начальная проницаемость	147	ANN	0.89	[48]
Сплав Fe–Si–Al	Максимальная проницаемость	147	XGB	0.68	[48]
Быстрозакаленные сплавы Sm, Fe, Co, Nb	Остаточная индукция	81	ANN	0.83	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Nb	Коэрцитивная сила	81	ANN	0.92	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Ti	Остаточная индукция	97	ANN	0.85	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Ti	Коэрцитивная сила	97	ANN	0.87	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Zr	Остаточная индукция	126	ANN	0.74	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Zr	Коэрцитивная сила	126	ANN	0.90	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Nb	Остаточная индукция	81	ANN	0.83	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Nb	Коэрцитивная сила	81	ANN	0.92	[54]
Быстрозакаленные сплавы Sm, Fe, Co, Ti	Остаточная индукция	97	ANN	0.85	[54]
Быстрозакаленные сплавы без ограничения входящих в состав элементов	Остаточная индукция	805	ANN	0.95	[54]
Быстрозакаленные сплавы без ограничения входящих в состав элементов	Коэрцитивная сила	805	ANN	0.92	[54]
Магнитотвердые соединения типа 14:2:1	Температура Кюри	449	Stacked (4 базовых модели)	0.95	[55]
Магнитотвердые соединения типа 14:2:1	Намагниченность	198	Stacked (4 базовых модели)	0.97	[56]
Магнитотвердые соединения типа 14:2:1	Плотность	189	LR	0.97	[57]
Nd2Fe14B	Коэрцитивная сила	1000	Kernel ridge regression	0.89	[59]
Nd2Fe14B	Максимальное энергетическое произведение	1000	ANN	0.87	[59]
Гексаферрит стронция	Коэрцитивная сила	145	SVR	0.98	[65]
Гексаферрит стронция	Намагниченность	145	SVR	0.99	[65]
Халькогениды на основе железа	Магнитный момент	4348	Stacked, (6 базовых моделей)	0.94	[68]

 

3. ПЕРСПЕКТИВЫ И ПРОБЛЕМЫ ИСПОЛЬЗОВАНИЯ МО ПРИ РАЗРАБОТКЕ НОВЫХ МАТЕРИАЛОВ

С момента появления концепции искусственного интеллекта в 1950-х годах его развитие сопровождается волнообразным изменением интереса к этой области [69]. Периоды упадка получили название “зима искусственного интеллекта”, тогда как периоды повышенного интереса и бурного развития, напротив, называют “весна …” или “лето искусственного интеллекта”. В настоящее время наблюдается очередная “весна”, которая по уровню вовлеченности как научных и инженерных сообществ, так и общества в целом, вероятно, превосходит все предыдущие подобные периоды. Дополнительный ажиотаж также создают недавние успехи популярных языковых моделей Generative Pretrained Transformer (например, GPT-3, GPT-4 и многие другие) [70].

Разумеется, такой всплеск интереса к МО распространяется на разные области, в том числе и на науку о материалах. Это связано, главным образом, с теми успехами, которых уже удалось добиться за последние десять лет в этом направлении. В свою очередь, возможность достижения успехов обусловлена сочетанием по меньшей мере трех факторов:

1. Уровень развития аппаратного обеспечения (hardware), обеспечивающий широкий доступ к вычислительным возможностям, достаточным для обучения как классических алгоритмов, так и глубоких искусственных нейронных сетей. Этому также способствует развитие GPU вычислений, которые хорошо подходят для перемножения матриц, что требуются при работе с нейронными сетями [71].
2. Уровень развития программного обеспечения (software). В результате работы множества исследователей и разработчиков к настоящему моменту создано большое количество алгоритмов, демонстрирующих отличные результаты на разнообразных данных. Разрабатываются как новые алгоритмы и архитектуры, например, XGBoost [72] или автокодировщик (Autoencoder) [73], так и специализированные алгоритмы и пайплайны (pipline) для прогноза свойств материалов, такие как CrabNet [74], Modnet [22], Automatminer [75]. Еще более важным фактором в контексте развития прикладного МО, в том числе при прогнозе свойств различных материалов, является развитие инструментов, позволяющих использовать алгоритмы машинного обучения, включая искусственные нейронные сети, без большого опыта в области программирования. Развитие таких библиотек как Scikit-learn, PyTorch, TensorFlow и многих других, кардинально понизило порог входа в прикладное МО, за счет чего специалисты из разных областей науки могут легко использовать этот инструмент в своих целях и вносить вклад в развитие направления.
3. Накопление большого количества данных в разных областях. В материаловедении к настоящему моменту имеется возможность создавать базы данных большого объема, например, такие ресурсы как AFLOW [76] и Materials Project [77] содержат расчетные данные для сотен тысяч соединений. За счет того, что многие группы материалов исследуются уже десятки лет, сегодня появилась возможность создавать базы данных достаточного размера на основе опубликованных экспериментальных и теоретических результатов.

Однако на волне повышенного интереса и ажиотажа вокруг МО крайне важно понимать все ограничения и недостатки данного инструмента для того, чтобы правильно его использовать.

3.1. Проблемы, связанные с качеством и количеством данных

Для обучения моделей используют массив данных, каждая строка которого содержит набор независимых переменных и целевое свойство.

Часто для создания таких объектов используется информация из опубликованных статей [78, 79]. Проблем у такого подхода несколько. Во-первых, в научном сообществе принято публиковать только успешные результаты. Это приводит к тому, что неудачные результаты экспериментов при разработке новых материалов в лучшем случае остаются в архивах лабораторий и не попадают в открытый доступ. Такая предвзятость отчетности (reporting bias) приводит к сильному искажению статистического распределения данных, что плохо сказывается на процессе обучения алгоритмов. В работах [80, 81] показано, что включение неудачных результатов в массив данных позволяет существенно повысить прогнозирующую способность моделей. При таком подходе MAE и R² в некоторых случаях могут улучшаться более чем на 50% по сравнению с моделями, обученными только на “хороших” данных. Для решения этой проблемы необходимо повсеместное внедрение практики сохранения и структурирования неудачных результатов с последующим их размещением в открытом доступе. В последние годы начали появляться возможности публикации таких результатов, например, журнал ACS Omega, или группа журналов The All Results Journals.

Еще одной проблемой при формирования больших данных в материаловедении является их неоднородность. Как правило, исследователи не располагают большими объемами достоверных, полученных при одинаковых условиях данных. Чтобы сформировать массивы данных приемлемого размера, приходится пренебрегать такими факторами, как различия в оборудовании, незначительные различия в условиях эксперимента, разница в исследовательских протоколах или отсутствие некоторых подробностей процессов изготовления образцов и измерения свойств. Однако даже в таком случае количество данных, которые можно реально использовать для обучения остается невысоким. Например, в работе [40] с использованием информации из статей, опубликованных с 1988 по 2018 годы, была создана база данных размером 1440 строк, посвященная аморфным/нанокристаллическим сплавам типа FINEMET. Однако из-за различий в условиях, при которых данные были получены, и отсутствия необходимой информации, часть данных была исключена, а часть упрощена. В результате для обучения моделей были использованы наборы данных размером от 114 до 802 строк, в зависимости от прогнозируемого свойства.

Во-вторых, возникает проблема с качеством данных. Результаты, полученные разными научными группами, даже в случае одних и тех же образцов и методов исследования, часто могут различаться. Это показывают результаты round-robin тестов, например, расхождение значений магнитострикции образцов электротехнической стали, полученных одним и тем же методом в девяти различных лабораториях, достигает 5% [82]. Эту проблему можно минимизировать путем использования баз данных, полученных в рамках одного эксперимента.

Еще одной проблемой при создании баз данных с использованием экспериментальных результатов является сложность исчерпывающего представления всех условий эксперимента в виде количественных или категоризованных параметров, которые можно подавать в модель МО. Можно легко использовать некоторые параметры, такие как температура или длительность изотермического отжига, в качестве количественных независимых переменных. Однако в некоторых случаях извлекать независимые переменные из методики изготовления образцов гораздо сложнее. Например, в случае многоступенчатых отжигов, когда варьируется скорость нагрева, температура, время выдержки и скорость охлаждения на разных стадиях термообработки. Таким образом, часть данных неизбежно теряется. Для решения этой проблемы недавно была предложена идея использования инструментов обработки естественного языка в дополнение к классическим количественным и категоризированным параметрам [83].

В целом, вышеобозначенные проблемы можно нивелировать за счет использования базы данных, созданной в рамках одного обширного эксперимента одним коллективом исследователей на одном оборудовании в одинаковых известных условиях, как было сделано, например, в работах [47, 48, 65]. Качество таких данных выше, чем при создании базы данных на основе литературных источников, однако основной минус этого подхода — он время- и ресурсозатратен. Это приводит к тому, что количество данных, которые можно получить, сильно ограничено. Таким образом, удается повышать качество данных ценой уменьшения (как правило) их количества.

В случае когда источником данных являются расчеты, например, методом DFT, размер создаваемых баз данных существенно возрастает по сравнению со случаем, когда источник данных — эксперимент, иногда на несколько порядков. Такой подход также лишен недостатков, связанных с разнородностью данных при условии, если все расчеты проводили при одинаковых параметрах. В целом, сочетание первопринципных расчетов и МО позволяет существенно ускорять расчеты и получать новые результаты [58, 68]. Однако в области прогноза функциональных свойств материалов потенциал такого подхода ограничен. Как правило, наблюдаются расхождения между значениями свойств, полученных с помощью расчетов и экспериментально. Если такие данные использовать для обучения моделей МО, это расхождение, в свою очередь, будет накладываться на расхождение, которое неизбежно имеется между прогнозом МО и реальным значением. Это может привести к тому, что модель, обученная на таких данных, не будет способна с требуемой точностью предсказывать свойства реальных материалов для их практического использования.

3.2. Проблемы интерпретируемости машинного обучения

Алгоритмы МО способны быстро и эффективно решать задачи поиска корреляций в многомерном пространстве и прогнозировать свойства на основе комбинации переменных. Однако проблемой, за которую часто критикуют работы по использованию МО, является то, что создание модели, которая путем нахождения корреляции между независимыми и зависимыми переменными способна с хорошей точностью прогнозировать определенные свойства, не приводит к получению нового научного знания. Это связано с низкой интерпретируемостью ряда алгоритмов МО, многие из них (в основном искусственные нейронные сети) обладают большим потенциалом в решении задач регрессии, но при этом являются “черным ящиком”, поскольку отсутствует возможность напрямую понять, каким образом обученная модель принимает решения.

Необходимо отметить, что эта проблема в полной мере еще не решена, однако в последние годы активно разрабатываются подходы, направленные на повышение интерпретируемости моделей МО [84]. Этого добиваются путем сочетания нескольких подходов. Для этого осуществляют замену (или дополнение) признаков, отвечающих содержанию различных химических элементов, на признаки, которые вычисляются на основе химического состава (концентрация валентных электронов, электроотрицательность, разница атомных размеров, усредненная температура плавления, энтальпия смешения и другие). С точки зрения инструментов это можно делать вручную либо с использованием готовых пакетов для преобразования химического состава в векторы в многомерном пространстве, например, CBFV или matminer.featurizers. Затем модель, обученная с использованием этих параметров, применяют для оценки вклада каждого отдельного параметра в прогнозируемое свойство. Это позволяет делать выводы о механизмах формирования свойств в данных материалах. Такой подход был использован во многих работах, в том числе по магнитным материалам [20, 39]. С точки зрения инструментов, для этого чаще всего используют либо функцию features importance, встроенную в библиотеку Scikit-learn, которая позволяет оценивать вклад каждой независимой переменной в решения, принимаемые ансамблевыми моделями, либо так называемые SHAP величины. В основе этого метода лежит определение значений Шепли [86], которые используются в теории игр. Еще одним методом является LIME (Local Interpretable Model-agnostic Explanations) [87]. В целом за последнее время удалось достигнуть существенного прогресса в повышении интерпретируемости моделей МО, используемых при прогнозе свойств и соответственно в получении новой научной информации из работ, основанных на данных [85]. С учетом бурного развития методов и инструментов, используемых в МО, существуют основания ожидать дальнейшего прогресса в решении этой проблемы.

3.3. Перспективы подхода прогнозирования свойств с помощью МО и общие рекомендации по организации таких исследований

В данной статье приведено много примеров успешного использования алгоритмов МО для прогнозирования свойств различных магнитных материалов. Большинство работ, в которых были реализованы такие исследования, опубликованы за последние несколько лет, что демонстрирует актуальность и динамику развития этого направления. Более того, в обзоре не освещено направление разработки новых магнитных материалов со специальными свойствами, например, с гигантским магнитокалорическим эффектом [88], с помощью МО, которое также активно развивается в последние годы. Тем не менее остается еще много нерешенных задач. Во-первых, с точки зрения объектов таких исследований. К настоящему моменту практически отсутствуют работы по прогнозу свойств в традиционных поликристаллических магнитомягких сплавах. В данном случае не всегда имеется возможность варьировать химический состав в широком диапазоне, и соответственно использовать его в качестве независимых переменных для МО. Однако можно использовать схему: параметры обработки — функциональные свойства. Такой подход мог бы быть востребован при разработке путей повышения свойств электротехнической стали Fe–Si, производимой в промышленных масштабах. Для этого необходимо создание баз данных, содержащих изменяющиеся параметры обработки, такие как степень деформации при прокатке, температура, длительность и атмосфера отжигов, и многие другие с соответствующими каждому набору параметров свойствами. Во-вторых, необходимо повышать точность разрабатываемых моделей МО и улучшать их обобщающую способность. В общем случае для этого необходимо повышать качество и количество данных, а также использовать оптимальные алгоритмы и гиперпараметры для конкретных данных. Одним из перспективных направлений развития МО, которое может помочь решить обозначенные проблемы, является машинное обучение на основе физики (physics informed machine learning) [89]. Данное направление находится на пересечении физики и МО. В ее сути лежит внедрение физики в модели машинного обучения, чтобы повысить их качество, фактически создаются гибридные модели, о которых упоминали в разделе 1.4. С одной стороны, такой подход позволяет уменьшать размеры выборки и повышать точность модели, с другой стороны, упростить интерпретируемость обученных моделей, что может приводить к открытию новых физических моделей. Реализация внедрения физики в машинное обучения заключается в том, что в модель вводятся физические формулы в явном виде, чтобы она учитывала их при принятии решений. Повышение интерпретируемости обусловлено извлечением полученных формул из модели. Более подробная информация по данной теме может быть найдена в работах [89–91].

Существует несколько рекомендаций, которых нужно придерживаться при обучении моделей МО прогнозировать свойства различных материалов:

1. Большое внимание необходимо уделять качеству данных, которое в данном случае зачастую даже более важно, чем их количество. Для этого базы данных необходимо подвергать тщательному анализу и осуществлять очистку от заведомо ненадежных данных. С точки зрения эффективности обучения алгоритмов, лучше уменьшить исходный массив данных на несколько строк, чем реализовать обучение на некачественных данных. Необходимо также осуществлять преобразование данных (стандартизация, нормализация) с целью минимизации влияния выбросов и, по возможности, приближения распределения данных к Гауссовому. Некоторые алгоритмы особенно чувствительны к характеру распределения данных (SVM, ANN).
2. Нельзя во всех случаях ожидать наилучшего качества прогнозирования от одного и того же алгоритма. На каждых новых данных необходимо тестировать различные алгоритмы. Кроме того, большое внимание необходимо уделять подбору гиперпараметров, поскольку разница в качестве обучения одного и того же алгоритма на одних и тех же данных при разных гиперпараметрах существенна. Для эффективного подбора гиперпараметров можно использовать стандартные инструменты, такие как random search и grid search, а также специальные библиотеки и сервисы, например, Optuna и comet.ml.
3. Крайне важно не настраивать гиперпараметры по тестовой выборке, для этого следует использовать либо третью выборку (валидационную), либо кросс-валидацию на данных для обучения. В противном случае существует риск снижения обобщающей способности модели, настроенной таким образом.
4. Для оценки качества обученной модели нельзя полагаться только на метрики. Делать вывод о применимости модели для прогнозирования свойств реальных материалов можно только после экспериментальной валидации.

ВЫВОДЫ

В статье продемонстрированы широкие возможности, которые открывает МО в области прогнозирования функциональных свойств магнитных материалов. Показано, что в магнитомягких и магнитотвердых сплавах удается с высокой точностью прогнозировать намагниченность насыщения, коэрцитивную силу, остаточную индукцию, температуру Кюри и другие свойства, главным образом на основе химического состава и набора параметров изготовления и обработки образцов. Даны рекомендации по организации работы прогноза свойств с использованием МО и рассмотрены основные проблемы, которые могут возникать.

Работа выполнена в рамках государственного задания Министерства Науки и Высшего Образования Российской Федерации (Шифр “Магнит”, номер 122021000034-9).

Авторы заявляют, что у них нет конфликта интересов.

About the authors

V. A. Milyutin

Mikheev Institute of Metal Physics, Ural Branch, Russian Academy of Sciences

Author for correspondence.
Email: milyutin@imp.uran.ru
Russian Federation, Ekaterinburg

N. N. Nikul’chenkov

Mikheev Institute of Metal Physics, Ural Branch, Russian Academy of Sciences

Email: milyutin@imp.uran.ru
Russian Federation, Ekaterinburg

References

Supplementary files