Reaction of CO Oxidation on the Surface of Pd Nanoparticles: Optimization by Reinforcement Learning

M. S. Lifar; Лифарь М. С.; A. A. Tereshchenko; Терещенко А. А.; A. N. Bulgakov; Булгаков А. Н.; A. A. Guda; Гуда А. А.; S. A. Guda; Гуда С. А.; A. V. Soldatov; Солдатов А. В.

doi:10.31857/S1028096023030081

Оптимизация реакции окисления угарного газа на поверхности наночастиц палладия методом машинного обучения с подкреплением

Авторы: Лифарь М.С.¹^,2, Терещенко А.А.¹, Булгаков А.Н.¹, Гуда А.А.¹, Гуда С.А.¹^,2, Солдатов А.В.¹
Учреждения:
1. Международный исследовательский институт интеллектуальных материалов, Южный федеральный университет
2. Институт математики, механики и компьютерных наук им. И.И. Воровича, Южный федеральный университет
Выпуск: № 3 (2023)
Страницы: 79-86
Раздел: Статьи
URL: https://journals.rcsi.science/1028-0960/article/view/137727
DOI: https://doi.org/10.31857/S1028096023030081
EDN: https://elibrary.ru/LMOGVS
ID: 137727

Цитировать

Полный текст

Открытый доступ
Доступ закрыт

Доступ предоставлен
Доступ закрыт

Только для подписчиков

Аннотация
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

Выход продуктов реакции зависит от взаимодействия между процессами на поверхности катализатора: адсорбции, активации, десорбции и других. Эти процессы, в свою очередь, зависят от величин потоков реакционных смесей, температуры и давления. В стационарных условиях активные центры на поверхности могут быть отравлены побочными продуктами реакции или заблокированы избытком адсорбированных молекул реагентов. Динамический контроль параметров реакции учитывает изменения свойств поверхности и соответствующим образом регулирует температуру, скорости потоков и другие параметры. Применен алгоритм обучения с подкреплением для управления реакцией окисления угарного газа CO на поверхности наночастиц палладия. Алгоритм был натренирован максимизировать скорость производства углекислого газа на основе информации о величинах потоков CO, O₂ и CO₂ на каждом временнóм шаге. Был выбран алгоритм градиентной политики с непрерывным пространством действий, и расширены наблюдения за скоростями потока на несколько последовательных временны́х шагов, что позволило получить набор нестационарных решений. Максимальный выход продукта достигается при периодическом изменении газовых потоков, обеспечивающем баланс между доступными центрами адсорбции и концентрацией активированных интермедиатов. Эта методология открывает перспективы для оптимизации каталитических реакций в нестационарных условиях.

Ключевые слова

машинное обучение, обучение с подкреплением, катализаторы, наночастицы палладия, адсорбция, монооксид углерода.

Список литературы

Pakhare D., Spivey J. // Chem. Soc. Rev. 2014. V. 43. № 22. P. 7813. https://doi.org/10.1039/C3CS60395D
Pareek V., Bhargava A., Gupta R., Jain N., Panwar J. // Adv. Sci. Eng. Med. 2017. V. 9. № 7. P. 527. https://doi.org/10.1166/asem.2017.2027
Kinoshita K. // J. Electrochem. Soc. 1990. V. 137. № 3. P. 845. https://doi.org/10.1149/1.2086566
Rojluechai S., Chavadej S., Schwank J.W., Meeyoo V. // Catal. Commun. 2007. V. 8. № 1. P. 57. https://doi.org/10.1016/j.catcom.2006.05.029
DeSantis C.J., Peverly A.A., Peters D.G., Skrabalak S.E. // Nano Lett. 2011. V. 11. № 5. P. 2164. https://doi.org/10.1021/nl200824p
Sun C., Cao Z., Wang J., Lin L., Xie X. // New J. Chem. 2019. V. 43. № 6. P. 2567. https://doi.org/10.1039/C8NJ05152F
Vatti S.K., Ramaswamy K.K., Balasubramanaian V. // J. Adv. Nanomat. 2017. V. 2. № 1. P. 127. https://doi.org/10.22606/jan.2017.22006
Cuenya B.R. // Thin Solid Films. 2010. V. 518. № 12. P. 3127. https://doi.org/10.1016/j.tsf.2010.01.018
Schalow T., Brandt B., Laurin M., Schauermann S., Libuda J., Freund H.J. // J. Catal. 2006. V. 242. № 1. P. 58. https://doi.org/10.1016/j.jcat.2006.05.021
Skorynina A., Tereshchenko A., Usoltsev O., Bugaev A., Lomachenko K., Guda A., Groppo E., Pellegrini R., Lamberti C., Soldatov A. // Rad. Phys. Chem. 2018. V. 175. № 1. P. 108079. https://doi.org/10.1016/j.radphyschem.2018.11.033
Albers P., Pietsch J., Parker S.F. // J. Mol. Catal. A. 2001. V. 173. № 1–2. P. 275. https://doi.org/10.1016/S1381-1169(01)00154-6
Gromotka Z., Yablonsky G., Ostrovskii N., Constales D. // Entropy. 2021. V. 23. № 7. P. 818. https://doi.org/10.3390/e23070818
Armstrong C.D., Teixeira A.R. // React. Chem. Eng. 2020. V. 5. № 12. P. 2185. https://doi.org/10.1039/D0RE00330A
Cutlip M., Hawkins C., Mukesh D., Morton W., Kenney C. // Chem. Eng. Commun. 1983. V. 22. № 5–6. P. 329.https://doi.org/10.1080/00986448308940066
Vaporciyan G., Annapragada A., Gulari E. // Chem. Eng. Sci. 1988. V. 43. № 11. P. 2957. https://doi.org/10.1016/0009-2509(88)80049-6
Schwankner R., Eiswirth M., Möller P., Wetzl K., Ertl G. // J. Chem. Phys. 1987. V. 87. № 1. P. 742. https://doi.org/10.1063/1.453572
Eiswirth M., Ertl G. // Phys. Rev. Lett. 1988. V. 60. № 15. P. 1526. https://doi.org/10.1103/PhysRevLett.60.1526
Newton M.A., Ferri D., Smolentsev G., Marchionni V., Nachtegaal M. // Nat. Commun. 2015. V. 6. № 1. P. 8675. https://doi.org/10.1038/ncomms9675
Fang H., Haibin L., Zengli Z. // Int. J. Chem. Eng. 2009. V. 2009. № 1. P. 710515. https://doi.org/10.1155/2009/710515
Moghtaderi B. // Energy Fuels. 2012. V. 26. № 1. P. 15. https://doi.org/10.1021/ef201303d
Yoshida H., Kakei R., Fujiwara A., Tomita A., Miki T., Machida M. // Top Catal. 2019. V. 62. № 1. P. 345. https://doi.org/10.1007/s11244-018-1100-5
Toyao T., Maeno Z., Takakusagi S., Kamachi T., Takigawa I., Shimizu K.-I. // ACS Catal. 2019. V. 10. № 3. P. 2260. https://doi.org/10.1021/acscatal.9b04186
Segler M.H.S., Preuss M., Waller M.P. // Nature. 2018. V. 555. № 7698. P. 604. https://doi.org/10.1038/nature25978
Kaelbling L.P., Littman M.L., Moore A.W. // J. Artif. Intell. Res. 1996. V. 4. P. 237. https://doi.org/10.1613/jair.301
Sutton R.S., Barto A.G. Introduction to Reinforcement Learning. Cambridge: MIT Press, 1998. P. 380.
Littman M.L. // Nature. 2015. V. 521. № 7553. P. 445. https://doi.org/10.1038/nature14540
Neumann M., Palkovits D.S. // Ind. Eng. Chem. Res. 2022. V. 61. № 11. P. 3910. https://doi.org/10.1021/acs.iecr.1c04622
Watkins C.J. Learning from Delayed Rewards: PhD Thesis. Cambridge: King’s Colledge, 1989. 242 p.
Watkins C.J., Dayan P. // Mach. Learn. 1992. V. 8. № 3. P. 279. https://doi.org/10.1007/BF00992698
Lillicrap T.P., Hunt J.J., Pritzel A., Heess N., Erez T., Tassa Y., Silver D., Wierstra D. Continuous Control with Deep Reinforcement Learning; https://arxiv.org/ abs/1509.02971.pdf.
Alhazmi K., Albalawi F., Sarathy S.M. // Chem. Eng. J. 2022. V. 428. P. 130993. https://doi.org/10.1016/j.cej.2021.130993
Zhou Z., Li X., Zare R.N. // ACS Cent. Sci. 2017. V. 3. № 12. P. 1337. https://doi.org/10.1021/acscentsci.7b00492
Engel T., Ertl G. // Elementary Steps in the Catalytic Oxidation of Carbon Monoxide on Platinum Metals. Munchen: Elsevier, 1979. P. 43.
Chorkendorff I., Niemantsverdriet J.W. // Concepts of Modern Catalysis and Kinetics. Weinheim: John Wiley & Sons, 2017. P. 66.
Libuda J., Meusel I., Hoffmann J., Hartmann J., Piccolo L., Henry C., Freund H.-J. // J. Chem. Phys. 2001. V. 114. № 10. P. 4669.
Nelder J.A., Mead R. // The Comput. J. 1965. V. 7. № 4. P. 308. https://doi.org/10.1093/comjnl/7.4.308
Unni M., Hudgins R., Silveston P. // Can. J. Chem. Eng. 1973. V. 51. № 6. P. 623. https://doi.org/10.1002/cjce.5450510601
Abdul-Kareem H.K., Silveston P., Hudgins R. // Chem. Eng. Sci. 1980. V. 35. № 10. P. 2077. https://doi.org/10.1016/0009-2509(80)85029-9
Abdul-Kareem H.K., Hudgins R., Silveston P. // Chem. Eng. Sci. 1980. V. 35. № 10. P. 2085. https://doi.org/10.1016/0009-2509(80)85030-5
Zhou X., Barshad Y., Gulari E. // Chem. Eng. Sci. 1986. V. 41. № 5. P. 1277. https://doi.org/10.1016/0009-2509(86)87100-7