Random Survival Forests Incorporated by the Nadaraya-Watson Regression

Cover Page

Cite item

Full Text

Abstract

An attention-based random survival forest (Att-RSF) is presented in the paper. The first main idea behind this model is to adapt the Nadaraya-Watson kernel regression to the random survival forest so that the regression weights or kernels can be regarded as trainable attention weights under important condition that predictions of the random survival forest are represented in the form of functions, for example, the survival function and the cumulative hazard function. Each trainable weight assigned to a tree and a training or testing example is defined by two factors: by the ability of corresponding tree to predict and by the peculiarity of an example which falls into a leaf of the tree. The second main idea behind Att-RSF is to apply the Huber's contamination model to represent the attention weights as the linear function of the trainable attention parameters. The Harrell's C-index (concordance index) measuring the prediction quality of the random survival forest is used to form the loss function for training the attention weights. The C-index jointly with the contamination model lead to the standard quadratic optimization problem for computing the weights, which has many simple algorithms for its solution. Numerical experiments with real datasets containing survival data illustrate Att-RSF.

About the authors

L. V Utkin

Peter the Great St. Petersburg Polytechnic University

Author for correspondence.
Email: lev.utkin@gmail.com
Politekhnicheskaya St. 29

A. V Konstantinov

Peter the Great St. Petersburg Polytechnic University

Email: andrue.konst@gmail.com
Politekhnicheskaya St. 29

References

  1. Hosmer D., Lemeshow S., May S. Applied Survival Analysis: Regression Modeling of Time to Event Data. New Jersey : John Wiley & Sons, 2008.
  2. DeepSurv: Personalized treatment recommender system using a Cox proportional hazards deep neural network / Katzman J., Shaham U., Cloninger A., Bates J., Jiang T., and Kluger Y. // BMC medical research methodology. 2018. Vol. 18, no. 24. P. 1-12.
  3. A Deep Active Survival Analysis Approach for Precision Treatment Recommendations: Application of Prostate Cancer / Nezhad M., Sadati N., Yang K., and Zhu D. 2018. Apr. arXiv:1804.03280v1.
  4. Wang P., Li Y., Reddy C. Machine Learning for Survival Analysis: A Survey // ACM Computing Surveys (CSUR). 2019. Vol. 51, no. 6. P. 1-36.
  5. Zhao L., Feng D. DNNSurv: Deep Neural Networks for Survival Analysis Using Pseudo Values. 2020. Mar. arXiv:1908.02337v2.
  6. Cox D. Regression models and life-tables // Journal of the Royal Statistical Society, Series B (Methodological). 1972. Vol. 34, no. 2. P. 187-220.
  7. Tibshirani R. The lasso method for variable selection in the Cox model // Statistics in medicine. 1997. Vol. 16, no. 4. P. 385-395.
  8. Survival SVM: a practical scalable algorithm. / Belle V. V., Pelckmans K., Suykens J., and Huffel S. V. // ESANN. 2008. P. 89-94.
  9. Bou-Hamad I., Larocque D., Ben-Ameur H. A review of survival trees // Statistics Surveys. 2011. Vol. 5. P. 44-71.
  10. Ishwaran H., Kogalur U. Random Survival Forests for R // R News. 2007. Vol. 7, no. 2. P. 25-31.
  11. Breiman L. Random forests // Machine learning. 2001. Vol. 45, no. 1. P. 5-32.
  12. Hu C., Steingrimsson J. Personalized Risk Prediction in Clinical Oncology Research: Applications and Practical Issues Using Survival Trees and Random Forests // Journal of Biopharmaceutical Statistics. 2018. Vol. 28, no. 2. P. 333-349.
  13. Relative Risk Forests for Exercise Heart Rate Recovery as a Predictor of Mortality / Ishwaran H., Blackstone E., Pothier C., and Lauer M. // Journal of the American Statistical Association. 2004. Vol. 99. P. 591-600.
  14. Mogensen U., Ishwaran H., Gerds T. Evaluating Random Forests for Survival Analysis using Prediction Error Curves // Journal of Statistical Software. 2012. Vol. 50, no. 11. P. 1-23.
  15. Random survival forests for dynamic predictions of a time-to-event outcome using a longitudinal biomarker / Pickett K., Suresh K., Campbell K., Davis S., and Juarez-Colunga E. // BMC Medical Research Methodology. – 2021. –– Vol. 21, no. 1. –– P. 1–14.
  16. Schmid M., Wright M., Ziegler A. On the use of Harrell's C for clinical risk prediction via random survival forests // Expert Systems with Applications. 2016. Vol. 63. P. 450-459.
  17. Wright M., Dankowski T., Ziegler A. Unbiased split variable selection for random survival forests using maximally selected rank statistics // Statistics in Medicine. 2017. Vol. 36, no. 8. P. 1272-1284.
  18. Zhou L., Wang H., Xu Q. Survival forest with partial least squares for high dimensional censored data // Chemometrics and Intelligent Laboratory Systems. 2018. Vol. 179. P. 12-21.
  19. A weighted random survival forest / Utkin L., Konstantinov A., Chukanov V., Kots M., Ryabinin M., and Meldo A. // Knowledge-Based Systems. 2019. Vol. 177. P. 136-144.
  20. Evaluating the yield of medical tests / Harrell F., Califf R., Pryor D., Lee K., and Rosati R. // Journal of the American Medical Association. 1982. Vol. 247. P. 2543-2546.
  21. Utkin L., Konstantinov A. Attention-based Random Forest and Contamination Model. // Neural Networks. – 2022. – Vol. 154. – P. 346–359.
  22. Huber P. Robust Statistics. New York : Wiley, 1981.
  23. Witten D., Tibshirani R. Survival analysis with high-dimensional covariates // Statistical Methods in Medical Research. – 2010. – Vol. 19, no. 1. – P. 29–51.
  24. Zhang H., Lu W. Adaptive Lasso for Cox's proportional hazards model // Biometrika. 2007. Vol. 94, no. 3. P. 691-703.
  25. Support vector methods for survival analysis: a comparison between ranking and regression approaches / Belle V. V., Pelckmans K., Huffel S. V., and Suykens J. // Artificial intelligence in medicine. 2011. Vol. 53, no. 2. P. 107-118.
  26. Zhu X., Yao J., Huang J. Deep convolutional neural network for survival analysis with pathological images // 2016 IEEE International Conference on Bioinformatics and Biomedicine. IEEE. 2016. P. 544-547.
  27. Image-based Survival Analysis for Lung Cancer Patients using CNNs / Haarburger C., Weitz P., Rippel O., and Merhof D. – 2018. – Aug. – arXiv:1808.09679v1.
  28. Decision tree for competing risks survival probability in breast cancer study / Ibrahim N., Kudus A., Daud I., and Bakar M. A. // International Journal of Biological and Medical Research. 2008. Vol. 3, no. 1. P. 25-29.
  29. Wang H., Zhou L. Random survival forest with space extensions for censored data // Artificial intelligence in medicine. 2017. Vol. 79. P. 52-61.
  30. An attentive survey of attention models / Chaudhari S., Mithal V., Polatkan G., and Ramanath R. 2019. Apr. arXiv:1904.02874.
  31. Correia A., Colombini E. Attention, please! A survey of neural attention models in deep learning. 2021. Mar. arXiv:2103.16775.
  32. Correia A., Colombini E. Neural Attention Models in Deep Learning: Survey and Taxonomy. 2021. Dec. arXiv:2112.05909.
  33. A Survey of Transformers / Lin T., Wang Y., Liu X., and Qiu X. 2021. Jul. arXiv:2106.04554.
  34. Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond / Liu F., Huang X., Chen Y., and Suykens J. 2021. Jul. arXiv:2004.11154v5.
  35. Niu Z., Zhong G., Yu H. A review on the attention mechanism of deep learning // Neurocomputing. 2021. Vol. 452. P. 48-62.
  36. Ronao C., Cho S.-B. Random Forests with Weighted Voting for Anomalous Query Access Detection in Relational Databases // Artificial Intelligence and Soft Computing. ICAISC 2015. Cham : Springer. 2015. Vol. 9120 of Lecture Notes in Computer Science. P. 36-48.
  37. Xuan S., Liu G., Li Z. Refined Weighted Random Forest and Its Application to Credit Card Fraud Detection // Computational Data and Social Networks. Cham : Springer International Publishing. 2018. P. 343-355.
  38. Zhang X., Wang M. Weighted Random Forest Algorithm Based on Bayesian Algorithm // Journal of Physics: Conference Series. IOP Publishing. 2021. Vol. 1924. P. 1-6.
  39. Weighted vote for trees aggregation in Random Forest / Daho M., Settouti N., Lazouni M., and Chikh M. // 2014 International Conference on Multimedia Computing and Systems (ICMCS). IEEE. 2014. April. P. 438-443.
  40. Utkin L., Kovalev M., Meldo A. A deep forest classifier with weights of class probability distribution subsets // Knowledge-Based Systems. 2019. Vol. 173. P. 15-27.
  41. Utkin L., Kovalev M., Coolen F. Imprecise weighted extensions of random forests for classification and regression // Applied Soft Computing. 2020. Vol. 92, no. Article 106324. P. 1-14.
  42. Development and validation of a prognostic model for survival time data: application to prognosis of HIV positive patients treated with antiretroviral therapy / May M., Royston P., Egger M., Justice A., and Sterne J. // Statistics in Medicine. 2004. Vol. 23. P. 2375-2398.
  43. Random Survival Forests / Ishwaran H., Kogalur U., Blackstone E., and Lauer M. // Annals of Applied Statistics. 2008. Vol. 2. P. 841-860.
  44. Nadaraya E. On estimating regression // Theory of Probability & Its Applications. 1964. Vol. 9, no. 1. P. 141-142.
  45. Watson G. Smooth regression analysis // Sankhya: The Indian Journal of Statistics, Series A. 1964. P. 359-372.
  46. Bahdanau D., Cho K., Bengio Y. Neural machine translation by jointly learning to align and translate. 2014. Sep. arXiv:1409.0473.
  47. Luong T., Pham H., Manning C. Effective approaches to attention-based neural machine translation // Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. The Association for Computational Linguistics. 2015. P. 1412-1421.
  48. Attention is all you need / Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A., Kaiser L., and Polosukhin I. // Advances in Neural Information Processing Systems. 2017. P. 5998-6008.
  49. Rethinking Attention with Performers / Choromanski K., Likhosherstov V., Dohan D., Song X., Gane A., Sarlos T., Hawkins P., Davis J., Mohiuddin A., Kaiser L., Belanger D., Colwell L., and Weller A. // 2021 International Conference on Learning Representations. 2021.
  50. Schlag I., Irie K., Schmidhuber J. Linear transformers are secretly fast weight programmers // International Conference on Machine Learning 2021. PMLR. 2021. P. 9355-9366.
  51. Support vector machines for survival analysis / Belle V. V., Pelckmans K., Suykens J., and Huffel S. V. // Proceedings of the Third International Conference on Computational Intelligence in Medicine and Healthcare (CIMED2007). 2007. P. 1-8.
  52. Fleming T., Harrington D. Counting processes and survival aalysis. Hoboken, NJ, USA : John Wiley & Sons, 1991.
  53. Sauerbrei W., Royston P. Building multivariable prognostic and diagnostic models: transformation of the predictors by using fractional polynomials // Journal of the Royal Statistics Society Series A. 1999. Vol. 162, no. 1. P. 71-94.
  54. Randomized comparison of interferon-alpha with busulfan and hydroxyurea in chronic myelogenous leukemia. The German CML study group / Hehlmann R., Heimpel H., Hasford J., Kolb H., Pralle H., Hossfeld D., Queisser W., Loeffler H., Hochhaus A., and Heinze B. // Blood. 1994. Vol. 84, no. 12. P. 4064-4077.
  55. Pagano M., Gauvreau K. Principles of biostatistics. Pacific Grove, CA : Duxbury, 2000.
  56. Abrahamowicz M., MacKenzie T., Esdaile J. Time-dependent hazard ratio: modelling and hypothesis testing with application in lupus nephritis // JASA. 1996. Vol. 91. P. 1432-1439.
  57. Kalbfleisch J., Prentice R. The Statistical Analysis of Failure Time Data.New York : John Wiley and Sons, 1980.
  58. Street W., Mangasarian O., Wolberg W. An inductive learning approach to prognostic prediction // Proceedings of the Twelfth International Conference on Machine Learning. San Francisco : Morgan Kaufmann. 1995. P. 522-530.
  59. Stablein D., Carter J., Novak J. Analysis of Survival Data with Nonproportional Hazard Functions // Controlled Clinical Trials. 1981. Vol. 2. P. 149-159.
  60. Gene expression profiling predicts clinical outcome of breast cancer / Veer L. V., Dai H., Vijver M. V. D., He Y., Hart A., Mao M., Peterse H., Kooy K. V. D., Marton M., Witteveen A., and Schreiber G. // Nature. 2002. Vol. 12. P. 530-536.
  61. Demsar J. Statistical comparisons of classifiers over multiple data sets // Journal of Machine Learning Research. 2006. Vol. 7. P. 1-30.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».