Unet-boosted Classifier – Multi-Task Architecture for Small Datasets Applied to Brain MRI Classification

Cover Page

Cite item

Full Text

Abstract

The problem of training deep neural networks on small samples is especially relevant for medical issues. The paper examines the impact of pixel-wise marking of significant objects in the image, over the true class label, on the quality of the classification. To achieve better classification results on small samples, we propose a multitasking architecture – Unet-boosted classifier (UBC), that is trained simultaneously to solve classification and semantic segmentation problems. As the exploratory dataset, MRI images of patients with benign glioma and glioblastoma taken from the BRaTS 2019 data set are used. One horizontal slice of the MRI image containing a glioma is considered as the input (a total of 380 frames in the training set), and the probability of glioblastoma – as the output. Resnet34 was chosen as the baseline, trained without augmentations with a loss function based on cross-entropy. As an alternative solution, UBC-resnet34 is used – the same resnet34, boosted by a decoder built on the U-Net principle and predicting the pixels with glioma. The smoothed Sorensen-Dice coefficient (DiceLoss) is used as a decoder loss function. Results on the test sample: accuracy for the baseline reached 0.71, for the proposed model – 0.81, and the Dice score – 0.77. Thus, a deep model can be well trained even on a small data set, using the proposed architecture, provided that marking of the affected tissues in the form of a semantic mask is provided.

About the authors

K. V Sobyanin

National Research University Higher School of Economics

Email: k.sobyanin@gmail.com
Gagarin Blvd 37а

S. P Kulikova

National Research University Higher School of Economics

Email: spkulikova@hse.ru
Gagarin Blvd. 37а

References

  1. Li Q., Cai W., Wang X., Zhou Y., Feng D.D., Chen M. Medical image classification with convolutional neural network // 13th international conference on control automation robotics vision (ICARCV). IEEE. 2014. pp. 844–848.
  2. Cai L., Gao J., Zhao D. A review of the application of deep learning in medical image classification and segmentation // Annals of translational medicine. 2020. vol. 8. no. 11.
  3. Murtaza G., Shuib L., Abdul Wahab A.W., Mujtaba G., Mujtaba G., Nweke H.F., Al-garadi M.A., Zulfiqar F., Raza G., Azmi N.A. Deep learning-based breast cancer classification through medical imaging modalities: state of the art and research challenges // Artificial Intelligence Review. 2020. vol. 53. pp. 1655–1720.
  4. Yamanakkanavar N., Choi J.Y., Lee B. MRI segmentation and classification of human brain using deep learning for diagnosis of Alzheimer’s disease: a survey // Sensors. 2020. vol. 20. no. 11. pp. 3243.
  5. Wang X., Peng Y., Lu L., Lu Z., Bagheri M., Summers R.M. Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. pp. 2097–2106.
  6. Esteva A., Kuprel B., Novoa R.A., Ko J., Swetter S.M., Blau H.M., Thrun S. Dermatologist-level classification of skin cancer with deep neural networks // nature. 2017. vol. 542. no. 7639. pp. 115–118.
  7. Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the inception architecture for computer vision // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. pp. 2818–2826.
  8. Ridnik T., Ben-Baruch E., Noy A., Zelnik-Manor L. Imagenet-21k pretraining for the masses // arXiv preprint arXiv:2104.10972. 2021.
  9. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. 2012. vol. 25.
  10. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. pp. 1–9.
  11. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv preprint arXiv:1409.1556. 2014.
  12. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. pp. 770–778.
  13. Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg A., Fei-Fei L. Imagenet large scale visual recognition challenge // International journal of computer vision. 2015. vol. 115. pp. 211–252.
  14. Hammer P. Adaptive control processes: a guided tour (R. Bellman). 1962. 163 p.
  15. Chen L. Curse of Dimensionality // Encyclopedia of Database Systems. Boston, MA: Springer US, 2009. pp. 545–546.
  16. Brigato L., Barz B., Iocchi L., Denzler J. Image classification with small datasets: Overview and benchmark // IEEE Access. 2022. vol. 10. pp. 49233–49250.
  17. Hinton G.E., Srivastava N., Krizhevsky A., Sutskever I., Salakhutdinov R.R. Improving neural networks by preventing co-adaptation of feature detectors // arXiv preprint arXiv:1207.0580. 2012.
  18. Howard A., Sandler M., Chu G., Chen L.-C., Chen B., Tan M., Wang W., Zhu Y., Pang R., Vasudevan V., Le Q., Adam H. Searching for mobilenetv3 // Proceedings of the IEEE/CVF international conference on computer vision. 2019. pp. 1314–1324.
  19. Kim J., Jung W., Kim H., Lee J. CyCNN: A rotation invariant CNN using polar mapping and cylindrical convolution layers // arXiv preprint arXiv:2007.10588. 2020.
  20. Tan M., Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks // International conference on machine learning. PMLR. 2019. pp. 6105–6114.
  21. Tan M., Le Q. Efficientnetv2: Smaller models and faster training // International conference on machine learning. PMLR. 2021. pp. 10096–10106.
  22. Xu W., Wang G., Sullivan A., Zhang Z. Towards learning affine-invariant representations via data-efficient cnns // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020. pp. 904–913.
  23. Sabour S., Frosst N., Hinton G.E. Dynamic routing between capsules // Advances in neural information processing systems. 2017. vol. 30.
  24. Stallkamp J., Schlipsing M., Salmen J., Igel C. The German traffic sign recognition benchmark: a multi-class classification competition // 2011 international joint conference on neural networks. IEEE. 2011. pp. 1453–1460.
  25. Arora S., Du S.S., Li Z., Salakhutdinov R., Wang R., Yu D. Harnessing the power of infinitely wide deep nets on small-data tasks // arXiv preprint arXiv:1910.01663. 2019.
  26. Krizhevsky A., Hinton G. et al. Learning multiple layers of features from tiny images. 2009. 60 p.
  27. Barz B., Denzler J. Deep learning on small datasets without pre-training using cosine loss // Proceedings of the IEEE/CVF winter conference on applications of computer vision. 2020. pp. 1371–1380.
  28. Hai Z., Liu X. Evolving parametrized Loss for Image Classification Learning on Small Datasets // arXiv preprint arXiv:2103.08249. 2021.
  29. Lezama J., Qiu Q., Mus e P., Sapiro G. Ole: Orthogonal low-rank embedding-a plug and play geometric loss for deep learning // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. pp. 8109–8118.
  30. LeCun Y., Cortes C., Burges C. MNIST handwritten digit database. 2010. vol. 2. 18 p.
  31. Shorten C., Khoshgoftaar T.M. A survey on image data augmentation for deep learning // Journal of big data. 2019. vol. 6. no. 1. pp. 1–48.
  32. Reinders C., Schubert F., Rosenhahn B. Chimeramix: Image classification on small datasets via masked feature mixing // arXiv preprint arXiv:2202.11616. 2022.
  33. Zhang X., Wang Z., Liu D., Lin Q., Ling Q. Deep adversarial data augmentation for extremely low data regimes // IEEE Transactions on Circuits and Systems for Video Technology. 2020. vol. 31. no. 1. pp. 15–28.
  34. Ishii M., Sato A. Training deep neural networks with adversarially augmented features for small-scale training datasets // 2019 International Joint Conference on Neural Networks (IJCNN). IEEE. 2019. pp. 1–8.
  35. Agarwal N., Sondhi A., Chopra K., Singh G. Transfer learning: Survey and classification // Smart Innovations in Communication and Computational Sciences: Proceedings of ICSICCS 2020. 2021. pp. 145–155.
  36. Zhao B., Wen X. Distilling visual priors from self-supervised learning // Computer Vision – ECCV 2020 Workshops. Springer. 2020. pp. 422–429.
  37. Chen X., Fan H., Girshick R., He K. Improved baselines with momentum contrastive learning // arXiv preprint arXiv:2003.04297. 2020.
  38. Miranda G., Rubio-Manzano C. Image Classification Using Deep and Classical Machine Learning on Small Datasets: A Complete Comparative. 2022. doi: 10.20944/preprints202201.0367.v1.
  39. Christodoulou E., Ma J., Collins G.S., Steyerberg E.W., Verbakel J.Y., Van Calster B. A systematic review shows no performance benefit of machine learning over logistic regression for clinical prediction models // Journal of clinical epidemiology. 2019. vol. 110. pp. 12–22.
  40. Mojab N., Yu P.S., Hallak J.A., Yi D. Cvs: Classification via segmentation for small datasets // arXiv preprint arXiv:2111.00042. 2021.
  41. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015: 18th international conference. Springer International Publishing, 2015. pp. 234–241.
  42. Baid U., Ghodasara S., Mohan S., Bilello M., Calabrese E., Colak E., Farahani K., Kalpathy-Cramer J., Kitamura F.C., Pati S. et al. The rsna-asnr-miccai brats 2021 benchmark on brain tumor segmentation and radiogenomic classification // arXiv preprint arXiv:2107.02314. 2021.
  43. Menze B.H., Jakab A., Bauer S., Kalpathy-Cramer J., Farahani K., Kirby J., Burren Y., Porz N., Slotboom J., Wiest R., et al. The multimodal brain tumor image segmentation benchmark (BRATS) // IEEE transactions on medical imaging. 2014. vol. 34. no. 10. pp. 1993–2024.
  44. Bakas S., Akbari H., Sotiras A., Bilello M., Rozycki M., Kirby J.S., Freymann J.B., Farahani K., Davatzikos C. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features // Scientific data. 2017. vol. 4. no. 1. pp. 1–13.
  45. Rohlfing T., Zahr N.M., Sullivan E.V., Pfefferbaum A. The SRI24 multichannel atlas of normal adult human brain structure // Human brain mapping. 2010. vol. 31. no. 5. pp. 798–819.
  46. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition // Proceedings of the IEEE. 1998. vol. 86. no. 11. pp. 2278–2324.
  47. Kingma D.P., Ba J. Adam A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.
  48. Akkus Z., Sedlar J., Coufalova L., Korfiatis P., Kline T.L., Warner J.D., Agrawal J., Erickson B.J. Semi-automated segmentation of pre-operative low grade gliomas in magnetic resonance imaging // Cancer Imaging. 2015. vol. 15. pp. 1–10.
  49. Liu X., Xing F., Marin T., El Fakhri G., Woo J. Variational inference for quantifying inter-observer variability in segmentation of anatomical structures // Medical Imaging 2022: Image Processing. 2022. vol. 12032. pp. 438–443.
  50. Lin T.-Y., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature pyramid networks for object detection // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. pp. 2117–2125.
  51. Huo Y., Xu Z., Xiong Y., Aboud K., Parvathaneni P., Bao S., Bermudez C., Resnick S., Cutting L., Landman B. 3D whole brain segmentation using spatially localized atlas network tiles // NeuroImage. 2019. vol. 194. pp. 105–119.
  52. Paschali M., Gasperini S., Roy A.G., Fang M.Y.S., Navab N. 3DQ: Compact quantized neural networks for volumetric whole brain segmentation // Medical Image Computing and Computer Assisted Intervention: 22nd International Conference. Springer International Publishing, 2019. pp. 438–446.
  53. Roy A.G., Conjeti S., Navab N., Wachinger C. Bayesian QuickNAT: Model uncertainty in deep whole-brain segmentation for structure-wise quality control // NeuroImage. 2019. vol. 195. pp. 11–22.
  54. Henschel L, Conjeti S., Estrada S., Diers K., Fischl B., Reuter, M. Fastsurfer-a fast and accurate deep learning based neuroimaging pipeline // NeuroImage. 2020. vol. 219. pp. 117012.
  55. Coupe P., Mansencal, B., Clement, M., Giraud, R., de Senneville B.D., Ta V.T., Lepetit V., Manjon J.V. AssemblyNet: A large ensemble of CNNs for 3D whole brain MRI segmentation // NeuroImage. 2020. vol. 219(5). pp. 117026.
  56. Dubois J., Alison M., Counsell S.J., Hertz‐Pannier L., Huppi P.S., Benders M.J. MRI of the neonatal brain: a review of methodological challenges and neuroscientific advances // Journal of Magnetic Resonance Imaging. 2021. vol. 53. no. 5. pp. 1318–1343.
  57. Ntaios G. Embolic stroke of undetermined source: JACC review topic of the week // Journal of the American College of Cardiology. 2020. vol. 75. no. 3. pp. 333–340.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».