Improvement of Incomplete Multiview Clustering by the Tensor Reconstruction of the Connectivity Graph

Cover Page

Cite item

Full Text

Abstract

With the development of data collection technologies, a significant volume of multiview data has appeared, and their clustering has become topical. Most methods of multiview clustering assume that all views are fully observable. However, in many cases this is not the case. Several tensor methods have been proposed to deal with incomplete multiview data. However, the traditional tensor norm is computationally expensive, and such methods generally cannot handle undersampling and imbalances of various views. A new method for clustering incomplete multiview data is proposed. A new tensor norm is defined to reconstruct the connectivity graph, and the graphs are regularized to a consistent low-dimensional representation of patterns. The weights are then iteratively updated for each view. Compared to the existing ones, the proposed method not only determines the consistency between views but also obtains a low-dimensional representation of the samples using the resulting projection matrix. An efficient optimization algorithm based on the method of indefinite Lagrange multipliers is developed for the solution. The experimental results on four data sets demonstrate the effectiveness of the method.

About the authors

H. Zhang

College of Mathematics, Nanjing University of Aeronautics and Astronautics, 210016, Nanjing, China

Email: matveev@ccas.ru
КНР, Нанкин

X. Chen

College of Mathematics, Nanjing University of Aeronautics and Astronautics, 210016, Nanjing, China

Email: lyandcxh@nuaa.edu.cn
КНР, Нанкин

Yu. Zhu

Fundamental Experimental Teaching Department, Nanjing University of Aeronautics and Astronautics, 210016, Nanjing, China

Email: matveev@ccas.ru
КНР, Нанкин

I. A. Matveev

Federal Research Center “Computer Science and Control” of Russian Academy of Sciences, 119333, Moscow, Russia

Author for correspondence.
Email: matveev@ccas.ru
Россия, Москва

References

  1. Zhao J., Xie X., Xu X., Sun S. Multi-view Learning Overview: Recent Progress and New Challenges // Information Fusion. 2017. V. 38. P. 43–54.
  2. Liu Y., Fan L., Zhang C., Zhou T., Xiao Z., Geng L., Shen D. Incomplete Multi-modal Representation Learning for Alzheimer’s Disease Diagnosis // Medical Image Analysis. 2021. V. 69. P. 101953.
  3. Qiao L., Zhang L., Chen S., Shen D. Data-driven Graph Construction and Graph Learning: A Review // Neurocomputing. 2018. V. 312. P. 336–351.
  4. Wen J., Xu Y., Liu H. Incomplete Multiview Spectral Clustering with Adaptive Graph Learning // IEEE Trans. Cybernetics. 2020. V. 50. № 4. P. 1418–1429.
  5. Wen J., Zhang Zheng, Zhang Zhao, Fei L.K., Wang M. Generalized Incomplete Multiview Clustering with Flexible Locality Structure Diffusion // IEEE Trans. Cybernetics. 2021. V. 51. № 1. P. 101–114.
  6. Zhang N., Sun S. Incomplete Multiview Nonnegative Representation Learning with Multiple Graphs // Pattern Recognition. 2022. V. 123. P. 108412.
  7. Wen J., Yan K., Zhang Z., Xu Y., Wang J.Q., Fei L.K., Zhang B. Adaptive Graph Completion Based Incomplete Multiview Clustering // IEEE Trans. Multimedia. 2021. V. 23. P. 2493–2504.
  8. Liu J., Teng S., Zhang W., Fang X., Fei L., Zhang Z. Incomplete Multiview Subspace Clustering with Low-rank Tensor // Proc. IEEE Intern. Conf. Acoustics, Speech and Signal Processing. Toronto, Canada, 2021. P. 3180–3184.
  9. Wen J., Zhang Zheng, Zhang Zhao, Zhu L., Fei L.K., Zhang B., Xu Y. Unified Tensor Framework for Incomplete Multiview Clustering and Missing-view Inferring // Proc. 35th AAAI Conf. Artificial Intelligence. AAAI Press: Palo Alto, CA, USA. 2021. V. 35. P. 10273–10281.
  10. Xia W., Gao Q., Wang Q., Gao X. Tensor Completion-based Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2022. V. 52. № 12. P. 13635–13644.
  11. Blaschko M.B., Lampert C.H., Gretton A. Semi-supervised Laplacian Regularization of Kernel Canonical Correlation Analysis // Proc. Joint Europ. Conf. Machine Learning and Knowledge Discovery in Databases. Antwerp, Belgium, 2008. P. 133–145.
  12. Chen X., Chen S., Xue H., Zhou X. A Unified Dimensionality Reduction Framework for Semi-paired and Semi-supervised Multiview Data // Pattern Recognition. 2012. V. 45. № 5. P. 2005–2018.
  13. Zhou X., Chen X., Chen S. Neighborhood Correlation Analysis for Semi-paired Two-view Data // Neural Processing Letters. 2013. V. 37. № 3. P. 335–354.
  14. Yuan Y., Wu Z., Li Y., Qiang J., Gou J., Zhu Y. Regularized Multiset Neighborhood Correlation Analysis for Semi-paired Multiview Learning // Intern. Conf. Neural Information Processing. Vancouver, Canada, 2020. P. 616–625.
  15. Yang W., Shi Y., Gao Y., Wang L., Yang M. Incomplete Data Oriented Multiview Dimension Reduction via Sparse Low-rank Representation // IEEE Trans. Neural Networks and Learning Systems. 2018. V. 29. № 12. P. 6276–6291.
  16. Zhu C., Chen C., Zhou R., Wei L., Zhang X. A New Multiview Learning Machine with Incomplete Data // Pattern Analysis and Applications. 2020. V. 23. № 3. P. 1085–1116.
  17. Li S., Jiang Y., Zhou Z. Partial Multiview Clustering // Proc. AAAI Conf. artificial intelligence. Québec City, Canada, 2014. V. 28. № 1.
  18. Xu C., Tao D., Xu C. Multiview Learning with Incomplete Views // IEEE Trans. Image Processing. 2015. V. 24. № 12. P. 5812–5825.
  19. Wen J., Zhang Z., Xu Y., Zhong Z. Incomplete Multiview Clustering via Graph Regularized Matrix Factorization // Proc. European Conf. Computer Vision Workshops. Munich, Germany, 2018. P. 1–16.
  20. Hu M., Chen S. Doubly Aligned Incomplete Multiview Clustering // Proc. Intern. Joint Conf. Artificial Intelligence. Stockholm, Sweden, 2018. P. 2262–2268.
  21. Hu M., Chen S. One-pass Incomplete Multiview Clustering // Proc. AAAI Conf. Artificial Intelligence. Honolulu, Hawaii, USA, 2019. V. 33. P. 3838–3845.
  22. Liu J., Teng S., Fei L., Zhang W., Fang X., Zhang Z., Wu N. A Novel Consensus Learning Approach to Incomplete Multiview Clustering // Pattern Recognition. 2021. V. 115. P. 107890.
  23. Liu X., Zhu X., Li M., Wang L., Zhu E., Liu T., Kloft M., Shen D., Yin J., Gao W. Multiple Kernel k-means with Incomplete Kernels // IEEE Trans. Pattern Analysis and Machine Intelligence. 2019. V. 42. № 5. P. 1191–1204.
  24. Wen J., Sun H., Fei L., Li J., Zhang Z., Zhang B. Consensus Guided Incomplete Multiview Spectral Clustering // Neural Networks. 2021. V. 133. P. 207–219.
  25. Zhuge W., Luo T., Tao H., Hou C., Yi D. Multiview Spectral Clustering with Incomplete Graphs // IEEE Access. 2020. V. 8. P. 99820–99831.
  26. Liu X., Zhu X., Li M., Wang L., Tang C., Yin J., Shen D., Wang H., Gao W. Late Fusion Incomplete Multiview Clustering // IEEE Trans. Pattern Analysis and Machine Intelligence. 2018. V. 41. № 10. P. 2410–2423.
  27. Zheng X., Liu X., Chen J., Zhu E. Adaptive Partial Graph Learning and Fusion for Incomplete Multiview Clustering // Intern. J. Intelligent Systems. 2022. V. 37. № 1. P. 991–1009.
  28. Xie M., Ye Z., Pan G., Liu X. Incomplete Multiview Subspace Clustering with Adaptive Instance Sample Mapping and Deep Feature Fusion // Applied Intelligence. 2021. V. 51. № 8. P. 5584–5597.
  29. Zhao L., Chen Z., Yang Y., Wang Z.J., Leung V.C. Incomplete Multiview Clustering via Deep Semantic Mapping // Neurocomputing. 2018. V. 275. P. 1053–1062.
  30. Zhang C., Han Z., Fu H., Zhou J.T., Hu Q. CPM-nets: Cross Partial Multiview Networks // Advances in Neural Information Processing Systems. 2019. V. 32.
  31. Wang Q., Ding Z., Tao Z., Gao Q., Fu Y. Partial Multiview Clustering via Consistent GAN // Proc. IEEE Intern. Conf. Data Mining. Singapore, 2018. P. 1290–1295.
  32. Xu C., Liu H., Guan Z., Wu X., Tan J., Ling B. Adversarial Incomplete Multiview Subspace Clustering Networks // IEEE Trans. Cybernetics. 2022. V. 52. № 10. P. 10490–10503.
  33. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative Adversarial Networks // Comm. ACM. 2020. V. 63. № 11. P. 139–144.
  34. Lin Y., Gou Y., Liu Z., Li B., Lv J., Peng X. Completer: Incomplete Multiview Clustering via Contrastive Prediction // Proc. IEEE/CVF Conf. Computer Vision and Pattern Recognition. Nashville, TN, USA, 2021. P. 11174–11183.
  35. Zhang B., Hao J., Ma G., Yue J., Shi Z. Semi-paired Probabilistic Canonical Correlation Analysis // Intelligent Information Processing VII. IFIP Advances in Information and Communication Technology. Berlin, Heidelberg: Springer, 2014. V. 432.
  36. Matsuura T., Saito K., Ushiku Y., Harada T. Generalized Bayesian Canonical Correlation Analysis with Missing Modalities // 15th Europ. Conf. Computer Vision (ECCV). Munich, Germany, 2018. V. 11134. P. 641–656.
  37. Li P., Chen S. Shared Gaussian Process Latent Variable Model for Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2018. V. 50. № 1. P. 61–73.
  38. Kamada C., Kanezaki A., Harada T. Probabilistic Semi-canonical Correlation Analysis // Proc. 23rd ACM Intern. Conf. Multimedia. Brisbane, Australia, 2015. P. 1131–1134.
  39. Wang C. Variational Bayesian Approach to Canonical Correlation Analysis // IEEE Trans. Neural Networks. 2007. V. 18. № 3. P. 905–910.
  40. Kimura A., Sugiyama M., Nakano T., Kameoka H., Sakano H., Maeda E., Ishiguro K. SemiCCA: Efficient Semi-supervised Learning of Canonical Correlations // Information and Media Technologies. 2013. V. 8. № 2. P. 311–318.
  41. Luo Y., Tao D., Ramamohanarao K., Xu C., Wen Y. Tensor Canonical Correlation Analysis for Multiview Dimension Reduction // IEEE Trans. Knowledge and Data Engineering. 2015. V. 27. № 11. P. 3111–3124.
  42. Wong H., Wang L., Chan R., Zeng T. Deep Tensor CCA for Multiview Learning // IEEE Trans. Big Data. 2021. V. 8. P. 1664–1677.
  43. Cheng M., Jing L., Ng M.K. Tensor-based Low-dimensional Representation Learning for Multiview Clustering // IEEE Trans. Image Processing. 2018. V. 28. № 5. P. 2399–2414.
  44. Zhang C., Fu H., Liu S., Liu G., Cao X. Low-rank Tensor Constrained Multiview Subspace Clustering // Proc. IEEE Intern. Conf. Computer Vision. Santiago, Chile, 2015. P. 1582–1590.
  45. Wu J., Lin Z., Zha H. Essential Tensor Learning for Multiview Spectral Clustering // IEEE Trans. Image Processing. 2019. V. 28. № 12. P. 5910–5922.
  46. Carroll J. Generalization of Canonical Correlation Analysis to Three or More Sets of Variables // Proc. 76th Annual Convention of the American Psychological Association. 1968. V. 3. P. 227–228.
  47. Chen J., Wang G., Giannakis G.B. Graph Multiview Canonical Correlation Analysis // IEEE Trans. Signal Processing. 2019. V. 67. № 11 P. 2826–2838.
  48. Nie F., Li J., Li X. Self-weighted Multiview Clustering with Multiple Graphs // Intern. Joint Conf. Artificial Intelligence. Melbourne, Australia, 2017. P. 2564–2570.
  49. Fan K. On a Theorem of Weyl Concerning Eigenvalues of Linear Transformations // Proc. National Academy of Sciences. 1949. V. 35. № 11. P. 652–655.
  50. van Breukelen M., Duin R.P.W., Tax D.M.J., den Hartog J.E. Handwritten Digit Recognition by Combined Classifiers // Kybernetika. 1998. V. 34. № 4. P. 381–386.
  51. Greene D. 3 Sources Dataset // Электронный ресурс: http://erdos.ucd.ie/datasets/3sources.html. Дата доступа: 7 января 2023 г.
  52. Greene D., Cunningham P. Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering // Proc. 23rd Intern. Conf. Machine Learning. Pittsburgh, PA, USA, 2006. P. 377–384.
  53. Samaria F.S., Harter A.C. Parameterisation of a Stochastic Model for Human Face Identification // Proc. IEEE Workshop on Applications of Computer Vision. Sarasota, FL, USA, 1994. P. 138–142.
  54. Zhao H., Liu H., Fu Y. Incomplete Multi-modal Visual Data Grouping // Proc. Intern. Joint Conf. Artificial Intelligence. N.Y., USA, 2016. P. 2392–2398.
  55. Xie Y., Gu S., Liu Y., Zuo W., Zhang W., Zhang L. Weighted Schatten p-norm Minimization for Image Denoising and Background Subtraction // IEEE Trans. Image Processing. 2016. V. 25. № 10. P. 4842–4857.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2.

Download (347KB)
Indexing metadata
3.

Download (586KB)
Indexing metadata
4.

Download (231KB)
Indexing metadata
5.

Download (476KB)
Indexing metadata
6.

Download (296KB)
Indexing metadata
7.

Download (163KB)
Indexing metadata

Copyright (c) 2023 Х. Жанг, С. Чен, Ю. Жу, И.А. Матвеев

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».