Agglomerate Consensus Cluster Analysis with Automatic Selection of the Number of Clusters

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Представлены теоретические и вычислительные результаты, связанные с оригинальной моделью консенсусного кластерного анализа, основанной на так называемом проективном расстоянии между разбиениями. Это расстояние определяется как сумма квадратов элементов разности бинарной матрицы инциденций одного разбиения и ее ортогональной проекции на подпространство, порождаемое столбцами матрицы инциденций другого разбиения. Оказывается, при достаточном количестве разбиений предлагаемый метод агломеративного кластеринга правильно вычисляет не только консенсусное разбиение, но число кластеров в нем.

About the authors

B. G Mirkin

Email: bmirkin@hse.ru

A. A Parinov

Email: aparinov@hse.ru

References

  1. Миркин Б.Г. Об одном подходе к обработке нечисловых данных / Математические методы моделирования и решения экономических задач (Ред. К.А. Багриновский). Новосибирск, ИЭиОПП СО АН СССР, 1969. С. 141–150.
  2. Миркин Б.Г., Черный Л.Б. Об измерении близости между различными разбиениями конечного множества объектов // АиТ. 1970. № 5. С. 120–127.
  3. Mirkin B. Clustering: A Data Recovery Approach // Chapman and Hall, 2012. V. 19. https://doi.org/10.1201/9781420034912
  4. Миркин Б.Г., Мучник И.Б. Геометрическая интерпретация показателей качества классификации / Методы анализа многомерной экономической информации (Ред. Б.Г. Миркин). Новосибирск. Наука, Сибирское отделение. 1981. С. 3–11.
  5. Strehl A., Ghosh J. Cluster Ensembles — A Knowledge Reuse Framework for Combining Multiple Partitions // J. Machin. Learning Res. 2002. P. 583–617. https://doi.org/10.1162/153244303321897735
  6. Monti S., Tamayo P., Mesirov J., et al. Consensus Clustering: A Resampling-Based Method for Class Discovery and Visualization of Gene Expression Microarray Data // Machine Learning. 2003. P. 91–118. https://doi.org/10.1023/A:1023949509487
  7. U¨nlu¨ R., Xanthopoulos P. Estimating the number of clusters in a dataset via consensus clustering // Expert Syst. Appl. 2019. https://doi.org/10.1016/j.eswa.2019.01.074
  8. Alguliyev R., Aliguliyev R., Sukhostat L. An efficient algorithm for big data clustering on a single machine // CAAI Transactions on Intelligence Technology. 2020. https://doi.org/10.1049/trit.2019.0048
  9. Liu P., Zhang K., Wang P., et al. A clustering-and maximum consensus-based model for social network large-scale group decision making with linguistic distribution // Inform. Sci. 2022. P. 269–297.
  10. Newman M.E. Modularity and community structure in networks // Proc. Nation. Acad. Sci. 2006. P. 8577–8582.
  11. de Amorim R.C., Shestakov A., Mirkin B., et al. The Minkowski central partition as a pointer to a suitable distance exponent and consensus partitioning // Patt. Recognit. 2017. P. 62–72.
  12. Blondel V.D., Guillaume J.L., Lambiotte R., et al. Fast unfolding of communities in large networks // J. Statist. Mechan.:Theory Experiment. 2008. No. 10. P. 10008– 10016.
  13. Brandes U., Delling D., Gaertler M., et al. On modularity clustering // IEEE Transaction. Knowledge. 2007. P. 172–188.
  14. Fern X., Lin W. Cluster ensemble selection // Statist. Anal. Data Mining: The ASA Data Sci. J. 2008. No. 1. P. 128–141. https://doi.org/10.1002/sam.10008
  15. Gu´enoche A. Consensus of partitions: a constructive approach // Advances in Data Analysis and Classification. 2011. No. 5(3). P. 215–229.
  16. Hubert L.J., Arabie P. Comparing partitions // J. Classifikat. 1985. No. 2. P. 193– 218.
  17. Kovaleva E.V., Mirkin B.G. Bisecting K-means and 1D projection divisive clustering: A unified framework and experimental comparison // J. Classifikat. 2015. P. 414–442.
  18. Murtagh F., Contreras P. Algorithms for hierarchical clustering: an overview // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2012. No. 32. P. 86–97.
  19. Pividori M., Stegmayer G., Milone D.H. Diversity control for improving the analysis of consensus clustering // Inform. Sci. 2016. No. 361. P. 120–134.
  20. Gnatyshak D., Ignatov D.I., Mirkin B.G., et al. A Lattice-based Consensus Clustering Algorithm // CLA. CEUR Workshop Proceedings. 2016. V. 1624. P. 45–56.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2024 The Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».