Methods for selecting the median ranking and evaluating the consistency of expert assessments by the proximity criterion

Cover Page

Cite item

Full Text

Abstract

In the development of the theory of expert assessments, the exceptional role of the position and the median of ranking, known as the Kemeny median, has been revealed. However, there is no optimal solution method for finding the median of the rankings represented by the matrices of binary relations according to the distance matrix criterion. The validity of the optimal solution to the problem of choosing the median in the space of the rank scale of measurement is due to the fact that there is a one-to-one correspondence between the rankings represented by binary relation matrices on a set of pairs of objects and the rankings in the rank scale. It is also an important task to check the consistency of the opinions of the expert group. The existing statistical methods and methods of rank correlation do not measure the consistency of expert opinions, if by which we mean the measure of proximity between expert assessments of objects.. The article shows by concrete examples that the Kendal concordance coefficient, which is still found in the works of some authors, does not allow for a realistic assessment of the consistency of expert rankings, which can lead to erroneous management decisions. A method is proposed for evaluating the opinions of both a pair of experts and a group of experts, in the form of an average agreement of experts with respect to the median of rankings presented in the ranking scale.

About the authors

Viktor Pavlovich Korneenko

V.A. Trapeznikov Institute of Control Sciences of RAS

Author for correspondence.
Email: vkorn@ipu.ru
Moscow

References

  1. Алескеров Ф. Т., Бауман Е. В., Вольский В. И. Методы обработки интервальных экспертных оценок // Автоматика и телемеханика. – 1984. – Вып. 3. – С. 127–133.
  2. Авчухова Е. В. Оценка согласованности экспертов при отборе персонала // Вестник Самарской гуманитарной академии. Серия «Психология». – 2018. – № 1(23). – С. 136–150.
  3. Анохин А. Н. Методы экспертных оценок. – Обнинск: ИАТЭ, 1996. – 148 с.
  4. Белоус В. В., Спиридонов С. Б., Постников В. М. Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычислительная техника» и оценке вариантов их проведения // Интернет-журнал «Науковедение». – 2017. – Т. 9, № 2. – URL: http://naukovedenie.ru/PDF/102TVN217.pdf.
  5. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980. – 263 с.
  6. Горский В. Г., Гриценко А. А., Орлов А. И. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. – 2000. – № 3. – С. 159–167.
  7. Глотов В. А., Павельев В. В. Векторная стратификация. – М.: Наука, 1984. – 95 с.
  8. Гуцыкова С. В. К вопросу согласованности экспертных оценок профессионально важных качеств // Знание. Понимание. Умение. – 2009. – № 4. – С. 200–204.
  9. Данелян Т. Я. Формальные методы экспертных оценок // Прикладная информатика. – 2015. – № 1. – С. 183–187.
  10. Кабанов В. А., Комарова Е. С. Использование метода конкордации в оценке уровня согласованности экспертных мнений // Реакция региональной экономики на внешние вызовы: материалы межвузовской научно-практической конференции 18 ноября 2016 г. – Владимир: Владимирский филиал РАНХиГС, 2016. – С. 39–42.
  11. Кемени Д., Снелл Д. Кибернетическое моделирование: Некоторые приложения. – М.: Советское радио, 1972. – 192 с.
  12. Кендэл М. Ранговые корреляции. – М.: Мир, 1975. – 216 с.
  13. Колмогоров А. Н., Фомин С. В. Элементы теории функции и функционального анализа. – М.: ФИЗМАТЛИТ, 2004. – 572 с.
  14. Корнеенко В. П. Методы оптимизации. – М.: Высшая школа, 2007. – С. 271–274.
  15. Корнеенко В. П. Оптимизационный метод выбора результирующего ранжирования объектов, представленных в ранговой шкале измерения // Управление большими системами. – 2019. – Вып. 82. – С. 44–60.
  16. Литвак Б. Г. Экспертная информация: Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с.
  17. Манусов В. З., Крюков Д. О., Ахьёев Дж. С. Согласование экспертных оценок при диагностике текущего технического состояния высоковольтного электрооборудования // Доклады АН ВШ РФ. – 2017. – № 1(34). – С. 72–84.
  18. Мельникова О. А., Петров А. Ю., Хафизова А. В. Оценка согласованности мнений экспертов при проведении метода экспертной оценки в службе медицины катастроф // Успехи современного естествознания. – 2013. – № 6. – С. 54–57.
  19. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. – М.: Дело, 2007. – 504 с.
  20. Миркин Б. Г. Проблема группового выбора. – М.: Наука, 1974. – 256 с.
  21. Новиков Д. А., Орлов А. И. Экспертные оценки – инструменты аналитика // Заводская лаборатория. – 2013. – Т. 79, № 4. – С. 3–4.
  22. Орлов А. И. Роль медиан Кемени в экспертных оценках и статистическом анализе данных // Труды международной научно-практической конференции «Теория активных систем» (14–16 ноября 2011 г., Москва, Россия). Том I / Под общ. ред. В. Н. Буркова, Д. А. Новикова. – М.: ИПУ РАН, 2011. – С. 172–176. – URL: http://ej.kubagro.ru/2013/09/pdf/114.pdf.
  23. Орлов А. И. Организационно-экономическое моделирование. Ч. 2: Экспертные оценки. – М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. – 486 с.
  24. Орлов А. И. Анализ экспертных упорядочений // Научный журнал КубГАУ. – 2015. – № 112(08). – С. 1–31. – URL: http://ej.kubagro.ru/2015/08/pdf/02.pdf.
  25. Орлов А. И. Средние величины и законы больших чисел в пространствах произвольной природы [Электронный ресурс] // Научный журнал КубГАУ. – 2013. – № 89(05). – URL: http://www.mtas.ru/theory/orlov2011a.pdf.
  26. Падерно П. И., Бурков Е. А., Евграфов В. Г. Критерий согласованности парных сравнений // Информационно-управляющие системы. – 2011. – № 3(52). – С. 57–60.
  27. Петриченко Г. С., Петриченко В. Г. Экспертное оценивание при выборе эффективного мероприятия // Научные ведомости Белгородского университета. – 2015. – № 13(210). – Вып. 35/1. – С. 122–127.
  28. Пфанцагль И. Теория измерений. – М.: Мир, 1976. – 247 с.
  29. Руголь Л. В., Меньшикова Л. И., Сон И. М. Применение метода экспертных оценок для обоснования мероприятий по совершенствованию организации работы центральных районных больниц // Профилактическая медицина. – 2022. – № 25(4). – С. 19–28.
  30. Сидельников Ю. В. Экспертное прогнозирование (Expert Prognosyication). – М.: Доброе слово, 2018. – 248 с.
  31. Хорн Р., Джонсон Ч. Матричный анализ. – М.: Мир, 1989. – 352 с.
  32. Шмерлинг Д. С., Дубровский С. А., Аржанова Т. Д., Френкель А. А. Экспертные оценки. Методы и применения // Статистические методы анализа экспертных оценок. Ученые записки по статистике. Т. 29. – М.: Наука, 1977. – С. 290–382.
  33. Шмерлинг Д. С., Кузнецова Т. Ю., Чеботарев П. Ю., Чуркин Э. П. Применение экспертных оценок для задач стратегического планирования. – М.: Московская школа экономики VUE, 2008. – 36 с.
  34. Шмерлинг Д. С. О проверке согласованности мнений экспертов // Статистические методы анализа экспертных оценок. – М.: Наука, 1977. – С. 77–83.
  35. Kemeny J. G., Snell J. L. Mathematical Models in the Social Sciences. – New York: University of Michigan, 1962. – 168 p.
  36. Jackson B. N., Schnable P. S., Aluru S. Consensus Genetic Maps as Median Orders from Inconsistent Sources // IEEE/ACM Trans. on Computational Biology and Bioinformatics. – 2008. – Vol. 5, No. 2. – P. 161–171.
  37. Ishizaka A., Labib A. Analytic hierarchy process and Expert Choice: benefits and limitation // OR Insight. – 2009. – Vol. 24. – P. 201–220.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).