Анализ агрегированного рейтинга российских вузов как измерительного инструмента
Analysis of the aggregate ranking of Russian universities as a measuring tool
Авторы
Аннотация
Рейтинги во всех сферах жизни становятся всё более востребованными. В нашей стране в области образования существует несколько рейтингов вузов, классифицирующих их по качеству образования. Эти рейтинги различаются своими целями и подходами к определению, что такое качество образования. Для объединения этих подходов Гильдией экспертов в сфере профессионального образования разрабатываются национальные агрегированные рейтинги учреждений высшего образования. Цель данной работы состоит в статистическом анализе агрегированного рейтинга вузов по качеству образования в 2021 году. Рассмотрены восемь национальных рейтингов, на основе которых построен агрегированный рейтинг.
Статистический анализ агрегированного рейтинга как измерительного инструмента осуществляется в рамках теории латентных переменных. Агрегированный рейтинг рассматривается как латентная переменная, индикаторами которой являются восемь национальных рейтингов.
Определена совместимость использованных национальных рейтингов. Измерено на линейной шкале качество образования в вузах. В рамках теории латентных переменных агрегированный рейтинг обладает в десятки раз большей разрешающей способностью по сравнению с традиционной балльной системой оценивания. Определены рейтинги, которые лучше других национальных рейтингов дифференцируют вузы с низким и высоким качеством образования соответственно. Показаны также рейтинги, которые наиболее и наименее адекватны модели измерения.
Проведенный в рамках теории латентных переменных совместный анализ всех рейтингов позволил выявить сильные и слабые стороны каждого рейтинга. Важными преимуществами использования теории латентных переменных являются высокая дифференцирующая способность, а также то, что качество образования в вузах измеряется на линейной шкале, это важно для проведения мониторинга и использования многих методов статистического анализа, предполагающих линейную шкалу.
Планируется в рамках теории латентных переменных провести мониторинг агрегированного рейтинга вузов за несколько лет.
Ключевые слова
агрегированный рейтинг, качество образования, агрегированного рейтинга вузов по качеству образования, национальные рейтинги, мониторинг качества образования, мониторинг агрегированного рейтинга вузов
Финансирование
Материалы подготовлены в рамках научного мероприятия VR-2022: IV Международная летняя научная универсиада “Время рекордов 2022” (Stars of Science and Education)
Рекомендуемая ссылка
Коробко Анатолий Иванович,Маслак Анатолий Андреевич. Анализ агрегированного рейтинга российских вузов как измерительного инструмента // Современные технологии управления. ISSN 2226-9339. — №3 (99). Номер статьи: 9905. Дата публикации: 29.08.2022. Режим доступа: https://sovman.ru/en/article/9905/
DOI 10.24412/2226-9339-2022-399-5
Authors
Abstract
Ratings in all spheres of life are becoming more and more in demand. In our country, in the field of education, there are several ratings of universities that classify them according to the quality of education. These ratings differ in their goals and approaches to determining what the quality of education is. To combine these approaches, the Guild of Experts in the field of vocational education is developing national aggregate ratings of higher education institutions. The purpose of this work is to statistically analyze the aggregate ranking of universities in terms of the quality of education in 2021. Eight national ratings were considered, on the basis of which the aggregate rating was built.
Statistical analysis of the aggregate rating as a measuring tool is carried out within the framework of the theory of latent variables. The aggregate rating is considered as a latent variable, the indicators of which are the national eight national ratings.
The compatibility of the used national ratings is determined. The quality of education in universities is measured on a linear scale. Within the framework of the theory of latent variables, the aggregate rating has ten times more resolution than the traditional scoring system. Rankings have been determined that, better than other national rankings, differentiate universities with low and high quality education, respectively. The ratings that are most and least adequate to the measurement model are also shown.
A joint analysis of all ratings carried out within the framework of the theory of latent variables made it possible to identify the strengths and weaknesses of each rating. Important advantages of using the theory of latent variables are high differentiating ability, as well as the fact that the quality of education in universities is measured on a linear scale, this is important for monitoring and using many statistical analysis methods that assume a linear scale.
It is planned, within the framework of the theory of latent variables, to monitor the aggregate ranking of universities over several years.
Keywords
aggregate ranking, quality of education, aggregate ranking of universities in terms of education quality, national rankings, monitoring the quality of education, monitoring of the aggregate ranking of universities.
Project finance
The materials were prepared as part of the scientific event VR-2022: IV International Summer Scientific Universiade “Time of Records 2022” (Stars of Science and Education)
Suggested citation
Korobko Anatoliy Ivanovich,Maslak Anatoliy Andreyevich. Analysis of the aggregate ranking of Russian universities as a measuring tool // Modern Management Technology. ISSN 2226-9339. — №3 (99). Art. # 9905. Date issued: 29.08.2022. Available at: https://sovman.ru/en/article/9905/
Введение
Рейтинги во всех сферах жизни становятся всё более востребованными. Прежде всего это объясняется их доступностью и наглядностью, что важно для интерпретации полученных результатов и принятия управленческих решений. В области образования рейтинги являются важным инструментом для оценки качества образования в вузах [1]. Необходимо отметить, что в данной работе качество образования в вузах понимается в самом широком смысле и включает преподавание, научные исследования, публикационная активность, достижения выпускников и их карьерный рост, международные связи, социальное влияние на общество, связь с промышленностью и другие виды деятельности.
Наиболее известны три международных рейтинга – это Шанхайский рейтинг вузов мира (Academic Ranking of World Universities, ARWU) и два английских рейтинга: QS World University Rankings (QS) и Times Higher Education (THE), кратко представленные в [2]. Наиболее важными факторами во многих рейтингах являются качество учебного процесса, менеджмент, научная работа и подготовленность студентов с разными субъективными весами [3].
В области образования активно ведется дискуссия какими должны быть рейтинги. [4 – 6]. Рейтингами пользуются различные потребители, у которых свои цели. Поэтому один рейтинг для всех просто невозможен поскольку необходимо учитывать самые разные показатели – связь с работодателями, обучение в течение всей жизни, цифровизация, междисциплинарность, международные обмены и другие [7]. Рейтингу университетов уделяется все большее внимание как на национальных та и на международном уровнях. Так, Китай по аналогии с американской знаменитой «лигой плюща Ivy League» создают свою китайскую лигу плюща из девяти университетов C9 [8]. В странах БРИКС (BRICS) предлагается уточнить понятие университета мирового уровня как движущей силы развития этих стран [9]. Необходимо отметить, что даже относительно наиболее известной системы QS World University Ranking ведутся дискуссии относительно необходимости ее улучшения [10]. Это объясняется тем, что рейтинг университета значительно влияет на финансирование университета и привлечения преподавателей и студентов.
Гильдией экспертов в сфере профессионального образования разрабатываются национальные рейтинги учреждений высшего образования. Прежде всего эти рейтинги для активизации деятельности вузов [11 – 13].
Рейтинги в мире используются для выделения лучших практик и зон риска, на которые нужно обращать внимание. Нередко рейтинги используются для дисквалификации вузов, что некорректно. Национальный агрегированный рейтинг создан не для того, чтобы на его основании кого–то лишать аккредитации. Предполагается, что агрегированный рейтинг позволяет получить более объективную оценку качества образования вузов, чем каждый рейтинг в отдельности.
В 2021 году данным Гильдией экспертов в сфере профессионального образования был разработан агрегированный рейтинг российских учреждений высшего образования на основе восьми существующих национальных рейтингов.
Кратко охарактеризуем 8 рейтингов, которые использовались для построения агрегированного рейтинга [11].
1. Национальный рейтинг университетов – Интерфакс – 2021
Оценка деятельности вузов проводится по результатам обработки данных анкет, представленных самими университетами. Если университет не прислал анкету, то необходимые данные собираются из информационных ресурсов Министерства науки и высшего образования РФ и сайтов университетов.
2. Рейтинг «Первая миссия» – 2021
Данный рейтинг основан на трех группах показателей: экспертная оценка, достижения отдельных студентов и достижения образовательной программы. Достоинством данного проекта является то, что для сбора статистической информации используется опрос, информация из открытых источников, а также непосредственное обращение к заинтересованным организациям, что делает этот рейтинг более объективным.
3. Рейтинг университетов RAEX – 2021
Рейтинговое агентство RAEX выпускает рейтинг лучших вузов России. В рейтинге принимают участие только головные вузы. Оценка вузов производится на основании анализа статистических показателей и результатов опросов.
4. Рейтинг по индексу Хирша – 2021
Рейтинг индекса Хирша основан на показателе, представленном в открытых данных Научной электронной библиотеки eLIBRARY.RU. Индекс Хирша для каждой образовательной организации рассчитан с использованием наукометрической баз данных eLIBRARY.RU.
5. Рейтинг мониторинга эффективности вузов – 2021
Этот рейтинг учитывает результаты деятельности практически всех вузов страны и их филиалов. В результате составители рейтинга делят вузы на 5 лиг. Вуз получает оценку А в Рейтинге по данным Мониторинга эффективности, если он попал в Премьер–лигу или в 1 лигу, оценку В, если вуз попал во 2 лигу. Вуз получает оценку С, если он попал в 3 лигу. Оценку D вуз получает, если он попал в 4 лигу. Оценку Е получают оставшиеся вузы.
6. Рейтинг «Оценка качества обучения» – 2021
Рейтинг основан на оценках полученные агентствами по независимому оцениванию, которые удовлетворяют основным квалификационным требованиям:
- Публичности (полная информация о результатах оценивания представлена в открытом доступе),
- Стабильности (агентство проводит оценивание не менее трех лет),
- Массовости и периодичности (агентства оценивают не менее 100 вузов/программ и проводят оценивание на регулярной основе (не реже одного раза в год).
7. Рейтинг по результатам профессионально–общественной аккредитации – 2021
В основе построения рейтинга лежат публичные базы данных, размещенные на порталах ,.ru (национальная российская аккредитация) и deqar.eu (международная аккредитация)
8. Рейтинг «Международное признание» – 2021
Рейтинг основан на четырех показателях, представленных в открытых базах данных: достижения в международных рейтингах, результаты международной аккредитации, достижения в студенческих международных олимпиадах и конкурсах, численность иностранных студентов.
В каждом рейтинге все образовательные организации ранжируются по убыванию рейтинга и оцениваются по 5–балльной шкале «A», «B», «C», «D», «E» в зависимости от того, в каком квартиле находится вуз. Оценка «A» соответствует первому квартилю (это наивысшая оценка), оценка «B» соответствует второму квартилю, оценка «C» соответствует третьему квартилю, оценка «D» соответствует четвертому квартилю. Оценку «E» получает вуз, который отсутствует в рейтинге (это наименьшая оценка). Далее оценки «A», «B», «C», «D» и «E» заменяются на ранги 4, 3, 2, 1 и 0 соответственно. Далее для каждого вуза выбираются пять наилучших оценок из восьми и определяется суммарный балл. По суммарному баллу все вузы делятся на десять лиг. В премьер–лигу входят вузы с суммарной оценкой 20 баллов, в первую лигу с суммарной оценкой 19 или 18 баллов и так далее. В девятую лигу входят вузы с суммарной оценкой 2, 1 или ноль баллов. Подробно методика оценивания изложена на сайте Национального аккредитационного агентства в сфере образования https://best–edu.ru.
Цель работы состоит в определении анализа качества агрегированного рейтинга как измерительного инструмента. В этой работе агрегированный рейтинг университетов рассматривается как латентная переменная, которая операционально определяется восемью используемыми рейтингами. Восемь рейтингов являются индикаторами, каждый из которых описывает один из аспектов агрегированного рейтинга.
Для достижения данной цели необходимо решить следующие задачи:
- определить степень совместимости используемых восьми рейтингов, то есть в какой мере они характеризуют одну и ту же латентную переменную, в данном случае качество образования в вузах;
- построить линейную шкалу для измерения качества образования в вузах;
- определить рейтинги, которые лучше других дифференцируют вузы с высоким и низким качеством образования;
- определить рейтинги наиболее и наименее адекватные модели измерения (модели Раша).
Методы и материалы исследования
Решение поставленных задач выполняется в рамках теории латентных переменных на основе модели Раша [14, 15]. Эта теория показала свою эффективность при решении многих задач в области образования [16, 17]. Кроме того, на основе имитационного моделирования показана достаточно высокая точность измерения латентной переменной [18]. Для статистического анализа агрегированного рейтинга использовались диалоговые системы ИЛП и RUMM2020 [19, 20].
Прежде всего оценивается совместимость индикаторов с использованием критерия Хи–квадрат. Эмпирический уровень значимости соответствующей статистики равен 0,015. Это выше номинального значения равного 0,01, поэтому на этом уровне значимости индикаторы являются совместимыми и определяют одну и ту же латентную переменную. Это свидетельствует о конструктной валидности агрегированного рейтинга. Индекс разрешающей способности университетов (person separation index) равен 0,873, что свидетельствует о высокой дифференцирующей способности агрегированного рейтинга.
Результаты исследования
Оценки качества образования вузов, полученные на основе агрегированного рейтинга представлены на рис. 1.
Рис. 1. Результаты измерения качества образования в университетах на основе агрегированного рейтинга
Информация, представленная на рис. 1 имеет следующую структуру. По оси абсцисс откладывается значение латентной переменной (качество образования в вузе) в логитах. Необходимо отметить, что в рамках теории латентных переменных все латентные переменные измеряются в логитах.
В верхней части диаграммы откладываются оценки качества вузов на линейной шкале в логитах. По оси ординат слева откладываются абсолютное число вузов, справа – соответствующее относительное число вузов (общее число вузов в выборке равно 687). Вверху указано общее число вузов (687), для которых построен агрегированный рейтинг, среднее качество образования в вузах (–0,492 логит) и среднеквадратическое отклонение этих оценок (1,185 логит). В нижней части диаграммы на той же самой шкале (качество образования) находятся оценки индикаторов качества образования (восьми рейтингов). За точку отсчета («0» логит) принимается средняя оценка восьми рейтингов.
Полученные результаты позволяют сделать следующие выводы.
- По качеству образования вузы очень сильно отличаются друг от друга. Оценки варьируются в диапазоне 7,0 логит: от –3,0 логит до +4,0 логит.
- Средняя оценка качества образования в вузах несколько ниже (на 0,492 логит), чем предполагается на основе агрегированного рейтинга.
- Распределение оценок качества образования в вузах обладает правосторонней асимметрией, то есть вузы с высоким качеством образования в большей степени отличаются друг от друга, чем вузы с низким качеством образования.
- Оценки индикаторов (индивидуальных рейтингов) варьируются в диапазоне 4 логит: от –1,5 логит до +2,5 логит. Тем не менее, этот набор индикаторов обеспечивает достаточно высокую точность оценивания качества образования в вузах.
Представляет интерес рассмотрение особенностей поведения используемых рейтингов.
Наименьшую оценку (–1,409 логит) получил пятый индикатор «Рейтинг мониторинга эффективности вузов». Это означает, что данный рейтинг лучше других дифференцирует вузы с низким качеством образования. Свойства индикатора полностью характеризуются его характеристической кривой (Рис. 2).
Рис. 2. Характеристическая кривая индикатора 5 «Рейтинг мониторинга эффективности вузов»
Рисунки с характеристической кривой имеют следующую структуру. Ось абсцисс представляет латентную переменную, в данном случае качество образования в вузе. Эта латентная переменная, как и любая латентная переменная, в рамках теории латентных переменных измеряется на линейной шкале в логитах. На оси ординат находятся значения индикатора. Каждый индикатор, точно так же, как и при построении агрегированного рейтинга варьируется на пяти уровнях A, B, C, D, E, где А – наивысшая оценка, Е – наименьшая оценка. В рамках теории латентных переменных для удобства обработки и интерпретации результатов измерения эти значения кодируются как 4, 3, 2, 1, 0. Логистическая кривая характеризует поведение индикатора в соответствии с моделью измерения (моделью Раша). Точки (на рисунке их 10) характеризуют эмпирическое поведение данных рейтинга. Алгоритм вычисления этих точек подробно рассмотрен в монографии [14]. Как видно из рисунка оценки данного рейтинга хорошо согласуются с моделью измерения.
В верхней части рисунка находится следующая информация.
- I0005 – порядковый номер индикатора,
- Descriptor for item 5 – название индикатора по умолчанию,
- Locn = –1,409 – оценка индикатора в логитах на шкале «качество образования»,
- Unit = 0,234 – характеризует расстояние между градациями индикаторов,
- FitRes = –3,350 – суммарное отклонение эмпирических точек от модели измерения,
- ChiSq[Pr] = 0,931 – эмпирический уровень значимости статистики Хи–квадрат, характеризующий степень близости рейтинга модели измерения.
Индикатором, который лучше других дифференцирует вузы с высоким качеством образования, является индикатор 5 «Рейтинг университетов RAEX». Характеристическая кривая этого индикатора представлена на рис. 3.
Рис. 3. Характеристическая кривая индикатора 3 «Рейтинг университетов RAEX»
Представляют интерес также индикаторы, которые наиболее и наименее адекватны модели измерения (модели Раша). В наибольшей степени модели измерения соответствует характеристическая кривая индикатора 4 «Рейтинг по индексу Хирша»
Рис. 4. Характеристическая кривая индикатора 4 «Рейтинг по индексу Хирша»
Из рис. 4 видно, что экспериментальные точки практически находятся на характеристической кривой, об этом свидетельствует и высокий эмпирический уровень статистики Хи–квадрат равный 0,994.
В наименьшей степени модели Раша соответствует характеристическая кривая индикатора 8 «Международное признание» (рис. 5).
Рис. 5. Характеристическая кривая индикатора 8 «Международное признание»
Поведение индикатора несколько необычное, вузы с низким качеством образования получают более высокие оценки, чем предполагает модель измерения (экспериментальные точки находятся выше кривой). И, наоборот, вузы с высоким качеством образования получают меньшие оценки, чем предполагает модель (экспериментальные точки находятся ниже характеристической кривой). О неадекватности этого индикатора свидетельствует и низкий эмпирический уровень значимости статистики Хи–квадрат равный 0,001.
Обсуждение полученных результатов
В рамках теории латентных переменных проведен статистический анализ агрегированного рейтинга учреждений высшего образования как измерительного инструмента. Показана совместимость восьми использованных рейтингов, которые являются операциональным определением агрегированного рейтинга в 2021 году. Прежде всего отметим, что используемые рейтинги совместимы на уровне значимости р = 0,01. Индекс сепарабельности равен 0,873, что свидетельствует о том, что вузы хорошо дифференцируются по качеству образования.
Проведенный в рамках теории латентных переменных совместный анализ всех рейтингов позволил выявить сильные и слабые стороны каждого рейтинга. Определены рейтинг, который в лучшей степени чем другие рейтинги дифференцируют вузы с низким и высоким качеством обучения соответственно. Определен также рейтинги, который наиболее и наименее адекватны модели измерения.
Важными преимуществами использования теории латентных переменных являются следующие:
- качество образования в вузах измеряется на линейной шкале, что важно для проведения мониторинга и использования многих методов статистического анализа, предполагающих линейную шкалу;
- высокая дифференцирующая способность. При использовании агрегированного рейтинга в рамках классической теории тестирования все вузы разбиты на восемь лиг. Причем по числу набранных баллов вузы можно разбить максимум на 21 категорию (от 0 до 20 баллов). Дифференциация вузов в рамках теории латентных переменных в десятки раз выше;
- как видно из рис. 1 вузы с высоким качеством образования дифференцируются в большей степени, чем вузы с низким качеством образования. Это важно для корректной категоризации вузов.
Предполагается в рамках теории латентных переменных провести мониторинг агрегированного рейтинга вузов в последующие годы.
Читайте также
Библиографический список
- Болотов, В. А. Как сконструировать национальный агрегированный рейтинг? / В. А. Болотов, Г. Н. Мотова, В. Г. Наводнов, О. Е. Рыжакова // Высшее образование в России. – 2020. –Т. 29. № 1. –С. 9–24. DOI: https://doi.org/10.31992/0869–3617–2020–29–1–9–24
- Hou, Y. W., Jacob W. J. What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings / Y. W. Hou, W. J. Jacob // International Education Journal: Comparative Perspectives. – 2017. –Vol. 16. No 4. pp. 29–46.
- Kusumastuti, D. Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries / D. Kusumastuti, N. Idrus // Quality in Higher Education. – 2017.–Vol. 23. Iss. 3. pp. 230–248.
- Гайсенок, В.А. Корреляционные связи позиций вузов в международных рейтингах / В. А. Гайсенок, О. А., Наумович, В. В. Самохвал // Высшее образование в России. – 2018. – Т. 27. No – С. 20–28.
- Задорожнюк, И. Е. ТОП–200 вузов в четырёх международных рейтингах / И. Е. Задорожнюк, Л. Ю., Коростелева Б. К. Тебиев // Высшее образование в России. – 2019. – Т. 28. No – С. 85–95. DOI: https://doi.org/10.31992/0869–3617–2019–28–3–85–95
- Матвеева, О. А. Развитие добровольной аккредитации образовательных программ в России / О. А. Матвеева // Высшее образование в России. – 2019. – Т. 28. No – С. 19–28. DOI: https://doi.org/10.31992/0869–3617–2019–28–7–19–28
- Seeram, Ramakrishna Shortcomings of Higher Education Evaluation Systems / Ramakrishna Seeram, Sachsenmeier Peter // International Journal of Chinese Education. – 2019.– Vol. 8, 1, – 25–42.
- Ryan, M. Comparison of China’s “Ivy League” to Other Peer Groupings Through Global University Rankings / M. Ryan, A. Allen // Journal of Studies in International Education – 2017. – Vol. 21, 5. – pp. 395–411.
- Solomon, Arulraj David Can BRICS build ivory towers of excellence? Giving new meaning to world–class universities / David Solomon Arulraj, Motala Shireen // Research in Comparative and International Education. – 2017. 12, 4. – pp. 512–528.
- Fisher, Nicholas I. Assessing the Quality of Universities: A Gedankenexperiment Derived from Creating Stakeholder Value / Nicholas, I. Fisher // Journal of Creating Value, vol. 8, 1: pp. 25–44. 2022.
- Наводнов, В. Г. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг / В. Г. Наводнов, Г. Н. Мотова, О. Е. Рыжакова // Вопросы образования. – 2019. – № 3. –С. 130–151.
- Болотов, В. А. Ключевые вопросы развития национальных и региональных систем оценки качества образования (экспертный обзор). / В. А. Болотов [и др.] – Москва : Изд. дом Высшей школы экономики, 2016. – 232 с.
- Болотов, В. А. Прошлое, настоящее и возможное будущее российской системы оценки качества образования / Болотов В. А. // Вопросы образования. – 2018. – № 3. – С. 287–297.
- Andrich, D. A course in Rasch measurement theory: Measuring in the educational, social and health sciences. / D. Andrich, I. Marais. – Singapore : Springer. 2019. – 482p.
- Bond, T. G. Applying the Rasch Model: Fundamental Measurement in the Human Sciences / T. G. Bond, Z. Yan, M. Heene – 3rd Ed.. – New York : Routledge.–2020. –376 p.
- Leus, O. Measurement and Analysis of Teachers’ Professional Performance / O. Leus, A. Maslak // Society, integration, education : Proceeding of the International Scientific Conference. Vol. II, Higher Education (Rezekne May 25th–26th, 2018, –Rezekne : Rezekne Academy of Technologies, pp. 308–319.
- Maslak, A. Measurement and Multifactorial Analysis of Students’ Patriotism / A. Maslak, S. Pozdniakov // Society, integration, education. Proceeding of the International Scientific Conference. Vol. I, Higher Education, May 25th–26th, 2018). – Rezekne : Rezekne Academy of Technologies. – 2018. – 373–383.
- Исследование точности измерения латентной переменной в зависимости от диапазона варьирования набора индикаторов / А. А. Маслак [и др.] // Радиоэлектроника, информатика, управление. – 2017. – № 1 (40). – С. 42–49.
- Осипов С.А., Маслак А.А. Оценивание параметров модели Раша методом парных сравнений / С. А. Осипов, А. А. Маслак // Теория и практика измерения компетенций и других латентных переменных в образовании. материалы XV (03 – 05 февраля 2011 года) и XVI (01 – 03 июля 2011 года). Материалы всеросс. (с междун. участием) науч.–практич. Конф. – Славянск–на–Кубани : Издательский центр СГПИ – 2011. – С. 65–72.
- Andrich, D. RUMM2020: Rasch Unidimensional Measurement Models software and manual / D. Andrich, B. Sheridan, G. Luo. –Perth, Australia – RUMM Laboratory. – 2005. –87p.
References
- Bolotov, V. A. How to construct a national aggregate rating? [Kak skonstruirovat’ natsional’nyy agregirovannyy reyting?]/ V. A. Bolotov, G. N. Motova, V. G. Navodnov, O. E. Ryzhakova // Higher education in Russia. – 2020. -T. 29. 1. -S. 9–24. DOI: https://doi.org/10.31992/0869–3617–2020–29–1–9–24.
- Hou, Y. W., Jacob W. J. What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings / Y. W. Hou, W. J. Jacob // International Education Journal: Comparative Perspectives. – 2017. –Vol. 16. No 4. pp. 29–46.
- Kusumastuti, D. Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries / D. Kusumastuti, N. Idrus // Quality in Higher Education. – 2017.–Vol. 23. Iss. 3. pp. 230–248.
- Gaisenok, V.A. Gaisenok, V.A., Naumovich, O.A., Samokhval, V.V., Correlation links of university positions in international rankings [Korrelyatsionnyye svyazi pozitsiy vuzov v mezhdunarodnykh reytingakh]// Higher education in Russia. – 2018. – T. 27. No 12. – S. 20–28.
- Zadorozhnyuk, I. E. TOP-200 universities in four international rankings [TOP–200 vuzov v chetyrokh mezhdunarodnykh reytingakh]/ I. E. Zadorozhnyuk, L. Yu., Korosteleva B. K. Tebiev // Higher education in Russia. – 2019. – T. 28. No 3. – P. 85–95. DOI: https://doi.org/10.31992/0869–3617–2019–28–3–85–95.
- Matveeva, O. A. Development of voluntary accreditation of educational programs in Russia [Razvitiye dobrovol’noy akkreditatsii obrazovatel’nykh programm v Rossii]/ O. A. Matveeva // Higher education in Russia. – 2019. – T. 28. No 7. – S. 19–28. DOI: https://doi.org/10.31992/0869–3617–2019–28–7–19–28
- Seeram, Ramakrishna Shortcomings of Higher Education Evaluation Systems / Ramakrishna Seeram, Sachsenmeier Peter // International Journal of Chinese Education. – 2019.– Vol. 8, 1, – pp. 25–42.
- Ryan, M. Comparison of China’s “Ivy League” to Other Peer Groupings Through Global University Rankings / M. Ryan, A. Allen // Journal of Studies in International Education – 2017. – Vol. 21, 5. – pp. 395–411.
- Solomon, Arulraj David Can BRICS build ivory towers of excellence? Giving new meaning to world–class universities / David Solomon Arulraj, Motala Shireen // Research in Comparative and International Education. – 2017. 12, 4. – pp. 512–528.
- Fisher, Nicholas I. Assessing the Quality of Universities: A Gedankenexperiment Derived from Creating Stakeholder Value / Nicholas, I. Fisher // Journal of Creating Value, vol. 8, 1: pp. 25–44. 2022.
- Navodnov, V. G., Motova G. N., Ryzhakova O. E. Comparison of international rankings and the results of the Russian Monitoring of the effectiveness of universities by the method of league analysis. Voprosy obrazovaniya [Sravneniye mezhdunarodnykh reytingov i rezul’tatov rossiyskogo Monitoringa effektivnosti deyatel’nosti vuzov po metodike analiza lig]. – 2019. – No. 3. -S. 130–151.
- Bolotov, V. A. Key issues in the development of national and regional systems for assessing the quality of education (peer review) [Klyuchevyye voprosy razvitiya natsional’nykh i regional’nykh sistem otsenki kachestva obrazovaniya (ekspertnyy obzor)] / V. A. Bolotov [and others] – Moscow: Ed. house of the Higher School of Economics, 2016. – 232 p.
- Bolotov, V. A. Past, present and possible future of the Russian system for assessing the quality of education [Proshloye, nastoyashcheye i vozmozhnoye budushcheye rossiyskoy sistemy otsenki kachestva obrazovaniya]/ Bolotov V. A. // Educational issues. – 2018. – No. 3. – P. 287–297.
- Andrich, D. A course in Rasch measurement theory: Measuring in the educational, social and health sciences. / D. Andrich, I. Marais. – Singapore : Springer. 2019. – 482p.
- Bond, T. G. Applying the Rasch Model: Fundamental Measurement in the Human Sciences / T. G. Bond, Z. Yan, M. Heene – 3rd Ed.. – New York : Routledge.–2020. –376 p.
- Leus, O. Measurement and Analysis of Teachers’ Professional Performance / O. Leus, A. Maslak // Society, integration, education : Proceeding of the International Scientific Conference. Vol. II, Higher Education (Rezekne May 25th–26th, 2018, –Rezekne : Rezekne Academy of Technologies, pp. 308–319.
- Maslak, A. Measurement and Multifactorial Analysis of Students’ Patriotism / A. Maslak, S. Pozdniakov // Society, integration, education. Proceeding of the International Scientific Conference. Vol. I, Higher Education, May 25th–26th, 2018). – Rezekne : Rezekne Academy of Technologies. – 2018. – 373–383.
- A study of the accuracy of measuring a latent variable depending on the range of variation of a set of indicators [Issledovaniye tochnosti izmereniya latentnoy peremennoy v zavisimosti ot diapazona var’irovaniya nabora indikatorov]/ A. A. Maslak [et al.] // Radioelectronics, informatics, management. – 2017. – No. 1 (40). – P. 42–49.
- Osipov S.A., Maslak A.A. Osipov S.A., Maslak A.A. Estimation of the Rasch model parameters by the method of paired comparisons [Otsenivaniye parametrov modeli Rasha metodom parnykh sravneniy]// Theory and practice of measuring competencies and other latent variables in education. materials XV (February 03-05, 2011) and XVI (July 01-03, 2011). All-Russian materials. (with international participation) scientific-practical. Conf. – Slavyansk-on-Kuban: Publishing Center SGPI – 2011. – P. 65-72.
- Andrich, D. RUMM2020: Rasch Unidimensional Measurement Models software and manual / D. Andrich, B. Sheridan, G. Luo. –Perth, Australia – RUMM Laboratory. – 2005. –87p.
