Комплексная методика оценки качества деятельности подразделений Санкт-Петербургского государственного политехнического университета
Complex technique for evaluation of quality of St.Petersburg state polytechnic university’s departments
Авторы
Аннотация
Внешняя оценка университетов в ходе государственного контроля и надзора направлена на обеспечение единой государственной политики в области образования и рациональное использование средств федерального бюджета. Этой оценки недостаточно для менеджмента качества образовательной деятельности. Необходим механизм обеспечения качества образования, применяемый внутри университетов. Статья посвящена разработке методик оценки деятельности факультетов и подразделений университета. Приведены результаты апробации методик на примере подразделений СПбГПУ.
Ключевые слова
менеджмент качества высшего профессионального образования, рейтинг, методика внутреннего рейтинга, методика паспорта подразделения, ранжирование, коэффициент эффективности, комплексная оценка.
Рекомендуемая ссылка
Речинский Александр Витальевич, Черненькая Людмила Васильевна, Магер Владимир Евстафьевич, Матвеева Екатерина Владимировна, Черненький Андрей Владимирович. Комплексная методика оценки качества деятельности подразделений Санкт-Петербургского государственного политехнического университета // Современные технологии управления. ISSN 2226-9339. — №12 (24). Номер статьи: 2411. Дата публикации: 08.12.2012. Режим доступа: https://sovman.ru/article/2411/
Authors
Abstract
An external evaluation of universities in the state control and supervision aimed at providing a unified state policy in the field of education and the rational use of the federal budget . This estimate is not enough for the quality management of educational activities. A mechanism is needed to ensure the quality of education used in universities. Article is devoted to the development of methodologies for assessing the activities of faculties and departments of the university . Results of testing methodologies for example units STU.
Keywords
quality management of higher education, rating, internal rating methodology, technique passport division, ranking, efficiency ratio, integrated assessment.
Suggested citation
Chernen'kij Andrej Vladimirovich, Rechinsky Aleksandr Vitalyevich, Chernen'kaja Ljudmila Vasil'evna, Mager Vladimir Evstaf'evich, Matveeva Ekaterina Vladimirovna. Complex technique for evaluation of quality of St.Petersburg state polytechnic university’s departments // Modern Management Technology. ISSN 2226-9339. — №12 (24). Art. # 2411. Date issued: 08.12.2012. Available at: https://sovman.ru/article/2411/
Главной задачей российской образовательной политики в соответствии с Концепцией модернизации российского образования на период до 2015 года является обеспечение высокого качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства. Качество образования определяется как сбалансированное соответствие совокупности свойств и характеристик образовательного процесса, его результатов и всей системы образования в целом установленным потребностям, целям, требованиям и нормам (стандартам), которые выдвигаются отдельными гражданами, предприятиями и организациями, обществом и государством в целом.
Внешняя оценка качества образования, состоящая в государственном контроле и надзоре, направлена на обеспечение единой государственной политики в области образования и рациональное использование средств федерального бюджета. Однако, как показывает мировой опыт, для продуктивного менеджмента качества вуза недостаточно использовать результаты только внешней оценки. Требуется внутренний механизм обеспечения качества образования – механизм самооценки, который смогут реализовать подразделения вузов.
Статья посвящена вопросам разработки методики оценки и самооценки качества деятельности технического университета и его подразделений (факультетов, кафедр) на основе анализа и обобщения зарубежного и отечественного опыта в области менеджмента качества и апробации разработанных методик в ФГБОУ ВПО «СПбГПУ». Данная работа проводится в Департаменте менеджмента качества – правопреемнике Корпоративного центра качества СПбГПУ.
Государственный контроль и надзор за качеством высшего профессионального образования (внешний контроль) традиционно проводится на основе двух методик [1]:
- анализ выполнения показателей государственной аккредитации в соответствии с установленными Росаккредагентством критериальными значениями на соответствующий статус образовательного учреждения;
- рейтинг специальностей и вузов России по методике, разработанной Министерством образования и науки Российской Федерации.
Для обеспечения внутреннего контроля качества образования вузы должны создавать системы менеджмента качества (СМК).
Внутренний контроль качества в ФГБОУ ВПО «СПбГПУ» (элементы СМК) проводится комплексно на базе ряда методик:
- выполнение факультетами показателей государственной аккредитации,
- внутренний рейтинг факультетов.
Проверка выполнения показателей государственной аккредитации осуществляется традиционным способом.
Методика внутреннего рейтинга разработана в Департаменте менеджмента качества СПбГПУ [2] и базируется на методике Минобрнауки России с использованием аддитивной свертки показателей подразделения. Перечень локальных критериев адаптирован к особенностям подразделений вуза. Использование иерархической модели позволяет вычислять более общие показатели из частных, получать совокупный показатель деятельности (рейтинг) каждого подразделения (факультета, кафедры) и производить их линейное ранжирование.
В оценке результатов внутреннего рейтинга наиболее важным моментом является определение причин отставания факультета по рейтингу, а также мер, необходимых для его повышения. В соответствии с методикой расчета рейтинга, первичный показатель рейтинга состоит из двух компонент: потенциала и активности, поэтому при сравнительно невысокой активности,
но большом потенциале учебное подразделение может получить высокий рейтинг.
Чтобы усилить учет влияния продуктивных целей на итоговую оценку (например, целевого использования площадей, дорогостоящего оборудования для научных работ), предлагается ввести коэффициент эффективности 
(соотношение потенциала и активности подразделения), корректирующий критерий второго уровня (интеллектуальный потенциал), что сказывается при дальнейшем расчете на значении глобального критерия – окончательного рейтинга.
Анализ изменения рейтинга с учетом коэффициента эффективности показывает, что если коэффициент эффективности значительно меньше единицы (потенциал факультета высок, а активность работы – низкая), то факультет сразу сместится с первых позиций в рейтинге на более низкие. И наоборот, если этот коэффициент значительно больше единицы (потенциал факультета низкий, а активность работы факультета – высока), это приведет к смещению факультета в рейтинге на более высокие позиции.
При оценке результатов внутреннего рейтинга возникает закономерная проблема: в условиях большого разнообразия направлений подготовки сложно обеспечить объективность сопоставления рейтингов факультетов и их ранжирование. Поэтому в ходе апробации предложенных методик в ФГБОУ ВПО «СПбГПУ» факультеты университета были условно разделены по профилям подготовки, и отдельно рассматривались три группы факультетов: технические, физические и гуманитарно-экономические. Ранжирование проводилось в рамках каждой из групп. Результаты ранжирования оказались более объективными, соответствующими логике.
Важно отметить, что методика внутреннего рейтинга применима и на более низком уровне – на уровне кафедр, что позволяет, в свою очередь, уже факультету осуществить комплексную самооценку деятельности и оценить положение своих подразделений.
Представленная методика является простой и способной решать задачу оценки исследуемого объекта, однако обладает рядом недостатков:
1) допускается суммирование показателей, не имеющее физического смысла;
2) весовые коэффициенты не позволяют описать полную картину относительной важности суммируемых показателей;
3) нет определенных правил выбора весовых коэффициентов, доступных для лиц, принимающих решение.
В качестве альтернативной методики, лишенной описанных недостатков, в Департаменте менеджмента качества СПбГПУ была разработана методика составления паспорта подразделения вуза (методика самооценки), основанная на использовании метода анализа иерархий Т. Саати, предполагающего декомпозицию проблемы [3].
Данная методика применима для формирования паспорта подразделения как на уровне факультета, так и кафедры, что позволяет проводить углубленный анализ эффективности деятельности подразделений вуза. Методика доведена до практического применения и может быть использована для анализа эффективности деятельности подразделений со стороны руководства вуза и для проведения самооценки самими подразделениями.
Паспорт подразделения отражает активность подразделения по трем направлениям деятельности:
- Учебное направление (
) – это критерий оценки учебной активности (студенты, учебно-лабораторная база, учебные пособия и учебники). - Научное направление (
) – это критерий оценки научной активности (статьи, монографии, патенты, защиты кандидатских и докторских диссертаций). - Научно-исследовательское направление (
) – это критерий оценки научно-исследовательской активности (эффективность использования оборудования, производственных площадей, научного потенциала).
Структура и состав показателей паспорта подразделения представлена на рис. 1.
Рис. 1. Структура и состав показателей паспорта подразделения
Результаты расчетов представляются в виде одного значения К– интегрального критерия оценки деятельности подразделения.
Реализация методики составления паспорта подразделения предусматривает выполнение двух этапов:
- Расчет локальных показателей второго уровня.
- Вычисление интегральных показателей первого уровня и глобального критерия.
Первый этап расчета состоит в вычислении локальных показателей второго уровня 
, которые представляют собой оценку выполнения i-ой цели первого уровня, где i = 1…n, k – номер локального показателя 2-го уровня. Для расчета используются исходные данные (Д01-Д18), предоставляемые подразделениями (факультетами, кафедрами).
Расчет показателей производится путем соотнесения результатов деятельности и материально-интеллектуальной базы подразделения. Вначале вычисляется приведенный контингент студентов:
,
где Д05 – количество студентов очной формы обучения, чел.;
Д06 – количество студентов очно-заочной формы обучения, чел.;
Д07 – количество студентов заочной формы обучения, чел.;
С11, С12 – весовые коэффициенты, определяемые Министерством образования и науки РФ.
Расчет учебно-методической составляющей 
включает расчет трех показателей:
1) обеспеченность ППС учебной нагрузкой:
где Д01 – количество штатных ППС, чел.;
Д02 – число совместителей ППС, чел.
2) обеспеченность учебно-лабораторной базой:
где Д10 – площадь учебно-лабораторной базы, тыс. кв.м;
Д05 – количество студентов очной формы обучения, чел.
3) учебно-методическая активность:
где Д08 – количество учебно-методических пособий;
Д02 – число совместителей ППС, чел.
Оценка научной составляющей 
основана на расчете четырех показателей:
1) публикационная активность по статьям:
где Д03 – количество статей, опубликованных штатными ППС за отчетный год;
2) публикационная активность по монографиям:
где Д04 – количество монографий, опубликованных штатными ППС за отчетный год;
3) активность интеллектуальной деятельности:
где Д13 – количество патентов и результатов интеллектуальной деятельности штатных ППС за отчетный год;
4) подготовка кадров высшей квалификации:
где Д14 – количество докторских диссертаций, защищенных в советах вуза за последние три года и утвержденных ВАК;
Д15 – количество кандидатских диссертаций, успешно защищенных
в советах вуза за последние три года;
Д17 – количество утвержденных ВАК докторских диссертаций, защищенных работниками вуза за последние три года вне советов вуза;
Д18 – количество аспирантов и сотрудников вуза, успешно защитивших кандидатские диссертации за последние три года вне советов вуза, чел.;
Д16 – количество аспирантов вуза, успешно защитивших кандидатские диссертации в отчетном году, но не позднее одного года после окончания аспирантуры, чел.
Научно-исследовательская составляющая также оценивается по четырем показателям (за отчетный год):
1) обеспеченность оборудованием:
где Д12 – стоимость оборудования, тыс. руб.;
2) эффективность использования оборудования:
где Д09 – объем госбюджетных работ и освоенных грантов на научные исследования, выполненные собственными силами в отчетном году, тыс. руб.;
3) эффективность использования производственных площадей:
где Д09 – объем госбюджетных работ и освоенных грантов на научные исследования, выполненные собственными силами в отчетном году, тыс. руб.;
Д11 – площади, используемые для выполнения научно-исследовательских работ, тыс. кв.м.
4) эффективность использования научного потенциала:
где Д09 – объем госбюджетных работ и освоенных грантов на научные исследования, выполненные собственными силами подразделения в отчетном году, тыс. руб.
Второй этап расчета состоит в определении показателей первого уровня (, и ) и вычислении глобального критерия с помощью метода анализа иерархий Т. Саати.
В предложенной иерархии (рис. 1) показатели нижнего уровня связаны со всеми альтернативами (исходными данными) из множества альтернатив. Для установления относительной важности элементов иерархии используется матрица парных сравнений, разработанная в Департаменте менеджмента качества СПбГПУ, позволяющая численно определить степень предпочтения одного сравниваемого элемента перед другим. Для разработки матрицы применена шкала отношений Т. Саати. Чтобы определить предпочтительность элементов второго уровня относительно элементов первого уровня , и , с которыми они непосредственно связаны, составляются матрицы приоритетов (парных сравнений):
где 
– степень значимости элемента иерархии.
Нельзя не упомянуть, что специалисты в области системного анализа скептически относятся к методу иерархий Саати, объясняя это тем, что данный метод «не до конца аналитичен», т.е. требует участия в получении итоговых оценок человека. Однако все известные методики, применяемые для получения количественной оценки сложных систем, в составе которых имеются социо-компоненты или, иными словами, результаты интеллектуальной деятельности людей, на каком-то из этапов оценки включают экспертизу, основанную на опыте и интуиции экспертов. Одним из наиболее показательных примеров может служить модель оценки совершенства организации на базе критериев премий по качеству – Business Excellence. Поэтому предлагаемые методики с применением метода Саати, где степени значимости элементов иерархии матрицы попарных сравнений должны быть назначены квалифицированными экспертами, не «выпадают», а дополняют ряд известных методик экспертной оценки. Следует добавить, что большинство оценок, относящихся к качеству образования, также получаются экспертными методами.
Аналогичные операции проводятся для расчета глобального критерия, после чего производится иерархический синтез, определяющий оценку альтернатив относительно критерия верхнего уровня. Вычисление векторов приоритетов проводится путем перемножения соответствующих векторов и матриц в направлении от нижних уровней к верхним с учетом конкретных связей между элементами, принадлежащими различным уровням.
Расчеты на втором этапе осуществлялись с применением пакета прикладных программ MatLab. Результатом вычислений является итоговый вектор предпочтений альтернатив относительно глобального критерия. Каждый элемент данного вектора представляет собой оценку соответствия деятельности подразделения поставленным целям. Имея полную совокупность оценок по вузу, можно провести ранжирование подразделений.
Покажем, как строятся и детализируются оценки внутри факультетов.
В первую очередь необходимо определить значения показателей паспорта всех подразделений факультета, по которым затем рассчитываются значения верхней квартили и медианы для рассматриваемого факультета. Значения, соответствующие верхней квартили, принимаются за оптимальные, медианные значения считаются минимально допустимыми.
По результатам расчетов построены лепестковые диаграммы. Пример диаграмм, построенных для конкретного факультета, приведен на рис. 2.
 |
 |
Рис. 2. Лепестковые диаграммы паспорта факультета:
а) показатели деятельности на фоне медианы,
б) показатели деятельности на фоне верхней квартили
Предложенные методики внутреннего рейтинга и паспорта подразделения входят в состав комплексной методики оценки качества деятельности подразделений университета и позволяют проводить углубленный анализ деятельности факультетов и кафедр технического университета, дополняя общеприменимую методику оценки вуза, основанную на показателях государственной аккредитации и рейтинга вузов. Разработанная комплексная методика оценки качества деятельности подразделений университета сформирована с учетом существующих методик и специфики сферы высшего профессионального образования, является базовой в реализации внутреннего контроля качества деятельности и составляет основу внутривузовской системы менеджмента качества.
Результаты апробации разработанной комплексной методики оценки деятельности университета на примере СПбГПУ докладывались на рабочем совещании руководителей ведущих европейских университетов по тематике «Quality Assurance in Education» (Берлин, Технический университет, 14-15 июня 2012 г.), а также обсуждались на конференции, посвященной международному сотрудничеству в сфере инженерного образования [4].
Читайте также
Библиографический список
- Развитие системы мониторинга системы менеджмента качества СПбГПУ (I этап). «Управление качеством в политехническом университете». Вып. 21. Под ред. Речинского А.В. – СПб.: Изд-во Политехн. ун-та, 2011. – 187 с.
- Расчет рейтинга вуза, специальностей и направлений подготовки. Внутренний рейтинг СПбГПУ: метод. рекомендации. «Управление качеством в политехническом университете». Вып. 22. Под ред. Речинского А.В. – СПб.: Изд-во Политехн. ун-та, 2011. – 154 с.
- Комплексная оценка факультетов СПбГПУ по показателям аккредитации, рейтинга и паспорта подразделения. «Управление качеством в политехническом университете». Вып. 23. Под ред. Речинского А.В. – СПб.: Изд-во Политехн. ун-та, 2012. – 406 с.
- Alexander V. Rechinskii, Liudmila V. Chernenkaya, Vladimir E. Mager, Andrei V. Chernenkii. Techniques for Quality assessments and Quality management in Technical University (на англ. яз.) // VII International Conference «International Cooperation in Engineering Education». – St.Petersburg, 2-4 July 2012. – pp. 25-30.
References
- Razvitie sistemy monitoringa sistemy menedzhmenta kachestva SPbGPU (I etap). «Upravlenie kachestvom v politekhnicheskom universitete». Vyp. 21. Pod red. Rechinskogo A.V. – SPb.: Izd-vo Politekhn. un-ta, 2011. – 187 s.
- Raschet reitinga vuza, spetcialnostei i napravlenii podgotovki. Vnut-rennii reiting SPbGPU: metod. rekomendatcii. «Upravlenie kachestvom v politekhnicheskom universitete». Vyp. 22. Pod red. Rechinskogo A.V. – SPb.: Izd-vo Politekhn. un-ta, 2011. – 154 s.
- Kompleksnaia otcenka fakultetov SPbGPU po pokazateliam akkreditatcii, reitinga i pasporta podrazdeleniia. «Upravlenie kachestvom v politekhnicheskom universitete». Vyp. 23. Pod red. Rechinskogo A.V. – SPb.: Izd-vo Politekhn. un-ta, 2012. – 406 s.
- Alexander V. Rechinskii, Liudmila V. Chernenkaya, Vladimir E. Mager, Andrei V. Chernenkii. Techniques for Quality assessments and Quality management in Technical University (na angl. iaz.) // VII International Conference «International Cooperation in Engineering Education». – St.Petersburg, 2-4 July 2012. – pp. 25-30.
