Количественные методы оценки уровня компетенций для систем управления качеством образования
Quantitative methods for assessing the level of competence for quality management systems of education
Авторы
Аннотация
Предметом исследования является процесс оценки качества образования в высшем учебном заведении. Уточнено понятие качества обучения, которое рассмотрено с точки зрения всех заинтересованных сторон в виде наборов показателей и в состав которого включены дополнительные показатели, связанные с внешней оценкой со стороны работодателей, выпускников и всего общества. Модернизирована модель Раша для оценки качества обучения, путем введения в нее дополнительных параметров, характеризующих нестандартность заданий теста и их практическую значимость, что позволило использовать модель для прогнозирования вероятности проявления отдельных составляющих компетенции. Построен агрегированный показатель, позволяющий оценивать уровень совокупности формируемых компетенций. Проведена оценка погрешности реальных измерений. Результаты могут быть использованы в системе оценки качества образования при переходе к новым образовательным стандартам.
Ключевые слова
образовательный процесс, компетенция, оценка качества образования, система управления качеством образования
Финансирование
Работа поддержана грантом РФФИ 14-06-00339.
Рекомендуемая ссылка
Гусятников Виктор Николаевич, Безруков Алексей Иосифович, Каюкова Инна Викторовна. Количественные методы оценки уровня компетенций для систем управления качеством образования // Современные технологии управления. ISSN 2226-9339. — №3 (51). Номер статьи: 5105. Дата публикации: 08.03.2015. Режим доступа: https://sovman.ru/article/5105/
Authors
Abstract
The paper studies the process of assessing the quality of education in higher education. The concept of educational quality which is considered from the point of view of all interested parties in the form of indicators sets and which structure included the additional indicators connected with an external assessment from employers, graduates and all society. The Rasch model for educational quality assessment is modernized by introduction of the additional parameters characterizing tests non-standard and their practical importance. That allowed using model for forecasting of probability of manifestation of separate components of competence. The author shows aggregate indicators to measure the level of aggregate formed competencies. The results can be used to assess the quality of the educational process in the transition to the new educational standards. Assessed error of actual measurements. The results can be used in the Quality Management System of Education on going to new educational standards.
Keywords
educational process, competence, assessment of the quality of education, quality management system of education
Project finance
This work was supported by RFBR grant 14-06-00339.
Suggested citation
Gusjatnikov Viktor Nikolaevich, Bezrukov Aleksej Iosifovich, Kajukova Inna Viktorovna. Quantitative methods for assessing the level of competence for quality management systems of education // Modern Management Technology. ISSN 2226-9339. — №3 (51). Art. # 5105. Date issued: 08.03.2015. Available at: https://sovman.ru/article/5105/
Введение
Повышение качества высшего образования является актуальной задачей для большинства ведущих стран мира, экономика которых основана на производстве новых знаний (инновационном развитии). В связи с этим во всем мире идут процессы модернизации систем высшего образования, направленные на удовлетворение меняющихся запросов общества. Важное значение в этих процессах имеет построение современных систем управления качеством образования. Общие принципы и подходы к построению таких систем хорошо известны и подробно изложены в стандартах серии ИСО 9000. Исходя из требований этих стандартов, для эффективного управления качеством учебного процесса необходимы инструменты, которые позволяют объективно контролировать уровень образовательных достижений, своевременно измерять динамические характеристики образовательного процесса и прогнозировать его конечные результаты [4]. При этом, согласно современным представлениям, критерием качества высшего образования является уровень компетенции, достигнутый выпускниками ВУЗа, т.е. их способность применить полученные знания, умения и навыки в своей профессиональной деятельности.
Принятые в России федеральные государственные образовательные стандарты (ФГОС), зафиксировали переход на компетентностный подход к оценке качества высшего образования и установили перечень обязательных компетенций для каждого направления подготовки. К сожалению, существующие стандарты, в том числе и самые последние (ФГОС 3+), не содержат описания методик для объективного количественного измерения уровня формируемых компетенций. Не содержат таких методик и профессиональные стандарты, разработанные для многих областей деятельности в последние годы. Однако построение современной системы управления качеством образования невозможно без применения объективных методов количественного измерения уровня компетенций, формируемых в процессе обучения. Именно поэтому проблема объективной оценки компетентности вызывает сегодня повышенный интерес. В многочисленных публикациях, посвященных педагогическим измерениям [1, 5-6], предлагаются содержательные трактовки самого понятия «компетентность» и методы количественной оценки ее уровня у студентов. Однако объективных общепризнанных практических методик пока не создано. По мнению авторов, одной из причин этого является отсутствие адекватных математических моделей столь сложного и многогранного понятия как компетентность.
Целью работы является изучение методов количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения, основанных на модернизированной модели Раша-Бирнбаума.
Основные разделы
В предыдущих работах [2-4] приводится анализ средств оценки качества образования, а также рассматривается международный опыт исследований PISA, TIMSS, отечественные исследования в рамках проекта ФЭПО и предложения о введении в вузах итогового государственного экзамена по типу ЕГЭ. В этих исследованиях для измерения уровня компетентности студентов с помощью тестов предлагается использовать многоуровневые тестовые задания, которые проверяют способности обучаемых на различных уровнях, например, репродуктивном, конструктивном и творческом. Задания последних уровней представляются кейсами и ситуационными заданиями, моделирующими реальные жизненные ситуации, выполнение которых предполагает применение системных знаний и комплексных умений, а также самостоятельное конструирование способа решения.
Практическое применение такого рода тестовых заданий связано со сложностями при их разработка и валидация, что делает этот процесс дорогостоящим. Кроме этого данный подход является своего рода «взглядом педагогов» на проблему измерения уровня компетентности, так как сами тесты разрабатываются, как правило, преподавателями-предметниками. Вместе с тем специалистам практикам хорошо известно, что далеко не всегда, человек, достигший творческого уровня при выполнении тестовых заданий, будет успешным в своей профессиональной деятельности, особенно, если она напрямую не связана с творчеством.
В работах [2-3] был предложен другой подход к оценке компетенций, позволяющий максимально использовать возможности существующих банков тестовых заданий. Следует пояснить, что используемая сегодня стандартная тестовая методика оценки качества обучения, основанная на теории педагогических измерений и моделях Раша и Бирнбаума предполагает, что все задания в тесте равномерно распределены по трудности, измеряемой в логитах. Вероятность выполнения j-го задания трудности βj студентом с уровнем подготовки q в модели Бирнбаума оценивается следующим образом:
где 
– вероятность угадывания правильного ответа j-го задания, 
– чувствительность j-го задания, функционально связанная с дисперсией результатов выполнения задания (для единичной дисперсии 
).
Предложенный подход позволяет измерить уровень умению решать трудные задачи. Важным качеством может оказаться умение реагировать на нестандартные ситуации, умение видеть кратчайшие пути к достижению цели, системность знаний и т.д. Совокупность этих показателей позволяет рассматривать компетентность студента как сложный многомерный объект.
Предлагается модернизировать предложенную в ранних работах методику, включив дополнительные характеристики нестандартности задания и его практической значимости. Таким образом, из результатов одного теста можно оценить умение выполнять задания: трудные, нестандартные и необходимые в профессиональной деятельности. Для каждой дополнительной характеристики производится модернизация модели Раша-Бирнбаума.
Тогда формулы для вероятности правильного ответа i-го испытуемого на некоторое задание, если не учитывать возможность угадывания, примут вид:
где θi1, θi2, θi3 – уровень подготовленности i-го испытуемого к решению трудных, нестандартных и практически значимых задач соответственно; β1, β2, β3 – уровень трудности, нестандартности и практической значимости данного задания соответственно.
По аналогии с таксономией Блума в работе использована 6-ти уровневая шкала для экспертной оценки уровня нестандарности заданий и 4-х уровневая шкала для экспертной оценки практической значимости тестовых заданий. Экспертные оценки пересчитывались в шкалу логитов по стандартной методике.
Ранее, на примере общекультурной компетенции ОК-13 (ФГОС по направлению «Бизнес-информатика») «владение навыками работы с компьютером как средством управления информацией, способность работать с информацией в глобальных компьютерных сетях» и на выборке результатов тестирования по информатике более 200 студентов, нами было показано, что измеренные таким образом характеристики отражают разные аспекты компетенции студентов [2].
Еще одной характеристикой, связанной с компетентностью обучаемого, которую можно оценить из результатов тестирования, является структура знаний и навыков обучаемого. При этом измеряемой величиной может быть степень отклонения структуры знаний от некоторой, задаваемой априорно «эталонной» структуры, планируемой как результат обучения. Под структурой в данном случае понимается некоторое обобщающее понятие, которое характеризует как процесс обучения «от простого к сложному», так и наличие в структуре знаний определенных разделов и дидактических единиц конкретной дисциплины. Подробная методика расчета данного показателя приведена в работе [2].
Кроме структуры знаний в процессе тестирования можно контролировать сам процесс решения и время выполнения каждого задания. Наиболее подходят для этой цели тестовые задания с выбором нескольких правильных ответов, а также задания на соответствия и на упорядочивание. Алгоритм расчета характеристики был рассмотрен в работе [2].
Современные системы тестирования не учитывают разницу в траекториях формирования ответа, что приводит к некорректным выводам. Однако наблюдаемое различие может нести информацию о степени профессионализма и уровне компетенции испытуемого. Анализ хода выполнения задания можно проводить, сравнивая траекторию получения испытуемым конечного результата при выполнении задания с эталонной траекторией, которую демонстрируют при выполнении данного задания люди с известным уровнем компетентности.
Таким образом, в ходе одного сеанса тестирования можно получить независимые оценки пяти рассмотренных выше характеристик, каждая из которых некоторым образом связана с уровнем компетенции испытуемого. При этом компетенция может рассматриваться как многомерный объект, а каждая характеристика является проекцией этого объекта на некоторую ось. Т.е. по результатам одного теста испытуемый получает пять оценок, из анализа которых производится оценка его компетентности. Каждая из оценок пересчитывается в единую шкалу логитов по стандартной методике.
При использовании тестирования в качестве инструмента измерения уровня компетенций важным является вопрос о достоверности полученных результатов и погрешности оценок уровня компетентности. Несмотря на широкое применение тестов в педагогических измерениях, эти вопросы до сих пор остаются слабо изученными.
Для выявления зависимости погрешности тестов от способа их формирования и методов обработки результатов тестирования построена имитационная модель тестирования, включающая процедуру формирования группы «студентов» с заданным распределением их уровня подготовленности. Тест моделируется перечнем заданий, для каждого из которых указываются параметры модели Бирнбаума. Имитация тестирования проводится как случайный процесс, в котором результаты ответа каждого студента на каждый вопрос разыгрываются в соответствии с моделью Бирнбаума. Анализ погрешности проведен для четырех методов оценки уровня подготовленности «студентов».
1) Доля правильных ответов. Уровень подготовки студента определяется количеством заданий с которыми студент справился.
где: Mmax и Mmin соответственно максимальное и минимальное число выполненных заданий;
Mi – число заданий выполненных i-м студентом;
Dmax и Dmin соответственно максимальная и минимальная трудность задания, выраженные в логитах.
2) Взвешенная доля правильных ответов (сумма баллов). Учитывается различная сложность заданий.
где: 
— бинарная матрица результатов тестирования (
если студент i справился с заданием j);
Wj. — вес задания (число баллов, полученных студентов при выполнении этого задания);
Wmax и Wmin – соответственно максимальный и минимальный вес, которые теоретически можно набрать, выполняя данный тест.
3. Метод максимального правдоподобия. Пусть 
— вероятность выполнения студентом с уровнем подготовки qзадания с уровнем трудности
, заданная моделью Раша или моделью Бирнбаума. Уровень подготовки студента θ находится как аргумент, при котором достигается максимум функции правдоподобия:
где 
, если задание j было выполнено и 
, если студент не справился с j -м заданием.
4. Метод скользящего интервала. При выполнении тестов с большим числом заданий нередко возникают ситуации, когда слабый студент случайно отвечает на сложный вопрос (угадывает ответ), а сильный студент, сосредоточив внимание на трудных вопросах, делает досадные ошибки, или просто не успевает справиться с простыми заданиями. Для компенсации этих проблем предлагается модифицировать метод максимального правдоподобия: не учитывать ответы на трудные задания при оценке правдоподобия в диапазоне низких θa, при оценке диапазоне высоких θ, не учитывать ответы на простые задания. Таким образом, при вычислении L(q) учитывается не весь диапазон вопросов, а только некий интервал, границы которого зависят от θ.
В качестве критерия достоверности каждого метода предложено использовать среднеквадратическое отклонение оценки, полученной данным методом от априорного (заданного в модели) значения уровня:
где n –количество тестируемых студентов;
— измеренное значения уровня подготовки i-го студента;
— априорное значение уровня.
Для оценки зависимости К от параметров тестов и характеристик группы тестируемых были проведены серии экспериментов, в которых варьировались исследуемые параметры модели, а результаты тестирования обрабатывались всеми перечисленными методами.
Показано, что наилучшие результаты дает метод максимального правдоподобия. Отклонение оценок от истинного значения θ неравномерно в интервале уровня подготовки студентов. Стандартное отклонение , отражающее случайные ошибки измерения, минимально на краях интервала и достигает значении 0,8 логит в центре интервала. Систематическая ошибка, наоборот, наименьшая в середине интервала. При этом, все методы дают завышенную оценку слабым и заниженную хорошо подготовленным студентам.
Наличие столь высокой погрешности особенно важно учитывать в квалификационных тестах, используемых для отсева студентов не способных продолжать образование или для формирования элитных групп. В этих случаях сами тесты и методы обработки результатов тестирования должны быть ориентированы на минимизацию ошибок первого и второго рода (соответственно, продолжение образования плохо подготовленного студента и отсев перспективного студента).
Рис.1. Стандартное отклонение оценки θ в различных интервалах трудности задания
Рис.2. Систематические ошибки методов в различных интервалах трудности задания.
Результаты, полученные на имитационной модели, могут быть использованы для оценки погрешности реальных измерений.
В качестве примера применения предлагаемого подхода приведем результаты оценки по этим характеристикам и варианты интерпретации результатов тестирования по дисциплине «Информатика». Тесты для этой дисциплины были сформированы в соответствии с требованиями модели Раша. Каждое задание в тесте получило оценку по трем аспектам. Трудность задания определена из статистики решаемости данного задания. Нестандартность и практическая значимость каждого задания оценивалась экспертно.
На рис. 3 в виде лепестковых диаграмм отображены индивидуальные результаты измерения каждой из пяти характеристик для шести различных студентов (графики а, б, в, г). Пунктирным многоугольником обозначены усредненные результаты теста по всей выборке студентов. Ниже приведены индивидуальные характеристики подготовленности каждого студента, сделанные из анализа представленных на рисунке результатов.
Студент а). Его можно характеризовать как «обученного троечника». Благодаря качественной системе обучения, студент получил (вернее, заучил) систематизированные знания. Однако применить их он не может.
Студент б). Умение нестандартно мыслить позволяет данному студенту справляться с достаточно трудными заданиями даже при недостатке знаний и навыков. Это креативный студент, который после восполнения пробелов в знаниях и навыках решения задач сможет справиться с достаточно трудными заданиями.
Студент в). Студент обладает систематизированными знаниями и навыками решения стандартных задач, его можно характеризовать, как «теоретика». Однако практические и нестандартные задачи его мало интересуют. Если не исправить положение, такой выпускник будет испытывать трудности, сталкиваясь с реальными задачами в своей практической деятельности.
Студент г). Скорее всего, данный студент привык к самостоятельному освоению учебной программы без участия преподавателя. Даже не имея системных знаний, практически мотивированный и весьма способный студент справляется с трудными учебными заданиями, возможно интуитивно «нащупав» правильную методику их решения. Требуется мотивировать такого студента на получение систематических знаний, которые, несомненно, потребуются ему в практической деятельности.
Рис. 3. Характеристики студентов, полученные по результатам тестирования
Приведенные характеристики напрямую связаны с возможностью успешной профессиональной деятельности данных студентов, т.е. с уровнем их компетентности в исследуемой области. Однако для этого требуется провести дальнейшие лонгитюдные исследования профессиональных траекторий выпускников с привлечением методик, разработанных в области психологии [7].
Заключение
В отличие от традиционных методов педагогический измерений, рассматривающих уровень подготовленности как одномерную величину, предлагаемая в статье модифицированная модель позволяет получить более полную и разностороннюю оценку компетентности студентов по результатам тестирования. Проведенный анализ показывает, что использование методов тестирования и статистических и математических методов обработки с использованием предлагаемых подходов позволит решить проблему объективной оценки компетентности обучающихся и выпускников с требуемой точностью и достоверностью.
Читайте также
Библиографический список
- Большаков А.А., Вешнева И.В., Мельников Л.А., Перова Л.Г. Метод оценки профессиональных компетенций, основанный на лингвистическом подходе для системы управления вузом // Системы управления и информационные технологии. 2013. Т. 52. № 2.1. С. 116-120.
- Гусятников В.Н., Безруков А.И., Каюкова И.В. Методы оценки уровня формируемых компетенций на основе модернизированной модели Раша // Современные проблемы науки и образования. 2014. № 6. С. 1704.
- Гусятников В.Н., Безруков А.И., Соколова Т.Н. Проблемы формирования компетенций в области информационной безопасности // Информационная безопасность регионов. 2014. №2. С. 27-31.
- Гусятников В.Н., Соколова О.Ю., Соколова Т.Н., Каюкова И.В. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования // Вестник Саратовского государственного социально-экономического университета. 2009. № 04. С. 197‑200.
- Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. № 4. С. 80-85.
- Звонников В.И., Челышкова М.Б. Оценка компетентности менеджеров // Высшее образование сегодня. 2013. № 4. С. 14-19.
- Ушаков Д.В. Тесты интеллекта, креативности и экспертные оценки // Психология. Журнал Высшей школы экономики. 2004. Т. 1. № 4. С. 28-37.
References
- Bol’shakov A.A., Veshneva I.V., Mel’nikov L.A., Perova L.G. Method of assessment of professional competence-based approach to linguistic system university management [Metod ocenki professional’nyh kompetencij, osnovannyj na lingvisticheskom podhode dlja sistemy upravlenija vuzom]. Management system and information technologies. 2013. V. 43. № 1.1. pp. 117-121.
- Gusjatnikov V.N., Bezrukov A.I., Kajukova I.V. Methods of assessment the level formed competencies based on the modernized Rasch model [Metody ocenki urovnja formiruemyh kompetencij na osnove modernizirovannoj modeli Rasha]. Modern problems of science and education. 2014. №6. pp. 1704.
- Gusjatnikov V.N., Bezrukov A.I., Sokolova T.N. Problems of forming competences in the field of information security [Problemy formirovanija kompetencij v oblasti informacionnoj bezopasnosti]. Information security of regions. 2014. №2. pp. 27-31.
- Gusjatnikov V.N., Sokolova O.Ju., Sokolova T.N., Kajukova I.V. Creation of models for the analysis of quality of educational process on the basis of technologies of computer testing [Postroenie modelej dlja analiza kachestva obrazovatel’nogo processa na osnove tehnologij komp’juternogo testirovanija]. Vestnic Saratov stats social-economic university. 2009. № 04. pp. 197-200.
- Eliseev I.N. Methodology of assessment of student competencies [Metodologija ocenki urovnja kompetencij studenta]. Computer science and education. 2012. №4. pp. 80-85.
- Zvonnikov V.I, Chelyshkova M.B. ASSESSMENT competence of managers [Ocenka kompetentnosti menedzherov]. Higher education today. 2013. № 4. pp.14-19
- Ushakov D.V. Intelligence Tests, Creativity Assessment and Expert Evaluation [Testy intellekta, kreativnosti i jekspertnye ocenki]. Psychology. Journal of graduate school of economics. 2004. V.1. № 4. pp. 28-37.
