Оценка эффективности обучения сотрудников: проблемы и решения
Введение
В настоящей статье обобщается 10 летний опыт работы автора в качестве преподавателя и разработчика программ обучения для сотрудников филиалов международных компаний RJR Nabisko и JTI, расположенных в России, Украине и Казахстане. Проводимое обучение было очень разным по характеру и продолжительности: это могли быть как одноразовые семинары, так и последовательность учебных сессий, объединенных в тематические циклы. Но в любом случае участники обучения всегда ожидали, что оно каким-то образом положительно скажется на результатах их работы. С другой стороны, и руководители компаний, вкладывающие средства в обучения сотрудников, хотят увидеть ощутимые результаты. Поэтому оценка эффекта от проведенного обучения всегда представлялась важной проблемой для руководителей и сотрудников отдела «Управление человеческими ресурсами».
Надо сказать, что эта сложная проблема относится к слабо структурированным задачам управления и не имеет однозначного решения, хотя существует много теоретических и практических попыток ее решить. В настоящей статье попытаемся ответить на некоторые важные вопросы, связанные с ее решением.
Как оценить эффективность вложений в обучение по финансовым показателям?
Естественно, что руководству компании прежде всего, хочется увидеть эффективность вложений в обучение используя привычные показатели для оценки эффективности инвестиций: “Running Training Like a Business” (что- то вроде «Организуем обучение так же, как и бизнес») Это кажется логичным, потому что в рамках теории человеческого капитала средства, затраченные на обучение сотрудников, так же представляют собой инвестиции. С этой точки зрения определение фактической эффективности вложений в обучение, как и вложений в другие сферы, является важной частью финансового мониторинга фирмы, и может осуществляться с использованием общего подхода к оценке эффективности инвестиций[1,2,3].
При таком подходе каждая программа обучения (как инновационный проект) связывается с определенным денежным потоком, состоящем из чистых притоков и чистых оттоков денежных средств и определяются значения некоторых критериев, основанных, в общем, на сравнении величин инвестиций и генерируемых ими денежных притоков. Естественно, более обоснованными являются динамические критерии (учитывающие фактор времени), поскольку они точнее отражают инвестиционные процессы и их последствия.
Фактическую эффективность можно подсчитать по формуле чистой приведенной стоимости (Net Present Value, NPV) или индекса рентабельности (Profitability Index, PI) который рассчитывается как отношение суммы всех дисконтированных денежных доходов к сумме всех дисконтированных инвестиционных расходов.
Некоторыми специалистами [4] предлагается оценивать эффективность обучения, используя другой показатель, так же применяемый для использования оценки эффективности инвестиционных проектов, Возврат от инвестиций- ROI (ReturnonInvestment), рассчитываемый как
ROI = EBIT : A
Где, EBIT– (Earnings Before Interest and Taxes), [5] представляет собой прибыль/доход фирмы до уплаты процентов по кредитам и налогов, A– активы фирмы.
Применительно к оценке эффективности программ обучения, можно принять допущение, что ROI это «Результаты» соотнесенные со «Стоимостью обучения».
В чем же состоит сложность подсчета отдачи от вложений в обучение по этим показателям? Конечно затраты на обучение подсчитать несложно, но как выделить увеличение прибыльности или доходности предприятия связанное именно с обучением, ведь существует множество факторов, которые влияют на величину этих показателей. Как же определить, произошли ли улучшения в финансовом положении предприятия в результате получения и использования новых знаний или вследствие каких-то других, не имеющих к этому отношения обстоятельств?
Для выхода из этой ситуации сторонниками оценки эффективности обучения с использованием финансовых показателей предлагается «контрольная группа» [6],т.е. рекомендуется выбирать две группы людей из аналогичных подразделений для сравнения результатов– одна группа прошла обучение, другая нет . Если они находятся в одинаковых условиях, то разница в финансовых показателях их деятельности будет свидетельствовать о степени влиянии новых знаний, навыков, умений, новой информации и пр.
Например: Коллектив машинных операторов, выполняющих одни и те же операции, разделили на две группы. Первая группа прошла обучение, а другая –нет. Затраты на программу обучения машинных операторов – составила 140 тыс. После обучения по этой программе производительность в первой группе возросла на 100 единиц, что увеличило прибыль на 200000 руб. В этом случае «Возврат от инвестиций» составит 1, 43 — что свидетельствует о положительном эффекте.
Но проблема заключается в том, что большинство организаций не может позволить себе такой роскоши, как иметь две одинаковые группы людей, занимающихся одним и тем же делом, но в то же время достаточно изолированных.
Кроме этого, многолетний опыт связанный с оценкой программ на основании расчета показателей ROI, NPV или PI, показывает, что сбор и обработка информации для расчета показателей занимает много недель и обходится почти так же дорого, как и само обучение. Это при условии, что все необходимые данные есть в распоряжении специалистов, проводящих оценку, и уже есть опыт проведения такой оценки.
Учитывая вышесказанное, можно сделать выводы, что использование экономических показателей для оценки эффективности обучения целесообразно только для определенных типов программ (обычно они составляют не более 3%) а именно:
- программ обучения непосредственно влияющих на улучшение производства продукта или услуг (обучение новым технологиям, новым формам обслуживания, обучение новым техникам контроля качества и пр.) — программ, где легко подсчитать эффект (программы по технике безопасности);
- программ, которые охватывают большое количество участников – важно узнать, что изменилось и какая выгода от этого (обучение использованию нового программного обеспечения);
- постоянно действующих программ – например, программ, обязательных для новых сотрудников, новых руководителей –периодически надо показывать ценность этих программ для компании;
- очень дорогих, затратных программ – это служит обоснованием для их продолжения или прекращения.
Особенную трудность при попытке внедрить систему оценки на основании показателей экономической эффективности инвестиций (например, ROI) представляет оценка программ, направленных на развитие не технических, а исполнительских навыков и, в частности, навыков руководства. В качестве примеров таких программ можно привести тренинги «Лидерство и мотивация», «Управление конфликтами», «Построение команды», «Решение проблем и принятие решений» и пр. Эти программы направлены на то, чтобы помочь руководителям выполнять свою роль, улучшить взаимодействие с подчиненными и пр. Таким образом, возникает проблема измерения результата или ценности обучения по этим программам.
Можно ли оценивать эффект обучения по нефинансовым показателям?
Наибольшее распространение для оценки эффективности программ обучения получил подход, который условно называется «четырех — уровневая модель Кирпатрика», впервые предложенный профессором Дональдом Кирпатриком [8], где предполагается, что оценка программ обучения должна проходить четыре уровня, которые последовательно усложняются. Это – «Реакция», «Обучение», «Поведение», и «Результат». Хотя и отмечаются позитивные характеристики этого подхода, но в течение почти 50 лет не прекращаются дебаты и обсуждения по поводу возможности и способов его использования, которые рассмотрены в работах [7,9 ]. Использование этого подхода на практике наталкивается на трудности, связанные с неразработанностью процедур сбора информации и ее обработки, разные уровни оценки не связаны между собой, отсутствуют механизмы обратной связи, позволяющие управлять процессом обучения и пр.
С нашей точки зрения для решения этой проблемы оценки эффективности обучения целесообразно использовать существующие альтернативные подходы к оценке эффективности работы любой организации в целом. Их можно условно разделить на четыре группы [10,11]:
1) Эффективность функционирования организации определяется на основе того, как организация достигает своих целей, т.е. чем ближе выходные параметры организации к поставленным целям, тем выше ее эффективность — « Целевая модель»;
2) Эффективность организации определяется на основе способности организации находить (приобретать) необходимые ей ресурсы — т.е. чем больше необходимых ресурсов организация добывает из окружающей среды, тем больше ее эффективность (фокус на обеспечение наилучших входных параметров) – « Ресурсный подход»
3) Эффективность организации определяется внутренними, происходящими в ней процессами. Организация эффективна, если она является «здоровой системой» — т.е. отсутствуют внутренние сопротивления и напряжения, информационные потоки равномерно движутся как вертикально, так и горизонтально, когда члены организации высоко интегрированы в систему, внутренние взаимодействия характеризуются благожелательностью, доверием и т. д.- « Внутренние процессы»
4) Эффективность организации определяется степенью удовлетворения заинтересованных групп (конституционеров) организации – к которым могут относиться те, кто снабжает ресурсами, пользователи услугами (продуктом), производители продукта или услуг, а так же другие группы, сотрудничество с которыми важно для выживания организации. Эффективность организации обусловлена тем, насколько эти группы удовлетворены деятельностью организации. – «Удовлетворенность участников».
Приведенные подходы могут послужить направляющей для систематической оценки эффективности, как отдельных программ обучения, так и комплексные проекты по развитию человеческих ресурсов, посредством выделения эффекта/эффектов обучения. Измеримыми показателями эффекта обучения могут служить увеличение производительности, улучшение качества, уменьшение себестоимости, увеличение объема продаж и пр. Трудноизмеримыми, но очень важными результатами (эффектом) обучения являются повышение степени удовлетворенности работой, уровень кооперации или взаимодействия (как между службами, так и между работниками), создание и поддержание продуктивной корпоративной культуры. Иногда возможно найти и показать прямую зависимость между обучением и результатами работы компании, в других же случаях можно показать только имеющуюся опосредованную связь. Такой опосредованной связью между обучением и «бизнес — результатами» для организаций или коммерческих фирм, может быть влияние обучения на некоторые сферы их деятельности.
Эти сферы можно условно обозначить:
1. «Результативность» (насколько организация достигает своих целей- целевая модель): снижение использования материалов, повышение производительности, снижение затрат.
2. «Сплоченность коллектива» (внутренние процессы- здоровая система ) Сплоченный коллектив или команда представляет более продуктивную рабочую среду, находит отражение в снижении переработок (затрат времени), затрат на обучение, снижении усилий при осуществлении руководства, а так же увеличивает степень удовлетворенности работников.
3. «Обслуживание клиентов» (удовлетворенность групп конституционеров). Насколько потребители удовлетворены качеством сервиса, услуг или продукта оказывает самое непосредственное влияние на все финансовые показатели и результаты работы компании.
4. «Культура делового общения » (внутренние процессы, отсутствие напряжения и сопротивления). Культура делового общения и взаимодействия является одним из важных факторов для успешного функционирования организации, уменьшает количество жалоб со стороны работников и клиентов, снижает текучесть кадров.
5. « Взаимозаменяемость, гибкость» (способность находить и использовать ресурсы). При отсутствии «гибкости» возможна ситуация, когда один чересчур загруженный в данный момент сотрудник не может справиться с работой, а другие незаняты и наблюдают за этим, поскольку помощь в этом случае не входит в их прямые обязанности. Но с увеличением гибкости сотрудники не только могут выполнить другие функции, но и хотят это сделать. Это уменьшает время обслуживания как внешних, так и внутренних клиентов, сокращает штат.
6. «Сохранение состава, снижение текучести» (способность находить и использовать ресурсы). Сохранение работников снижает прямые и косвенные затраты, связанные с текучестью персонала (затраты на найм и обучение новых сотрудников, стоимость непроизведенной продукции или услуг вследствие временно незамещенных вакансий, выплата сверхурочных, найм временных работников или выполнение на стороне заказов, ранее выполнявшихся на предприятии).
Определив важные сферы деятельности компании, и выделив те, на которые непосредственно направлено обучение или в которых может проявиться эффект от обучения сотрудников, можно приступить к сбору необходимой информации. В дальнейшем (в зависимости от того, какие данные и информацию удалось собрать), можно для определения влияния обучения на деятельность организации/компании использовать подсчет финансовых показателей (Чистая приведенная стоимость- NPV и т.д.), о которых говорилось выше или подход, основанный на последовательности экспертных оценок, подробно описанный в работе автора [12]. Как отмечалось выше, оценка эффективности инвестиций в обучение относится к слабо структурированным задачам принятия решения, поэтому суть алгоритма заключается в том, чтобы зафиксировать и показать результаты проведенного обучения через экспертные процедуры выявления успешных случаев ( или их отсутствия) применения полученных навыков, умений, информации и пр. А за тем, определения их позитивного влияния применения полученных знаний на деятельность компании. Применение экспертных технологий в этом случае оправдано, поскольку только сам человек может применить знания и навыки, а так же оценить изменения в своей работе.
Применение алгоритма позволяет провести выявление и анализ случаев позитивного влияния обучения на деятельность компании, и построить «Профиль влияния обучения на различные сферы деятельности компании», который можно представить графически (рис.1).
Рис. 1. Профиль влияния обучения на различные сферы деятельности компании
Цифры на графике представляют частоту различных форм проявления в результате экспертных процедур позитивного эффекта, где Э1 —«Результативность» (экономия времени, увеличение выпуска, снижение затрат); Э2 —«Сохранение состава» (снижение текучести);Э3 — «Больничные и опоздания»; Э4 —«Сплоченность коллектива» (взаимная помощь, поддержка); Э5 — «Взаимозаменяемость, гибкость» (желание и возможность работников выполнять разнообразные задания, расширение обязанностей); Э6 — « Культура делового общения»(навыки эффективного делового взаимодействия между сотрудниками разного уровня и службами) пр.); Э7 — «Обслуживание клиентов» (удовлетворенность потребителей).
Эффективность обучения и роль линейных руководителей
В связи с проблемой оценки эффективности обучения, необходимо возникают вопросы: Кто в большей степени является ответственным за то, чтобы средства, выделяемые на обучение, не пропали даром? Кто должен отслеживать и измерять эффект обучения? Только ли консультант и отдел обучения являются ответственным за это?
Это заставляет задуматься о том, какое влияние оказывает линейный руководитель на эффективность использования знаний, которые приобрели его подчиненные. Наиболее часто задаваемый вопрос, который приходится слышать от участников обучения: « А мой начальник знает, чему мы здесь учимся?». Этот вопрос возникает у людей потому, что они не видят, чтобы их руководитель применял навыки, о которых идет речь. В результате участники программы, независимо от того, полезен им этот курс или нет, сомневаются, что будут иметь поддержку в применении навыков со стороны руководителя.
Согласно стадиям процесса обучения, цель обучения — дать человеку необходимые знания, что и как надо делать в той или иной ситуации. После обучения человек должен выйти с багажом «ЗНАЮ КАК». Применение же этих знаний зависит от окружающей рабочей среды и в большей степени от отношения руководителя. Отношение непосредственного руководителя может варьироваться от «неодобрительного», «скептического», «безразличного» до «поддерживающего», «требующего».
Как ни парадоксально это может звучать, но практика показывает, что встречаются случаи, когда непосредственный руководитель выступает против применения навыков, полученных в результате обучения. Иногда человек направляется на обучение только для того, чтобы потом услышать от своего руководителя: « Да, это оборудование мы не скоро закупим!» или «Ну, что ты выдумываешь с проведением собрания! Как проводили, так и будем проводить!»
Оказало ли обучение положительное влияние на деятельность организации? Способствует оно увеличению прибыльности, повышению производительности и пр.? Желаемый ответ «ДА» будет правдой только в том случае, если руководители, специалисты — консультанты, преподаватели и сами обучаемые будут действовать согласованно и заинтересованно, т.е. создадут триаду партнерства: консультант/преподаватель -обучаемый- руководитель – которые совместно ответственны за позитивные изменения. Такая триада (рис. 2) и в случае отсутствия позитивных изменений помогает установить причину, почему это происходит.
Рис.2 Составляющие триады партнерства при обучении сотрудников
Партнерство не возникнет само по себе, необходимо предпринимать определенные действия:
- Для прояснения целей обучения следует контактировать с представителями отдела обучения или организатором программ.
- Между подчиненным и руководителем должна быть полная ясность по поводу целей и результатов обучения.
- Руководители должны быть вовлечены и в процесс оценки эффективности, без их участия это невозможно. Менеджеры должны быть осведомлены по поводу того, какие навыки и информацию получит его подчиненный в результате обучения по конкретной программе
- Руководителю нужно обязательно побеседовать с подчиненным сразу после прохождения обучения, выяснить его впечатления и составить план действий после обучения. Составление плана действий заставляет человека задуматься над тем, как он использует полученные знания на практике.
- За позитивные изменения в исполнении работы после обучения – в первую очередь отвечает человек, прошедший обучение. Это является его обязанностью и ответственностью. Преподаватели и тренеры дают людям определенные знания и показывают, как пользоваться некими приемами, техниками, инструментами, которые позволят выполнять работу лучше или легче.
Если принять изложенную позицию относительно роли руководителя и подчиненного, то ни он, ни подчиненный уже не смогут отмахнуться: «Да, мы не видим никаких изменений после обучения». Ведь на самом деле это означало бы: « Да, мы нечего не меняем и не хотим менять после обучения».
Заключение
Подводя итог вышеизложенному, необходимо отметить, следующее:
- реакция работников на обучение, понравилось ли им оно, чему они научились, что они узнали, и даже изменилось ли их поведение после обучение – представляет интерес только в том случае, если наблюдаются какие-то положительные сдвиги в работе компании;
- все программы обучения, проводимые в организации (независимо от их характера, содержания), должны обязательно оцениваться с точки зрения их влияния на улучшение деятельности компании/организации;
- в зависимости от конкретных особенностей проводимого обучения можно использовать финансовые или нефинансовые показатели, что позволяет осуществлять мониторинг и вносить изменения;
- надо учитывать, что строго формализованный количественный анализ имеет свои пределы, за которыми могут быть утрачены качество, глубина и полнота осмысления действительности;
- если оценка проводится регулярно, то собираемая информация позволяет делать более глубокие выводы о соответствии целей обучения реальным потребностям, а так же об общем состоянии использования и управления трудовыми ресурсами.
Еще хочется подчеркнуть, что обучение сотрудников – слишком важное дело, чтобы составлять заботу только консультанта или отдела «Управление человеческими ресурсами». Есть некоторые сферы ответственности руководителя, которые он не должен делегировать, обучение – как раз одна из них.
Библиографический список:
- Миллер Н.Н. Финансовый анализ в вопросах и ответах. М.: ТК Велби, Изд-во Проспект, 2005, 232 c.
- Маркарьян Э., Герасименко Г., Маркарьян С. Финансовый анализ. М.: ИДФБК-ПРЕСС, 2002, 350 c.
- Van Adelsberg Trolley E. Running Training Like a Business. The Forum Corporation, 1999 , pp 27-32
- Phillips J. Return on Investment in Training and Performance Improvement Programs. Gulf Publishing, 1997. p.202.
- Bodie Z., Kane A. Marcus A. J. Essentials of Investments, McGrawHillIrwin, 2004, p. 452.
- Wallach E. I before E: investment cost must be tied to education programs to be effective. Journal of Property Management, Sept-Oct 2002, v.67 i5 p42-48.
- Wagner R., Weigand R. Can the value of training be measured? The Health Care Manager, Jan-march 2004 v23 i1pp 71-83.
- Kirpatrick D. AT+D classic: how to start an objective evaluation of your training program. T&D, May 2004, v5 i5.
- Benefits of Training and Development for Individuals and Teams, Organizations, and Society.Annual Review of Psychology Vol. 60: 451-474 Jan. 2009.
- Goodman P. Pennings M. New Perspectives on Organizational Effectivness. San Francisco, Jossey-Bass, 1990. p.249.
- Sowa J., Coleman Selden S., Sandfort J. R. No Longer Unmeasurable? A Multidimensional Integrated Model of Nonprofit Organizational Effectiveness. Nonprofit and Voluntary Sector Quarterly December 2004 vol. 33 no. 4, pp.711-728
- Аксенова О.А. Алгоритм оценки влияния новых знаний на общие показатели деятельности компании. Прага. Издательский дом «Образование и наука». – стр.56-63
Оценка эффективности обучения сотрудников: проблемы и решения Читать дальше »
(1)
и получим вектор эффектов анализируемых стратегий:
ME± 3σ → 99% интервал значений случайной величины
– риск i-го ресурса, 
– важность учета риска i-го ресурса.
может быть определена как вероятностная величина, удельная величина или некоторым функционалом достаточно общего вида; аналогично определяются и веса 
.
можно понимать как средневзвешенную величину при реализации данных (опасных) состояний i-го ресурса:
,
– риск реализации j-го риск-состояния i-го ресурса, 
– число риск-состояния i-го ресурса.
как произведение стоимости потерь 
от реализации состояния каждого ресурса и вероятности 
такого состояния:
.
(используя статистические данные и методы, мнения экспертов);
.
(
) (состояние 1 и состояние 0) с заданными вероятностями состояний 
1, 
, то можно построить логико-функциональную модель риск-состояния системы для оценки вероятности наступления опасного состояния [2].
;
(со значениями 0 или 1), соответствующей профилю опасного состояния 
;
реализации риск-состояния с помощью вероятностей 
для каждой угрозы k с учетом вклада в профиль угроз (риск-состояний).
определяется как:
или 
– ущерб в случае реализации риск-состояния.
– пороговое значение уровня риска, то следует оценивать лишь те состояния, для которых уровень риска 
. Тогда значимость риск-состояния (угрозы) может быть определена как средневзвешенная значимостей данной угрозы при различных риск — состояниях. Важно построить такой антикризисный сценарий, который уменьшит уровень риска во всей системе, со стоимостями реализации контрмер 
и общим бюджетом 
.
, где 
, 
, если i-ая контрмера влияет (устраняет или уменьшает риск) на угрозу 
, и 
– в противном случае.
, такой, что:
,
, 
, 
.
, если позволяет величина k (несмотря на объем вычислений) или используя перебор списка контрмер, ранжированный по степени влияния на угрозу (начиная с контрмер более низкого ранга).
можно определить степень риска по каждому риск-состоянию, ресурсу или всей системе [3].
, то эффективность Eконтрмер определяется по следующей формуле:
– величина риска i-го процесса (направления), 
– балльная его оценка (экспертная, статистическая или иным способом полученная).
— распределением. Поэтому средняя ожидаемая оценка риска оценивается по формуле:
,
.
,
.
– ранги альтернативы номер i, соответственно, в ранжированиях номер k и номер l.
).
— номера временных интервалов;
, (1.1)
(1.2)
(1.3)
).
(1.4)
(1.5)
(1.6)
если 
(1.7)
. (1.8)
(1.9)
(1.10)
(1.11)
. (1.12)
(1.13)
(1.14)
(1.15)
. (1.16)
(1.17)
