В первой части своей статьи по оценке тренинговой программы, Мартин Шмаленбах (MartinSchmalenbach) анализирует работу Дональда Киркпатрика (DonaldKirkpatrick) и других специалистов в вопросе создания системы по оценке эффективности тренинга.
На первый взгляд кажется, что по оценке эффективности тренинга написано практически все. Отчасти это так, хотя стоит отметить некоторую неясность вокруг вопроса, в некоторых случаях ощущается явная недосказанность или не точность.
В своей серии статей я постараюсь прояснить некоторые вещи, задавая ключевые вопросы и не уходя от них слишком далеко.
Вопросы
Итак, начнем с ключевых вопросов. Я заимствую некоторые из них у Фреда Нихолса (FredNichols), его вопросы проверены временем, будучи сформулированными в начале 1990-х и оставаясь достаточно важными по сей день.
«Оценивать? Оценивать что? Эффективность тренинга? Что вы понимаете под тренингом? Что именно вы хотите оценить? Какой-нибудь конкретный курс обучения? Слушателей? Тренеров? Тренинговый отдел? Или тренинги в целом?»
«Кроме того, почему вы хотите оценить эффективность тренинга? Хотим ли мы проверить его эффективность, т.е. узнать, работает ли он? Если так, то какое эффект должен дать тренинг? Изменить модели поведения? Изменить отношение? Улучшить эффективность работы?»
«Какова продуктивность тренинга? Сколько временитратится на подготовку и организацию тренинга? Можно ли это время сократить? Можем ли мы провести этот тренинг на рабочих местах или заменить его вовсе другим видом помощи в работе?»
«Каковы затраты на проведение тренинга? Стоит ли он этих денег? Кто считает, что он стоит? На каком основании они так считают? Что мы пытаемся узнать? От кого мы получаем эту информацию?»
Источник: http://home.att.net/~nickols/evaluating_training.htm
Вот основные вопросы. В серии своих статей я дам ответы на некоторые из них. Конкретнее, я отвечу на вопрос: когда нужно оценивать эффективность тренинга, и когда ее оценивать не нужно; кто несет ответственность за эффективность; в каком случае наскоро организованный тренинг – это хорошо, а когда – нет; какой подход использовать и когда; где определить минимальный предел или Возврат на инвестиции (ROI).
Определения
Давайте поговорим об определениях. В оценке эффективности тренинга можно выделить два разных аспекта: 1) оценивание самого процесса тренинга или механизмов повышения эффективности тренинга и 2) оценивание конечного продукта или результата тренинга. Кажется, что для разных людей оценка эффективности тренинга означает разные вещи, отсюда некоторая запутанность вопроса.
По ключевым вопросам видно, что ответы на них и смысл ответов зависит от того, кто задает вопрос и почему.
Для акционеров и руководителей компаний показателем потребности провести оценку эффективности тренинга являются ответы на следующие вопросы: «поможет ли тренинг решить мою проблему и/или достичь поставленных целей?» и «стоит ли тренинг таких денег или мне следует вложить свои деньги в другое мероприятие?». Конечным вопросом будет: «Стоило ли это того?»
Для тренеров оценивание эффективности тренинга будет заключаться в ответе на другие вопросы, например, такие: «Был ли тренинг эффективным?» и «Достигнуты ли поставленные цели?»
Для сотрудника компании оценивающими вопросами будут: «Поможет ли мне этот тренинг лучше/быстрее выполнять работу?», «Окажет ли он влияние на развитие моей карьеры?», «Что я здесь делаю?» и «Зачем это мне?»
Многие мысли по оцениванию эффективности тренинга могут быть выполнены теми тремя перечисленными категориями людей, задействованных в процессе тренинга. Не кажется ли вам, что оценка эффективности должна родиться в ходе обсуждения, в котором участвуют все три категории?
Киркпатрик
Если строить систему оценки по вопросам только для одной группы из трех, то, очевидно, что другим двум группам будет невероятно трудно ответить на те же ключевые вопросы.
Для каждой группы должны быть свои соответствующие вопросы. Самый первый обратился к этой проблеме Дональд Килпатрик в конце 1950-х годах, он сформулировал ныне известные 4 уровня.
Уровень 1 – Реакция – какова реакция обучаемого на само обучение?
Уровень 2 – Обучение – что обучаемый усвоил в процессе тренинга?
Уровень 3 – Поведение – как сильно изменилось поведение обучаемого после прохождения обучения?– речь идет о применении полученных навыков и знаний на рабочем месте.
Уровень 4 – Результаты – насколько увеличилась эффективность компании как следствие прохождения обучения?
В своей книге «Оценка программ обучения: Четыре уровня» (EvaluatingTrainingPrograms: theFourLevels), вышедшей в 1994 году, Киркпатрик полагал, что оценка результатов на более высоком уровне по шкале успешности, требует значительно больших усилий и ресурсов, чем на более низком уровне, т.е. на уровне 1 оценивать проще и дешевле, чем на уровне 4. Это самый главный аргумент (сделанный Киркпатриком лично) в пользу того, чтобы оценивать тренинг на уровне 1 в 95% случаев, и только в 5-10% оценивать его на уровне 4.
Модель Киркпатрика предлагает оценивать тренинг после его завершения.
Такая модель не позволяет одной из наших трех ключевых групп, а именно заинтересованных лицам и руководителям, принимать информированное решение о вложении средств до того, какэти средства не будут вложены и не будет виден результат тренинга. Только так можно ответить на вопрос: «Стоил ли того тренинг?». Если ответ «нет», то, в любом случае, уже слишком поздно и деньги уже потрачены. Так происходит и с тренингами по обучению «специальным навыкам», и с тренингами, посвященным «навыкам общения».
Уровень 4 важен, прежде всего, для акционеров и руководителей. Им важно, чтобы любое занятие, которое отвлекает сотрудников компании от их рабочих обязанностей, было оправдано, поэтому для них оценка эффективности тренинга необходима, чтобы принять решение о том, стоит вкладывать деньги в это мероприятие или нет.
Это аргумент в пользу проведения оценки эффективности тренинга. Проблема в том, что полная оценка займет очень много времени, и на повседневную работу его не хватит. Поэтому необходимо установить баланс между обычной работой и проведением оценки эффективности тренинга.
4 уровень Киркпатрика подходит для того, чтобы помочь тренерам получить ответы на вопрос, достиг ли тренинг поставленных целей, учит ли он делать то, что было заявлено в начале. Этот же ответ можно получить, попросив участников тренинга ответить на свои ключевые вопросы, но это только после окончание тренинга.
Возврат на инвестиции (ROI)
4 уровень Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. В 1991 году Джек Филипс (JackPhillips) добавил в эту систему 5-й уровень с названием Возврат на инвестиции (ROI). Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства?
Пятый уровень, прежде всего, подразумевает, что человек, производящий оценку эффективности тренинга, должен оценить конечный результат работы компании, а также иметь навыки для оценки затрат и прибыли компании.
Такая дополненная модель особенно нравится акционерам и руководителям. Проблема в том, что многие тренинги, которые кажутся полезными для сотрудников, не проходят испытание ROI. Добавления Филипса к модели Киркпатрика не отменяют правило: сначала необходимо провести тренинг, а потом появится возможность оценить его.
Помимо широко известной работы Киркпатрика существует еще несколько подходов к оценке тренинга. Каждый из них имеет свои положительные стороны.
Наиболее значимыми подходами можно назвать Целевой подход Тайлера (Tyler’sObjectivesApproach); Модель Скривенса, нацеленная на результат (Scriven‘sFocusOnOutcomes); модель Стафлебима CIPP(Stufflebeam), которая расшифровывается следующим образом: Contextevaluation (Контекстное оценивание), Inputevaluation (Оценивание на входе), Processevaluation(Оценивание процесса) и Productevaluation (Оценивание продукта); похожая схема CIRO: Contentevaluation (Оценивание контента), Inputevaluation (Оценивание на входе), Reactionevaluation (Оценивание реакции), Outcomeevaluation (Оценивание результата); натуралистический подход Губа (Guba’sNaturalisticApproach) и Модель VБрюса Аарона (BruceAaron’sVModel).
Тайлер полагает, что одной из главных проблем в области образования является то, что образовательные программы «определяют свои цели НЕчетко». Под «целями» он имеет в виду задачи обучения. Этот целевой подход лежит в основе того, что предложил Тайлер. Его процесс оценки состоит из следующих шагов:
1. Постановка обширных целей и задач.
2. Классификация этих целей и задач.
3. Определение целей и задач в терминах поведения.
4. Поиск ситуаций, в которых можно проверить, насколько цели достигнуты.
5. Разработка или отбор техник оценивания.
6. Собирание данных, касающихся эффективности обучения.
7. Сравнение данных об эффективности обучения с данными об эффективности достижения желаемых моделей поведения.
Различие в эффективности должны вести к внесению изменений в программу, затем цикл оценивания повторяется.
Это очень напоминает Уровень 3 модели Киркпатрика, только гораздо подробнее. Я полагаю, что оценивание непосредственно тренинга/обучения начинается где-то между шагами 3 и 5. Если возможно, проведите предварительное оценивание по пункту 1-3. На шаге 7 вы сможете сравнить модели поведения после проведения мероприятия с теми, которых вы бы хотели добиться обучением, а не с теми, которые были до обучения.
Однако поведенческие цели и задачи в рамках этой модели кажутся практически не связанными с результатами, влияющими на эффективность обучения в терминах ROI (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т.д. у Тайлера ничего не сказано.
Модель Скривенса, нацеленная на результат, требует внешнего оценщика, который не должен быть осведомлен о поставленных перед обучением целях и задачах. Он должен определить стоимость и ценность программы обучения на основе результатов.
С одной стороны, это удобно, особенно когда акцент ставится на эффективности работы компании – проверить эффективность программы проще тогда, когда перед глазами эффективность отдельного сотрудника или эффективность достижения поставленных целей. Но в этом случае могут возникнуть проблемы с необъективностью оценщика, а также с определением степени подробности проводимой оценки. Эта модель по определению не может предсказать результаты обучения и также не может использоваться для расчета коэффициента ROI, так как она практически не имеет отношение к определению корневых причин низкой эффективности или нежелательных моделей поведения.
Модель Стафлебима CIPP известна как системная модель. Она состоит из четырех основных компонентов:
- Контекст – определяется цель, преследуемая аудиторией, а также определяются потребности, которые должны быть удовлетворены.
- Вход – определяются ресурсы, возможные альтернативные стратегии, а также определяется самый простой способ удовлетворить потребности, установленные выше.
- Процесс – оценивается, насколько хорошо выполняется разработанный план.
- Продукт – оцениваются полученные результаты, проверяется, были ли достигнуты цели, вносятся поправки: как следует разрабатывать план в следующий раз.
Интересно, что эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.
В отличие от моделей Филипса и Киркпатрика в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидизации», чтобы не путать с «оцениванием», т.е. акцент ставится на результате. Достигла ли она своих целей?
МодельCIRO, разработанная Бердом, охватывает несколько уровней модели Киркпатрика, а именно Уровень 1 и спорный Уровень 4 в том случае, если результаты обучения выражены в терминах коммерческого эффекта. Основными компонентами являются Контент, Вход, Реакция и Результат. Во многих отношениях эта модель очень похожа на модель CIPPи, как мне кажется, точно так же грешит недостатком деталей и рекомендации по тому, как использовать каждый из четырех основных компонентов.
Можно доказать, что модели CIPPи CIROследуют за Киркпатриком и Филипсом в использовании контрольных групп и предварительных оценок способов улучшения тренинга экспертами в соответствующей области для того, чтобы при повторении процесса обучения дать ответ на вопросы ценности тренинга и правильного использования ограниченных ресурсов.
* Kirkpatrick, Donald L. (1994),”Evaluating Training Programs: the Four Levels”
* Kirkpatrick, D. L. (1987). Evaluation. In R. L. Craig (Ed.), Training and development handbook. (3rd ed.).
Источник:http://www.hrzone.co.uk/
