Киркпатрик оценка эффективности обучения в литературе. Библиотека статей от HR-Лиги: Модель оценки эффективности обучения Д
Эффективность обучения
Эффективность обучения (learning effectiveness) — мера совпадения реально достигнутых результатов с заявленными целями образовательной программы. В английском языке есть три слова, описывающие понятие эффективности: efficiency (соотношение затрат и выгод), effectiveness (результативность), efficacy (соответствие ожиданиям и целям).
Для оценки эффективности используют два типа показателей:
1. Потребительские метрики (consumptive metrics) — «Смотрите, сколько вам это стоит!»
2. Метрики результативности (impact metrics) — «Смотрите, сколько ценности мы вам приносим!»
Эмоциональная реакция
Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится — более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.
Здесь мы используем три инструмента.
Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.
Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике — нет. Их ожидания от курса вернулись частично.
Оценка удовлетворенности — это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.
Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст — нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.
Контент-анализ отзывов — показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.
Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод — упрощать контент.
Второй уровень – «Обучение»
На втором уровне оценивается эффективность усвоения знаний и изменений, происходящих с участниками. Оценка проводится в конце курса.
Этот уровень предполагает оценку того, в какой мере участники усвоили новую информацию. Оценка выявляет, как изменились их знания и какие установки выработались под конец процесса обучения, а также насколько значительны эти изменения. Для этого используются проверочные задания, опросники, тесты.
Основные инструменты оценки второго уровня модели:
- Тесты на знание материала курса.
- Листы проверки приобретенных умений.
- Составление личного плана действий.
- Обучение коллег.
Тестирование
Для тестирования уровня полученных знаний может использоваться любой тип теста:
- Традиционные – из заданий, правил и оценок.
- Интегративные – затрагивающие сразу несколько дисциплин.
- Адаптивные – по уровням сложности.
Лист проверки умений
Лист проверки умений заполняется лицом, собирающим данные. В ходе беседы с участником курса он выявляет уровень его умений и навыков, заполняет в листе оценку от 1 до 3 и свои комментарии.
Оценка ставится согласно критериям:
1 – неспособность применить умение.
2 – правильное применение умения.
3 – экспертное применение умения.
Составление плана действий
Умение составить план применения полученных знаний – один из показателей уровня курса. Для составления такого плана участникам предлагаются вопросы:
- Что вы наметили сделать?
- Что хотели бы научиться делать?
- Что может стать помехой?
- Как собираетесь преодолевать помехи?
- Какая поддержка может понадобиться в связи с осуществлением намеченных действий?
- Каких результатов ждете?
Обучение других сотрудников
Тренинг, мастер-класс, деловая игра или фасилитация по запуску проекта, любой процесс управления изменениями – все это прибавляет навыков и обогащает человека новыми знаниями, которые важно использовать. Для этого полученные знания нужно закреплять. Обучение других – отличный способ закрепления полученного опыта и инструмент оценки второго уровня модели.
Чтобы сделать оценку эффективности курса с помощью этого метода, участникам предлагают провести презентации для коллег или помочь своим сотрудникам адаптироваться. Участник курса может посетить групповое обучение в парах.
Д. Киркпатрик считает, что эффективность процесса обучения всегда проявляется в видимых изменениях после обучения. В случае удачного обучения участник меняет установки, подходы, навыки, и это заметно. Это будет заметно и по поведению.
Способ №3. Модель Джоша Берсина
Джош Берсин выделил девять показателей, которые необходимо измерять для оценки эффективности обучения. Эффективное обучение должно соответствовать следующим девяти критериям:
- Адаптированность
Здесь мы отвечаем на вопрос, насколько обучение адаптировано под нашу аудиторию: по степени сложности, по способам донесения информации и т. д. Для этого мы сначала изучаем нашу целевую аудиторию.
- Адресность
Здесь речь идет о доставке контента: удалось ли достучаться до аудитории, привлечь и увлечь ее. Мы изучаем, какой был отклик на наше предложение, доходили ли люди до конца обучения, насколько активно участвовали в процессе и т. д.
- Рентабельность
Оправданы ли вложения в программу? Можно ли было достичь этого результата меньшими вложениями? Этот показатель близок к ROI с тем лишь отличием, что здесь мы еще думаем о том, не было ли чего-то лишнего в том, что мы сделали.
- Целесообразность
Этот параметр показывает, соответствует ли обучение потребностям бизнеса. Мы должны понимать, какую бизнес-задачу мы решаем с помощью обучения и убедиться в том, что индивидуальные результаты обучения на уровне сотрудников действительно связаны с бизнес-целями, которые стояли перед нами в начале обучения. Не всегда гипотеза о взаимосвязи этих изменений подтверждается.
- Соответствие ограничениям
Здесь мы смотрим, вписались ли мы в те ограничения и требования, которые перед нами стояли. Например, сроки. Если срок — это ключевой момент, то важно его учитывать, иногда даже в ущерб качеству, потому что прекрасный результат слишком поздно может быть уже не актуален.
- Удовлетворенность
В этом пункте речь идет о реакции на обучение: впечатления от программы, эмоции и мотивация самих участников и тех, кто их окружает и в какой-то мере зависит от них.
- Продуктивность
Наша задача здесь оценить изменения в знаниях, поведении и установках сотрудников, то есть то, на что обучение должно было повлиять непосредственно .
- Индивидуальные результаты
Этот параметр показывает, повлияло ли обучение на результативность сотрудника: изменились ли его индивидуальные показатели. Бывает так, что поведение сотрудника на рабочем месте изменилось, но это никак не отразилось на его личных результатах.
- Результаты организации
Здесь мы оцениваем, отразилось ли обучение на результатах организации. Это самый пик воздействия, к которому мы стремимся.
Итак, мы рассмотрели три основные модели оценки эффективности обучения. Самая распространенная из них — это модель Киркпатрика. Вы можете применять одну из них или комбинировать их под свою специфику. Задача компании — используя эти параметры, создать свою модель, которая больше подходит под внутренние задачи и кейсы.
В качестве подведения итогов можно сказать следующее. Если вы знаете, как измерить бизнес-результат обучения, можно вообще все остальное не измерять. Этот параметр лучше всего показывает эффективность корпоративного обучения. К сожалению, это возможно далеко не всегда.
Именно поэтому нам нужны все остальные показатели, которые являются производными, предпосылками или косвенными признаками влияния на результаты организации. Зачастую именно они — самый надежный способ измерить эффективность обучения.