«Оценить нельзя поверить»: оценка эффективности в бизнес-образовании

Внедрение оценочных процедур в практику деятельности российских тренинговых компаний происходит чрезвычайно медленно. На сегодняшний день в сфере образовательного консалтинга не выработано общепризнанной теории оценки эффективности, не разработано единых стандартов и методик. Это вполне объяснимо по нескольким причинам. Во-первых, образовательная услуга (тренинг, консультация, образовательный проект и проч.) является весьма сложным объектом для оценки: значительное число ожидаемых результатов просто невозможно измерить обычными способами, - требуется индивидуальный подход, необходимо разрабатывать уникальные методики, создавать специальные оценочные модели. В связи с этим, следует признать и тот факт, что на рынке бизнес-образования недостаточно квалифицированных специалистов, способных поддерживать и развивать систему посттренингового обслуживания, интерес к которой постоянно растет. Оценка эффективности является сейчас одним из приоритетных направлений формирующейся системы управления результатами.

Конфликт интересов или партнерство?

В контексте деятельности тренинговых компаний можно говорить, по крайней мере, о следующих сторонах, заинтересованных в оценке:

Заказчик: лицо, финансирующее образовательный проект

Заказчику необходима информация о том, как были использованы вложенные им средства и привели ли они к достижению ожидаемых результатов. При этом необходимо, чтобы Заказчик для себя четко определил цели, задачи, ожидаемые результаты обучения и на этапе разработки и передачи Технического задания ясно сформулировал их тренинговой компании.

Благополучатели: непосредственные участники образовательного проекта

Участники семинаров и тренингов выступают, с одной стороны, источником получения информации: их субъективные суждения, а впоследствии знания, навыки, результаты труда служат основанием для аналитических суждений. С другой стороны, сами участники заинтересованы в получении оценочных интегрированных данных (сводных схем, сравнительных таблиц, предварительных выводов) для осознания собственной роли в этом непростом и важном процессе. Непосредственные получатели услуг могут быть заинтересованы в том, насколько цели и содержание образовательных программ учитывают реальные потребности и ценности тех, для кого эти программы предназначены.

Тренинговая компания

Оценка полезна для самой организации, оказывающей образовательную услугу, на самых разных этапах проекта независимо от того, требует ли Заказчик ее проведения. При этом, можно выявить три уровня пользователей оценки: менеджмент организации (проекта), консультант (бизнес-тренер), непосредственные исполнители проекта.

Кроме того, результаты оценки могут быть интересны и полезны для клиентов, партнеров, широкой общественности (при условии, что сведения не являются конфиденциальными). Данная категория, как правило, заинтересована в получении информации общетеоретического и методологического характера.

При наличии такого количества различных сторон, каждая из которых имеет свой интерес к целям оценки, необходимо четко понимать, кто будет являться первичным и непосредственным пользователем ее результатов, т.к. «проведение оценки, которая бы удовлетворяла интересы всех сторон и ответила бы на все возможные вопросы ? это миф».

Общей целью проведения оценки эффективности образовательных проектов является содействие эффективному развитию организации через совершенствование процедур развития и управления человеческим ресурсом. Внедрение устойчивой системы оценки позволяет менеджменту организации обеспечить преемственность своей кадровой политики, сделать оценку стандартной, неотъемлемой процедурой в рамках стратегического управления.

Модельные дилеммы

Несмотря на сложность и нетривиальность оценочных процедур в бизнес-образовании вариантов и возможностей для оценки здесь вполне достаточно. Можно выделить две основных модели: сравнительную (экспериментальную) и описательную. Сравнительная модель используется для того, чтобы доказать наличие причинно-следственной связи между образовательным проектом и его последствиями. Для этого можно использовать следующие сравнения:

1. Модель «до и после»: сравнение ситуации до и после осуществления проекта;

2. Модель «временной ряд»: в тех случаях, когда ситуация независимо от проекта имеет свою динамику. Модель применяется при длительных, комплексных образовательных проектах, влияющих на несколько подсистем в организации, а также при «процессном» консультировании и управленческом консалтинге.

3. «Экспериментальная модель»: сравнение ситуации после выполнения проекта с контрольной ситуацией, на которую проект не влиял. Модель применима в организациях матричного типа, когда существует возможность создания корректных «контрольных групп».

4. Модель «двойной эксперимент»: сравнение двух ситуаций после двух разных проектов (для случая, когда требуется сравнить эффекты воздействия на ситуацию). На практике данная модель используется крайне редко. Весьма интересным является использование модели при выборе обучающей компании (провайдера) на перспективу, т.е. как альтернатива «бумажным» тендерам.

Описательная модель применяется тогда, когда заранее известно каким образом проект влияет на исходную ситуацию. Целью такого исследования является сравнение предполагаемых результатов с реальными. Очевидно, что обучение приводит к повышению уровня знаний, но весьма сомнительным при этом остается вопрос о достижении определенных стандартов.

Разновидности описательной модели:

1. Вклад проекта: что осуществлено в действительности. Фактически речь идет о ходе исполнения проекта. Оценка здесь может выяснять, действительно ли были проведены планировавшиеся мероприятия, соблюдены ли сроки, представлена ли информация в необходимом объеме, насколько опытен был преподаватель, соблюдена ли тематика семинаров, соответствует ли вклад установленным требованиям (условиям и параметрам, указанным в Техническом задании). Если были отклонения от сроков, объема и качества, то чем это вызвано. Технологически эта оценка является самой простой: на большинство вопросов можно ответить, пользуясь проектной документацией: планом, образовательной программой, договором об оказании консультационных услуг и проч. По сути, заказчик положительно «оценивает» проект, подписывая акты приема-сдачи работ.

2. Продукт: характеристика того, кто и в какой степени воспользовался вкладом проекта. Анализируется не образовательный процесс, а кто конкретно получил образование и какое. К примеру, Заказчик утверждает образовательную программу, соответствующую, на его взгляд, потребностям сотрудников организации. Однако в процессе обучения выясняется, что «начальный уровень» сотрудников недостаточен (или, наоборот, существенно выше) для восприятия и усвоения информации, предлагаемой на семинаре/тренинге.

3. Результат: на данном уровне исследуется результат того, что состоялось потребление продукта. Если людей учили, то научились ли они чему-нибудь новому? Каким образом это отразилось на их знаниях, трудовых процессах, поведении? Цель ? выяснить, что изменилось в целевой группе. Может сложиться ситуация, что, осуществляя образовательный проект, вы обучили запланированное количество слушателей. Однако курс обучения оказался для них сложным, и информация не была воспринята. Тогда получится, что оценка вклада и продукта является позитивной: все действия выполнены в срок, средства потрачены, конкретные люди обучены. Но результат будет нулевым, т.к. все усилия ничего не изменили в целевой группе.

4. Эффект: Оценка эффекта имеет целью установить что изменилось в структуре проблемы. В образовательном проекте нас будет интересовать, как прошедшие обучения воспользовались полученными знаниями. Именно такая информация интересует заказчика больше всего, и парадокс заключается в том, что оценить эффект - очень сложная и дорогостоящая задача. Основная сложность заключается в том, чтобы «уловить» эффект, который дал именно оцениваемый проект, а не другие «внешние» факторы. Другой проблемой является преодоление временного лага: в большинстве случаев эффект проявляется не сразу. Кроме того, для этого необходимо создать и поддерживать некоторые условия. Таким образом, возникает много организационных сложностей и заказчик внутренне противится и в конце концов отказывается от проведения данного вида оценки.

Выбор модели определяется целью проведения оценки. В мировой практике основным критерием качества оценки выступает практическое использование ее результатов. Оценку образовательного проекта можно считать успешной (независимо от выводов) только в том случае, если ее результаты используются менеджментом организации в практике управления. Для того, чтобы результаты оценки были услышаны и использованы людьми, от которых зависит принятие решений, от экспертов-оценщиков и менеджмента тренинговых компаний часто требуется принять на себя активную роль в продвижении этих результатов.

Пять мифов об оценке

Научная достоверность или практическая польза?

Миф 1. Оценка ? бесполезный процесс, в котором акку-мулируется много скучной информации, и делаются никому не нужные, очевидные выводы.

Чтобы извлечь максимальную пользу от оценки эффективности необходимо «на берегу» обозначить экспертам-оценщикам необходимый объем и характер требуемой информации. Формальность оценки зачастую обусловлена пренебрежительным отношением к ней заказчика. Все участники процесса оценки должны разделять принципы подхода «utilization-focused evaluation»: оценка, ориентированная на использование.

Бывают ли идеальные проекты?

Миф 2. Основной целью проведения оценки является доказательство успеха или неуспеха проекта и демонстрация этого клиенту.

Профессиональные оценщики считают «успехом» оценки не отсутствие негативных отзывов, а получение информации, которая может быть использована для улучшения проекта. Успех предполагает готовность всех участников проекта получать обратную связь.

Последовательность или целесообразность?

Миф 3. Оценка проходит в строго определенное время в строго определенном порядке под знаменами «обоснованности» и «достоверности»

Для проведения оценки гораздо важнее четко понимать какая именно информация нужна на данном этапе для принятия решений относительно проекта, а также искренне стремиться понять, что в реальности происходит с этим проектом.

Почем оценка для клиента?

Миф 4. Высокие материально-денежные затраты вынуждают отказаться от использования оценочных процедур

Стоимость оценки относительна. Она зависит от вопросов, которые ставят перед собой заказчики и исполнители, а также от требуемого уровня точности ответов на эти вопросы.

«На днях или в мае»?

Миф 5. Проведение оценки занимает много времени и отнимает время от рабочего процесса.

Правильно организованный процесс оценки не отвлекает участников от работы, а, наоборот, позволяет сосредоточиться на результатах труда и действовать более осмысленно. Наличие четкого и согласованного графика позволяет эффективно интегрировать оценку в организационные процессы.

В качестве конкретных практических рекомендаций для проведения оценки на любом уровне управления и в любой сфере может быть порекомендовано применение оценочных форм, позволяющих собирать и обрабатывать информацию о результатах, как на промежуточном, так и на заключительном этапах.

В целом можно сказать, что оценка является особенной сферой профессиональной деятельности, находящейся на границе научного исследования и практического консультирования. Оценочная деятельность в бизнес-образовании требует специфических знаний и навыков. Для любой организации оценка всегда является катализатором развития и надежной основой для принятия управленческих решений. Проведение оценки образовательных проектов необходимое, но достаточно сложное мероприятие, и каждый руководитель определяет в каждом конкретном случае целесообразность ее проведения. Иначе говоря, каждый руководитель ставит запятую во фразе «оценить нельзя поверить», основываясь на том, какие цели он ставит, какими ресурсами располагает, и на каком этапе развития находится организация.

Возврат к списку