Тема 3: оценочная процедура § 1. Альтернативные подходы к оценке программ.

§ 2. Алгоритм проведения оценки

§ 3. Элементарные приемы и комплексные методы получения количественных параметров экспертных оценок § 1. Альтернативные подходы к оценкам проектов и программ.

Развитие оценки как прикладной дисциплины шло от практики к теории. В этом уникальность и большая ценность оценки, благодаря которым она сегодня все более и более востребована. Назовем несколько сложившихся подходов к оценкам ПиП.

Начнем с классификации оценок, с точки зрения характера проблем, которые могут быть ориентированы либо на выполнение задач программы, либо управление программой, либо удовлетворение потребителя, разрешение противоречий или принятие одной из нескольких точек зрения по поводу реализации программы, на консенсус аналитических мнений; а также оценку, применяемую в случаях использования конфиденциальной информации и недоступную для широкого применения

В каждой из представленных оценок выделим:

исходную мотивировку,

результативность оценки,

особенности процесса оценки.

1. Оценка, ориентированная на выполнение задач программы

Исходная мотивировка оценки: задачи оцениваемой программы установлены, следовательно, цель оценки – выяснить, в какой степени эти задачи выполнены или выполняются.

Результаты оценки: измерение успеха программы, корректировка программы и ее задач в случае необходимости, учет плюсов и минусов программы при запуске других программ.

Особенности процесса оценки: ключевой тип оценки – оценка результативности программных действий.

2. Оценка, ориентированная на управление программой (наиболее адекватна для территории)

Исходная мотивировка: поскольку необходима информация о том, что делать с программой, какие решения принимать по ходу и по окончании ее реализации, оценка должна предложить варианты управления программой.

Результаты оценки: выводы о степени успешности программы, принятие своевременных и качественных управленческих решений.

Особенности процесса оценки: наиболее уместный вид оценки - промежуточная оценка; во всех разделах отчета по оценке должны содержаться рекомендации по принятию дальнейших управленческих решений.

3. Оценка, ориентированная на потребителя

Исходная мотивировка: оценить программу с точки зрения того, что она предлагает благополучателю (реципиенту).

Результаты оценки: измерение «продукта», влияния или воздействия программы на благополучателя и сравнение с тем, что было запланировано.

Особенности процесса оценки: оценка проводится только после завершения программы (завершающая оценка); главный источник информации – благополучатели программы; ключевой вид оценки – оценка результативности программных действий.

4. Оценка, ориентированная на разрешение противоречий или принятие одной из нескольких точек зрения по поводу реализации программы

Исходная мотивировка: в процессе выполнения программы возникли две (или более) различные точки зрения на то. Что с ней нужно делать дальше, какие управленческие решения принимать, поэтому задача оценки – проанализировать ситуацию и выработать одну из имеющихся точек зрения как оптимальную и правильную.

Результаты оценки: выбор одной из разных точек зрения групп, имеющих отношение к программе (например, руководители программы, благополучатели программы, спонсоры программы, другие заинтересованные стороны).

Особенности процесса оценки: группа по оценке формируется из независимых, нейтральных экспертов, которые выбирают правильные (отвлеченные от заинтересованных сторон) источники информации, правильную информацию, правильные методы анализа данных и приходят к правильным выводам; формулирование и обоснование однозначных выводов оценки и «примирение» сторон.

5. Оценка, ориентированная на консенсус аналитических мнений

Исходная мотивировка: необходима оценка комплексного, сложного проекта, в который вовлечено множество различных интересов, механизмов, организационных структур, однако выводы оценки независимо от задания должны быть однозначными, следовательно, они должны быть результатом консенсуса всех заинтересованных участников программы

Результаты оценки: однозначные выводы, согласованные со всеми заинтересованными участниками процесса, учитывающие все интересы и все точки зрения.

Особенности процесса оценки: оценка косвенных характеристик программы (т.е. исследование не самой программы, а связанных с ней интересов и явлений); организация нескольких альтернативных групп по оценке и обобщение их выводов; привлечение к оценке не экспертов, совершенно посторонних людей со «свежей» головой.

6. Оценка, применяемая в случаях использования конфиденциальной информации и недоступна для широкого применения

Исходная мотивировка: оценить программу при отсутствии объективной качественной или количественной информации о ней.

Результаты оценки: выводы, основанные на экспертных знаниях (на опыте оценщика).

Особенности процесса оценки: важное значение имеет отбор экспертов; оценка применяется в том случае, если существует дефицит информации о программе или необходимо принять срочное решение в отсутствие оперативной информации о программе; практикуется экспертиза эффективности работы организации, которая управляет оцениваемой программой; применяется, когда информация конфиденциальна и недоступна для пользователя.

Назовем другие виды классификации типов/ моделей оценок, которые используют такие критерии как время проведения, целевое назначение, форма организации оценочных работ

На основе мирового опыта классификации наиболее часто используется в образовательных целях типология оценок по двум основаниям: 1) по стадии реализации оцениваемой программы и 2) по целевому назначению оценки.

По стадии реализации оцениваемой программы:

- предварительная (formative assessment) - оценка до начала реализации. Задачи такой оценки – дать анализ качества самого проекта, его необходимости для социально-экономического развития и предполагаемой, ожидаемой эффективности;

- промежуточная (intermediate evaluation) – оценка на стадии реализации. Задача – корректировка для повышения эффективности и успешного завершения;

- обобщающая (summative evaluation) – оценка по завершению выполнения.

Задача такой оценки: экспертиза результативности и эффективности, анализ причин ошибок и неудач, принятие адекватных управленческих решений.

По целевому назначению оценки:

- оценка потребности (need assessment) – оценка социально-экономических условий, которые привели к необходимости реализации ПП

- оценка процесса реализации (process evaluation) – анализ качества подготовки программ (состав и компетентность разработчиков, анализ методических материалов, экспертиза содержания и ресурсной обеспеченности программы);

- оценка результативности (outcomes evaluation) – экспертиза результатов, достигнутых в ходе реализации ПП, сравнение фактических результатов с запланированными;

- оценка эффективности (effectiveness evaluation) – сопоставление результатов программы с затраченными в ходе ее реализации ресурсами. Главная задача - поиск наиболее эффективных (т.е. минимальных по ресурсным затратам) вариантов решения проблемы;

- оценка «затраты-выгоды» (cost-benefit analysis) – анализ, позволяющий определить соотношение всех затрат и выгод ПП в денежном исчислении; эффективным считается тот проект, совокупная выгода от реализации которого превышает сумму понесенных по нему затрат;

- оценка продуктивности (efficiency assessment) – измерение позитивных результатов и прочих благ, предоставляемых ПП, в расчете на одного реципиента (благополучателя);

- оценка влияния (impact evaluation):

а) выявление причинно-следственных связей между параметрами развития и мероприятиями ПП:

б) оценка степени воздействия программы на социально-экономическое развитие (территории)

Выбор типа оценки при экспертизе конкретных ПиП определяется целью и заданием на проведение оценки. В мировой практике основным критерием качества оценки выступает практическое использование ее результатов. Оценку ПиП можно считать удачной (независимо от ее выводов) только в том случае, если ее результаты используются в практике управления.