§ 2. Структура или дизайн оценки

Структура оценки или дизайн оценки или ее планирование (не устоявшаяся терминология в оценочной практике и теории) – это методическая основа оценочного проекта, которая формулируется в соответствии с его целями и задачами.

В оценочной практике различают несколько видов структур оценки: экспериментальную, квази-экспериментальную и описательную.

Экспериментальная структура подразумевает использование групп сравнения: экспериментальная (включает благополучателей) и контрольно (из числа тех лиц или объектов, которые не являются благополучателями). Сопоставление индикаторов оценки в обеих группах проводится, как правило, до начала действия программы и после окончания ее реализации. Набор, как контрольной, так и экспериментальной группы проводится на основе случайной выборки.

Использование экспериментальной структуры уместно, когда требуется «взвесить» влияние программы на ее объект или целевую аудиторию путем сравнения с другими объектами, оказавшимися вне поля воздействия программы, например, для реализации городской программы социальной помощи экспериментально выбран один микрорайон города. По окончании программы появляется возможность выяснить, появились ли качественные подвижки в благополучии горожан, на которых была направлена программа, по сравнению с теми, кто в программу не вошел.

Квази-экспериментальная структура делает акцент на анализе динамических временных рядов, отражающих состояние объекта воздействия программы. Эта схема часто используется при оценке программ, нацеленных на предоставление общественных благ или улучшения социальной среды. Целевой аудиторией таких ПиП может быть все население города, и сформировать контрольную и экспериментальную группу невозможно, поскольку трудно отделить горожан, пользующихся общественными услугами, от тех, кто ими не пользуется.

Квазиэкспериментальная структура является наиболее эффективной для проверки причинно-следственных связей, однако существует важное условие ее применимости: наличие динамики данных по обеим группам сравнения до запуска программы.

Описательная структура используется в тех случаях, когда для оценки доступна только качественная информация или требуется быстрая экспертная оценка ситуации. Такая структура по сравнению с другими обладает как преимуществами – возможностью анализа качественной информации (мнения специалистов, реализующих программу и благополучателей программы, анализ документации и т.д.), так и недостатки - незначительностью глубины исследования, погрешностями оценок, возрастающими из-за субъективности мнений.

Вне зависимости от вида дизайна, каждая оценка включает: а) общую логическую схему оценки и б) рабочий план реализации ПиП, соответствующий выбранной логической схеме.

Логическая схема оценки, предполагает выделение ряда важных моментов:

Первый: мотивы проведения оценки могут быть различными и возникать на различных этапах реализации программы. Стороны, заинтересованные в оценке (будем называть их заказчиками), определяют необходимость и основные задачи ее проведения, а также собирают группу специалистов (своих коллег в случае внутренней оценки и специалистов из других организаций в случае внешней оценки), которые будут проводить оценку (назовем их исполнителями, оценщиками или экспертами). В роли заказчика могут выступать: коллектив авторов оцениваемой ПП, исполнители ПП, а также органы, контролирующие исполнение ПП.

Исходной позицией формирования оценочного проекта является формирование задания по оценке, которое заказчик ставит перед исполнителями. Для того, чтобы работы по оценке были успешными и применялись на практике, заказчики и исполнители оценки должны четко представлять себе, каким образом и для чего будут использоваться результаты оценки.

Второй: задание оценки формулируется, как правило, в виде вопросов, которые интересуют заказчика и на которые призван ответить оценщик. Вопросы оценки могут быть самыми разными. Вопросы оценки обсуждаются с исполнителями оценки. Данная процедура важна в процессе подготовки проекта, поскольку подобное обсуждение часто помогает заказчику более четко сформулировать задание по оценке, а исполнителю – понять, для чего организуется проект. Бывает, что в результате такого обсуждения принципиально меняются изначально предложенные вопросы оценки и, соответственно, целевые установки всего проекта.

Третий: выявление параметров оценки, которые и подвергаются прицельному анализу (все проверить невозможно). В качестве параметров могут быть выделены: результативность ПП, эффективность механизма выполнения ПП, социально-экономический эффект, оказываемый ПП на развитие.

Четвертый: индикаторы оценки – количественное отражение параметров. Они представляют собой ограниченный набор показателей. Выбор правильных индикаторов для описания того или иного параметра – сложная процедура. Хороший индикатор оценки должен обладать рядом признаков, к которым мы отнесем следующие:

- измеряемость (показатель поддается количественному измерению в неизменных единицах);

- обоснованность (отражает то, что необходимо оценить)

- однозначность (имеет четкое общепринятое определение и единицы измерения)

- устойчивость (доступность временных, динамичных срезов данных по индикатору)

- доступность (данные для расчета доступны через традиционные источники информации).

Получив данные индикаторов оценки, можно приступать к собственно экспертизе программы, точнее тех ее параметров, которые отобраны для анализа.

Рабочий план проведения оценки, в котором указывается:

- какая информация необходима для проведения оценки;

- кто и на каких стадиях работы будет причастен к проведению оценки;

- какими методами и из каких источников оценщик получит необходимые данные;

- кто будет собирать информацию;

- какие методы анализа информации будут применяться;

- сколько времени уйдет на проведение оценки;

- какие ресурсы понадобятся для проведения всех работ по оценке.

Рабочий план проведения оценки разрабатывается по тем же стандартам, что и рабочие планы во всех других проектах: в нем оговаривается роль в проекте каждой из участвующих сторон, перечисляются конкретные работы, которые необходимо провести (техническое задание), приводятся график выполнения мероприятий по оценке, формы и сроки отчетности.

Вопросы для самоконтроля.

1. Назовите причины, которые затрудняют на сегодняшний день выработать единое терминологическое поле по тематики мониторинга и оценки проектов и программ в профессиональной среде экспертов.

2. В чем состоит миссия (предназначение) оценки?

3. Является ли правильным утверждение, что цели и задачи, которые ставит перед собой оценщик, могут быть сведены к некому общему стандарту в каждом конкретном?

4. Что следует понимать под общей же целью проведения оценки?

5. Какие задачи решаются в процессе достижения общей цели оценки? Перечислите некоторые из них.

6. Что следует понимать под такими понятиями как «структура оценки» или «дизайн оценки»?

7. Какие виды структур оценки известны в оценочной практике?

8. Что подразумевается под «экспериментальной структурой» оценки?

9. Что подразумевается под «квази-экспериментальную структурой» оценки?

10. Что подразумевается под «описательной структурой» оценки?

11. Что представляет собой логическая схема оценки реализации ПиП?:

12. Объясните, что представляют собой параметры и индикаторы оценки.

13. Назовите элементы рабочего плана проведения оценки