1. Назовите шесть альтернативные подходов к оценкам проектов и программ, выделенных на основе характера проблем?

2. Какие еще критерии, кроме характера проблем, могут использоваться для выделения подходов к оценке?

3. Что является основным критерием качества оценки в управлении?

4. Что представляет собой дизайн оценок, выделяемый на основе характера проблем?

5. Назовите виды оценок, выделяемые по признаку целевого назначения оценки.

6. Назовите виды оценок, выделяемые по признаку стадии реализации оцениваемой программы.

7. Назовите семь шагов алгоритма проведения оценки.

8. Сформулируйте основные требования к оформлению экспертного заключения

9. Назовите методы обработки информации для получения экспертных оценок как новых знаний.

10. Что представляют собой элементарные приемы обработки информации для получения экспертных оценок?

11. Что представляют собой системные методики обработки информации для получения экспертных оценок?

Тема 4: ПРОБЛЕМЫ И ОГРАНИЧЕНИЯ ЭКСПЕРТНЫХ ОЦЕНОК.

§ 1. Риски оценки

§ 4. Этика проведения оценки

§ 5. Типичные ошибки оценщика

§ 6. Оценка и мониторинг: различия и взаимосвязь

§ 7. Внешняя и внутренняя оценка: преимущества и недостатки

§ 1. Риски оценки

При проведении оценки ПиП оценщики сталкиваются с трудностями, которые могут оказать решающее влияние на успех оценки. Ведь оценка – сама по себе проект, и, как у всех проектов, у нее есть определенные риски. Как показывает практика, риски оценки в значительной мере стандартны и характерны для каждого этапа оценочных работ независимо от специфики программы и задания по оценке.

Согласно логике этапов проведения оценки (См. предыдущую тему № 4) рассмотрим возможные риски, с которыми сталкивается эксперты в оценочной практике.

Виды рисков по этапам:

Первый и второй этапы: мотивация проведения оценки и определение целей и задач оценки.

– потенциальные заказчики могут ничего не знать об оценке и не видеть от нее пользы для себя;

– потенциальные заказчики хотят работать с людьми, имеющими опыт проведения оценки, а опыт проведения оценки можно приобрести, только проводя оценку, образуется «замкнутый круг» для оценщика и приобретения опыта;

– заказчик хочет проводить оценку, но не знает точно, для чего она ему нужна;

– оценка заказывается для «третьей стороны»;

– мотивы проведения оценки – политические, но скрыты;

– заказчик оценки и руководство оцениваемой программы – разные структуры, при этом между ними есть конфликт интересов;

– заказчик устанавливает ограничения, которые делают невозможным качественное выполнение задания;

– задание оценки не соответствует ресурсным возможностям проекта;

– задание содержит вопросы, на которые невозможно получить ответ в определенных заказчикам рамках (напр. Объем необходимых работ никак не соответствует выделенным ресурсам – временным, финансовым, административным).

Третий этап: планирование оценки.

– оценщика включают в уже сформированную команду. В результате ему приходится делать то, под чем он «не подписывался», но контракт уже заключен;

– бывает трудно заранее сказать, хватит ли источников информации для ответа на вопросы задания;

– заказчик настаивает на конкретной структуре оценки, не соответствующей заданию, необоснованно вмешивается в процесс планирования;

Четвертый этап: сбор данных – начало оценочных работ

– возникают организационные проблемы (невозможно организовать встречи, нет места для проведения интервью и фокус-групп, у специалистов администрации нет времени, графики встреч срываются);

– оцениваемая программа плохо написана: текст отличается небрежностью, нет четкой структуры, отсутствует логика, причинно-следственная связь между элементами программы, не предусмотрен мониторинг и оценка программы;

– система реализации программы при отсутствии системы контроля выполнения отличается сложностью и запутанностью;

– источники информации недоступны;

– выбираются неправильные источники информации (теряется время на беседы с не информированными людьми, при этом не замечаются действительной информированные);

– каждый новый источник информации не добавляет новой информации к уже имеющейся;

– заказчик желает жестко контролировать процесс сбора данных;

– наличествует негативный эмоциональный фон: высокая социальная напряженность, конфликтная ситуация меду администрацией и другими структурами, а также внутри администрации, проведение оценки в преддверии выборов;

– оценщик негативно воспринимаемся местными специалистами;

– оценщик предвзято (негативно или позитивно) относится к программе, заказчику, объекту оценке;

– отсутствует информация. Данные отличаются низкой степенью достоверности. Данные из разных источников сильно различаются;

– информации слишком много, приходится выбирать между источниками информации.

Пятый этап: анализ полученных данных.

– данные, факты, мнения резко противоречат друг другу;

– отдельные данные не вписываются в общую картину;

– недостаток данных обнаруживается, когда этап их сбора уже завершился;

– низкая квалификация оценщика;

– имеются важные, но непроверенные данные, на которые нельзя ссылаться;

– «внутренние» специалисты являются заинтересованной стороной;

– разные оценщики представляют разноформатные и противоречивые данные;

– анализ данных проводит только один оценщик из всех, принимающих участие в проекте;

Шестой этап: подготовка отчета.

– мало времени на подготовку отчета;

– необходимо соблюдать конфиденциальность, а также иметь в виду, о чем и как можно писать с учетом будущего влияния отчета на все заинтересованные стороны;

– неправильно выбран «жанр» отчета, например обилие критики при отсутствии рекомендаций;

– отчет подготавливается параллельно со сбором и анализом данных;

– заказчик активно вмешивается в процесс подготовки отчета;

– оценщик не знает, кто конкретно будет читать отчет;

Седьмой этап: использование результатов оценки.

– отчет не доходит до клиента или доходит с опозданием;

– заказчик не согласен с выводами оценки;

– результаты оценки в значительной степени отличаются от тех, которые ожидал получить заказчик;

– заказчик задает дополнительные, вне рамок задания, вопросы;

– заказчик пренебрегает результатами оценки при принятии управленческих решений;

– нет обратной связи с заказчиком оценки;

– результаты оценки сознательно/несознательно неправильно интерпретируются заказчиком.

Большинство из перечисленных распространенных рисков оценки трудно предугадать на этапе ее планирования, но все же, это необходимо делать именно до начала оценочных работ. Тогда удастся минимизировать затраты, а также скорректировать структуру оценки в соответствии с имеющимися рисками.