§ 2 . Алгоритм проведения оценки

Обращаясь к вопросу об анализе данных при проведении экспертной оценки, обратим внимание на последовательность действий (алгоритм) проведения оценки.

Последовательность действий при оценке проектов и программ включает в себя 7 шагов:

1-ый шаг: Мотивация проведения оценки.

2-ой шаг: Определение целей и задач оценки

3-ий шаг: Планирование оценки

4-ый шаг: Сбор данных – начало оценочных работ

5-ый шаг: Анализ данных

6-ой шаг: Подготовка отчета

7-ой шаг: Использование результатов оценки

Основные требования к оформлению экспертного заключения

Экспертное заключение должно содержать следующие обязательные разделы:   

– титульный лист с указанием полного наименования анализируемого отчета, наименования оценщика и сведений о выданной ему лицензии на осуществление оценочной деятельности, фамилии оценщика-эксперта и периода проведения экспертизы; 

– информацию о заказчике экспертизы; 

– определение цели экспертизы; 

– перечень информации, на которой основывалась экспертиза; 

– исследовательскую часть, включающую анализ соответствия выполненных оценщиком процедур оценки требованиям действующего законодательства и других нормативных актов в области оценочной деятельности и аргументированные суждения оценщика-эксперта, которые привели к итоговому заключению; 

– выводы оценщика-эксперта по результатам проведенной экспертизы; 

– последний лист (перед приложениями) подписывается оценщиком-экспертом. В случае, если при проведении экспертизы оценщик-эксперт привлекал к проведению экспертизы иных экспертов или других специалистов, все эти специалисты подписывают последний лист экспертного заключения с указанием конкретно выполненных разделов; 

– в случае необходимости оценщик-эксперт вправе в приложениях к экспертному заключению привести все необходимые расчеты и обоснования, подтверждающие результаты экспертизы. 

§ 3. Элементарные приемы и комплексные методы получения количественных параметров экспертных оценок

В анализе данных, собранных для проведения экспертизы и получения ее количественных оценок, эксперт- оценщик может применять различные методы, заимствованные из эконометрики, математической статистики и пр. В этом смысле арсенал средств зависит от профессионализма самого оценщика, а также от степени соответствия методов оценки объекту оценки³.

Из совокупности наиболее часто используемых методов обработки информации, находящихся в распоряжении современного эксперта, можно выделить элементарные приемы и комплексные методы, которые применяются для наиболее сложных видов оценок, таких как оценка эффективности проекта или оценка воздействия.

Элементарные приемы

К наиболее распространенным элементарным приемам, используемым при обработке информации при экспертной оценке можно отнести следующие.

1.Статистический анализ качественных и количественных показателей.

Средние величины: могут быть рассчитаны в трех вариантах: среднеарифметические, медианные и модальные.

Среднеарифметическая величина определяется суммированием полученных индивидуальных показателей с последующим делением на количество респондентов или объектов, к которым эти индивидуальные показатели относятся. Данный показатель очень чувствителен к увеличению или уменьшению доли высоких или низких значений.

Чтобы получить медианную величину, следует проранжировать показатели в порядке убывания или возрастания и за среднюю величину принять показатель серединной позиции в данном ранжире, т.е. показатель выше и ниже которого находится одинаковое число респондентов или объектов.

Медианные показатели отличаются от среднеарифметических тем, что они принадлежат действительному объекту или респонденту, в отличие от среднеарифметических, который в действительности могут не принадлежать никому. (Известная шутка про «среднюю температуру по больнице», свидетельствует о том, что «средняя температура» может быть нормальной, а в действительности нет ни одного пациента с такой температурой). Модальный показатель – это показатель, который наиболее часто встречается в данной совокупности.

Относительные величины – это уровни и индексы, которые призваны показать относительные изменения в исследуемом явлении или процессе. Показатели уровней представляются в процентах. Индексы – это, как правило, безразмерные величины, поскольку они получаются при сопоставлении уровней.

При расчете относительных показателей важно правильно определиться с «точкой отсчета», т.е. с тем, какой параметр будет играть роль основания, приравниваться к 100%.

Если знаменатель дроби не меняется, то такие относительные величины буду называться базовыми индексами, а если соотношение строится по логике: от последующего к предыдущему, то – цепными.

Расчеты средних применяются для выявления тенденций с помощью трендового упорядочивания показателей, которое заключается в экстраполяции выровненных значений динамического временного ряда показателя. Такой прием используется для показателей либо монотонно возрастающих, либо монотонно убывающих, для расчета трендовых функций показателей используется математические зависимости.

К статистическому анализу качественных и количественных показателей относится статистические распределения и их ключевые параметры, выборочные наблюдения.

Вот некоторые примеры интересных выводов, полученных на основе методов статистических распределений⁴.

Так, анализируя общественные процессы, В. Парето рассмотрел социальную среду как пирамиду, на вершине которой находятся люди, составляющие элиту. Парето в 1906 году установил, что примерно 80 % земли в Италии принадлежит лишь 20 % ее жителей. Он пришел к заключению, что параметры полученного им распределения приблизительно одинаковы и принципиально не различаются в разных странах и в разное время. Парето также установил, что точно такая же закономерность наблюдается и в распределении доходов между людьми. Распределению по Парето присуще свойство устойчивости, т.е. сумма двух случайных переменных, которые имеют распределение Парето, также будет распределена по Парето. Замеченное распределение, называемое "законом Парето" или "принципом 80/20", применимо в очень многих областях. Например, при информационном поиске достаточно определить 20% важнейших ключевых слов, чтобы найти 80% необходимых документов, а затем расширить поиск или воспользоваться опцией "найти похожие" для полного решения задачи.

Или закономерность С. Бредфорда, известного специалиста по обработке документов, одного из авторов универсальной десятичной классификации – УДК. Она состоит в следующем: если научные журналы расположить в порядке убывания числа помещенных в них статей по конкретному предмету, то полученный список можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету была одинаковой. Эти три зоны представляют: ядро - профильные журналы, непосредственно посвященные рассмотренной тематике, журналы, частично посвященные заданной области и журналы, тематика которых довольно далека от рассмотренного предмета.

Бредфорд вначале рассматривал найденную закономерность только для системы периодических изданий по науке и технике. Однако в дальнейшем оказалось, что эта же закономерность справедлива и для периодических изданий из многих других предметных областей, а также для наборов веб-сайтов, относящихся к некоторой выбранной тематике.

2. Некоторые способы оценки влияния. Как правило, способы оценки влияния позволяют решать три основные задачи: определение формы связи между результативным и факторным признаком (регрессия), измерение тесноты связи между ними (корреляция), анализ влияния факторных признаков (детерминация, эластичность), на основе применения корреляционно-регрессионного анализа.

Для решения каждой из трех указанных задач анализируемые параметры делят на эндогенные или зависимые переменные, которые являются результативными в анализе и экзогенных или независимые переменные величины, которые полагаются как факторные признаки.

Так степень тесноты связи оценивается коэффициентами, изменяющимися в пределах от 0 до + 1,0. Малое значение коэффициента свидетельствует о слабой связи, а значение, близкое к 1 характеризует очень сильную связь и часто позволяет предложить наличие функционально причинно-следственной связи.

Как правило, первым этапом анализа данных должна быть проверка данных на соответствие закону нормального распределения. Для начала данные обрабатываются в соответствии с гипотезой о нормальном (гауссовском) законе распределения данных. Пороговое значение 0, 05.

Коэффициент корреляции считается на основе стандартных систем типа STADIA (считается коэффициент ранговой корреляции Спирмена; коэффициент корреляции Пирсона)

Приведем таблицу качественной оценки степени тесноты связи на основе коэффициента корреляции.

Таблица качественной оценки степени тесноты связи

на основе коэффициента корреляции

Коэффициент корреляции	Теснота связи
 0,91+1,00	Очень сильная
 0,81+0,90	Весьма сильная
 0,65+0,80	Сильная
 0,45+0,64	Умеренная
 0,25+0,44	Слабая
До  0,25	Очень слабая

3. Анализ «затраты-выгоды» (англ. – cost-benefit analysis) измеряет совокупные затраты и выгоды каждой альтернативы, оцениваемого проекта, при использовании одной и той же единицы измерения, как правило деньги. Данный анализ позволяет выявить тот вариант ПиП, который имеет наибольший коэффициент отношения выгод к затратам. Анализ «затраты-выгоды» возможен только в том случае, если все составляющие «выгод» и «затрат» могут быть представлены в денежном выражении, если же речь идет об этических, эстетических, политических, психологических составляющих, то его применение невозможно.

Применения анализа «затраты-выгоды» берет начало из инженерной практики, когда требовалось оценить целесообразность возведения инженерных сооружений. (Конкретно речь шла о возведение дамбы для военных целей инженерными подразделения армии США. Подсчитывались денежные выгоды от увеличения урожайности, уменьшение вреда от наводнений и проч., и сравнивали получившуюся сумму с ценой дамбы и посевных площадей, и затратами на возмещение расходов на жилье). Анализ «затраты - выгоды» применяется также при разработке транспортных ПиП.

Анализ затраты-выгоды успешно применяется в оценке стоимости бизнеса, полезен для всех видов оценки – предварительной, промежуточной, завершающей его стадий.

Разновидностью оценки «затраты-выгоды» является оценка бюджетной эффективности в производство общественных благ.

Комплексные методы

Комплексные методы представляют собой совокупность различных приемов, которые в зависимости от целей оценки, наличия информации и степени определенности связей между показателями, составляют комплексные методики. На выбор комплексной методики оценки влияет сложность объекта оценки или процесса управления. Выделим четыре класса сложности объектов управления.

- Стандартные объекты управления – это те, в которых связи факторов и результатов строго детерминированы и могут быть выражены функциональными уравнениями, простым расчетом.

- Структурированные объекты управления – здесь связи носят вероятностный (стохастический) корреляционный характер, но отличаются высокой степенью тесноты. При изменении факторов результат может устанавливаться как с некоторым интервалом «от» и «до», так и однозначно.

Для структурированных процессов применяются эконометрические модели, экономико-математические модели.

- Слабо структурированные объекты управления – отличаются невысоким уровнем тесноты связи между фактором и результатом. Результативный показатель при этом изменяется в очень большом интервале значений «от» и «до».

Для слабо структурированных проблем используются экспертные заключения или мнения, метод сценария, возможно использование и эконометрических моделей.

- Неструктурированные объекты управления – изменение результативного показателя, функции трудно предсказуемы.

Для таких объектов сложно составить последовательность экспертизы и расчетов. Для неструктурированных проблем применяются в основном формально- логические приемы, методы интуитивные и эвристические, либо несколько вариантов известных комплексов методик.

Степень структурированность процессов управления уменьшается при переходе на более высокий уровень управления и увеличения интервала упреждения. Следует отметить, что не существует универсальных методов и методик оценки. Для каждого уровня экспертизы характерны свои методы. Это обусловлено различной размерностью задачи и разным количеством вариантов, возникающим при выборе методик. Правильный выбор методики предопределяет качество полученных оценок и результатов управления.

Как правило, расчеты на основе экстраполяции, других математико-статистических подходов – главным образом поискового характера – производятся в начале разработки экспертиза, когда качественный анализ дополняется расчетами. В последующих и заключительных периодах экспертной оценки используются более сложные, в том числе нормативно-целевые модели: эконометрические, балансовые, оптимизационные.

Так для отражения взаимосвязи между показателями используют факторный подход, который предполагает комплексную характеристику объекта или процесса, определение круга воздействующих на исследуемый объект факторов и формы их взаимосвязи.

Сущность факторного исследования состоит в том, что перспективные оценки получаются на основе выделения наиболее устойчивых тенденций в факторах, между которыми установлена взаимосвязь.

На практике факторный подход применяются в комплексе с более простым приемом оценки – расчетами трендов, которые отражают изменение параметров во времени.

Факторный подход имеет две разновидности:

• генетическую (ресурсную);

• нормативную (целевую).

Генетический вид факторного подхода отражает инерционный характер развития процесса, основывается на выявлении устойчивых тенденций и сводится к перенесению зависимостей, характерных для прошлого в будущее.

Нормативный – связан с регулируемостью процесса, исходит из целей развития, которых желательно достичь в прогнозируемом периоде и определении параметров, которые необходимо достичь, что бы реализовать поставленные цели.

Генетический и нормативный виды факторного анализа являются альтернативными способами выявления параметров, характеризующих исследуемый или оцениваемый объект, поскольку при генетическом подходе взаимосвязь процессов, формирующих темпы и пропорции разворачивается от настоящего к будущему, а при нормативном – от будущего к настоящему. Важна проблема согласованности расчетов при генетическом и нормативном исследовании оцениваемого объекта.

В расхождении расчетов обнаруживаются проблемы развития объекта и обосновываются возможности их разрешения.

В процессе проведения расчетов на основе использования генетического и нормативного подходов, как правило, разрабатываются сценарные варианты развития:

1. пессимистичный, составленный на основе экстраполяции тенденций прошлого (генетический подход);

2. оптимистический вариант, получаемый на основе нормативного подхода, формирующий цели развития в прогнозном периоде

3. рабочая гипотеза как совокупность вероятных альтернативных прогнозов, полученных на основе сочетания генетического и нормативного подходов.

Для отражения связи между представлениями объекта оценки и методами оценки воспользуемся булевой матрицей. Булева матрица: система, которая в зависимости от обстоятельств может быть интерпретирована либо как система «событий», либо как система «высказываний». Под «событием» будем понимать объект оценки, а под «высказыванием» – метод. Таблица выражает отсутствие или присутствие общего между «событиями» и «высказываниями». Если в пересечении строки и столбца проставлена «1», то наличие такой связи подтверждается, если «0», то связь отсутствует.

Строки пронумерованы от 1 до 6 и соответствуют типовым представлениям объекта оценки:

1 – неосознанному представлению

2 - предметному представлению (описанию) объекта оценки естественным языком

3 - функционально-декомпозиционному представлению

4 – представлению в виде контуров обслуживания

5 – агрегировано-декомпазиционному представлению

6 – представлению в виде модели «параметр – поле допуска»

Столбцы матрицы пронумерованы в соответствии с номерами видов метода оценки:

1. Интуитивно - логические заключения

2. функционально-логическое заключение

3. методы структурной оценки

4. заключение по аналогии

5. методы параметрической оценки

6. комплексные системы оценки

Предполагается, что эксперт выбирает вид метода оценки, затем в пределах этой группы определяет наиболее подходящую методику оценки или разрабатывает свой метод из этой группы или модифицирует уже известный.

Таблица «Булева матрица»

№ п/п	1	2	3	4	5	6
1	1	0	0	0	1	0
2	1	0	0	0	1	0
3	1	1	0	0	1	1
4	1	1	1	0	1	1
5	1	1	1	0	1	1
6	1	1	1	1	1	1

Таблица позволяет решить проблему оптимизации выбора метода.

Вопросы для самоконтроля