Выбор экспертов

Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:

• коммуникативные навыки,

• способность к совместному творчеству,

• гибкость ума и "незашоренность" взгляда,

• нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.

3. Оценка экспертов независимыми специалистами.

4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Выбор экспертов для работы в проектах и программ ФНЕ будет производиться посредством открытого конкурса.

Необходимо учитывать, что открытый конкурсный отбор привлеченных экспертов включает прежде всего следующие критерии: • опыт социального проектирования в области начального и среднего и высшего профессионального образования, работы с молодежью; • возможность участвовать в мероприятиях проекта, включая экспертные совещания в Москве, семинары в Подмосковье, сайт-визиты в пилотные регионы; • уровень профессионального опыта и квалификация, в том числе опыт проведения тренингов и семинаров.

Программа "МОЛОДЕЖЬ плюс" Проект "Местному сообществу – активную молодежь!" Проект направлен на формирование сети региональных центров повышения квалификации специалистов по работе с молодежью, создание и реализацию программ повышения квалификации с учетом региональной специфики, подготовку тренеров из числа региональных партнеров для дальнейшего распространения технологий по работе с молодежью.

Критерии отбора экспертов: – опыт экспертной работы в молодежной среде; – опыт разработки документов методического и системного характера с учетом запросов работодателя; – опыт участия в разработке и реализации проектов с молодежью и для молодежи; – знание зарубежного опыта развития молодежного движения; – опыт экспертной работы в области повышения квалификации учителей, социальных педагогов и специалистов по работе с детьми и молодежью; – опыт подготовки школьных и практических психологов к работе различными категориями молодежи; – опыт в организации информационной поддержки социальных проектов, включая проекты для молодежи; – опыт сотрудничества с ФНЕ.

Проект "Мы вместе!" Проект включает в себя подготовку лидеров детских, подростковых интеграционных объединений, в том числе детей и подростков с ограниченными возможностями здоровья, для реализации совместной проектной деятельности.

Критерии отбора экспертов: – опыт разработки документов методического и системного характера с учетом запросов работодателя; – опыт участия в разработке и реализации проектов с молодежью и для молодежи; – опыт подготовки школьных и практических психологов к работе различными категориями молодежи; – опыт в организации информационной поддержки социальных проектов, включая проекты для молодежи; – опыт в работе в качестве тренеров для детей с ограниченными возможностями развития; – знание международного опыта, методик и технологий по социализации детей-инвалидов; – опыт сотрудничества с ФНЕ.

Проект "Будущее рождается СЕГОДНЯ" Цель партнерского проекта с фондом "Династия" – содействие развитию научно-технического творчества, проектных и исследовательских навыков детей и молодежи. Задачи проекта: демонстрация результатов интеллектуальной деятельности детей и молодежи, создание механизмов поддержки научно-технического творчества, формирование сетевого сообщества одаренной молодежи и специалистов по работе с детьми и подростками, занимающимися научно-техническими разработками.

Критерии отбора экспертов: – опыт экспертной работы в молодежной среде; – опыт разработки документов методического и системного характера с учетом запросов работодателя; – знание зарубежного опыта развития молодежного движения; – опыт подготовки школьных и практических психологов к работе различными категориями молодежи; – опыт в организации информационной поддержки социальных проектов, включая проекты для молодежи; – опыт в организации "летних школ" и сборов для интеллектуально-одаренных детей и молодежи; – опыт работы в Конкурсных комиссиях по оценке работ научно-технического характера и отбору победителей; – опыт сотрудничества с ФНЕ.

6 вопрос МЕТОДЫ ПРОВЕДЕНИЯ ЭКСПЕРТНОГО ОПРОСА

Методы опроса делятся на две группы:

1) очные (личные) и заочные;

2) индивидуальные и групповые (коллективные).

Личный опрос – это процедура, в процессе которой исследователь

осуществляет очный контакт с экспертом /1/. Недостатком очного опроса

являются большие затраты труда и времени как со стороны исследователя, так

и экспертов. Необходимость длительного участия в экспертизе обычно вызывает

недовольство со стороны экспертов. Кроме того, при очном опросе могут

возникать нежелательные искажения информации вследствие психологического

воздействия исследователя на эксперта.

Заочный опрос осуществляется путем пересылки анкеты эксперту по почте,

его преимущества – простота и дешевизна. Однако надежность полученных

данных может быть ниже, чем при очном опросе, поскольку некоторые вопросы

эксперт может неправильно истолковать, а на некоторые вообще не дать ответа

/4/.

Рассмотрим вторую группу методов проведения опроса более подробно.

1. ИНДИВИДУАЛЬНЫЕ МЕТОДЫ ОПРОСА

Сравнительно простым методом проведения индивидуального экспертного

опроса является способ типа “интервью”. Название этого метода говорит само

за себя. Свои суждения эксперт высказывает в беседе с человеком,

осуществляющем опрос (прогнозистом), отвечая на поставленные перед ним

вопросы. Эксперт в данном случае не имеет времени для предварительного

анализа этих вопросов, поэтому прогнозист при проведении интервью должен

тщательно продумывать формулировки и смысловое содержание вопросов.

Необходимо учитывать тот факт, что наш язык является полиморфным, и в силу

этого нужно вопросы формулировать так, чтобы всеми экспертами они

понимались однозначно /6/. Результаты интервью во многом зависят от

специальной подготовленности прогнозиста и от его умения вести свободную

беседу, удерживая инициативу в своих руках /2/.

Вторым способом проведения индивидуального экспертного опроса является

“аналитический” способ. Сюда относятся докладная записка и морфологический

анализ. Аналитический способ предполагает длительную работу эксперта по

анализу поставленных перед ним вопросов. Термин “морфологический анализ”

был впервые введен американским астрофизиком Цвики Ф., который занимался

техническим прогнозированием в области реактивных двигателей. При

использовании этого метода объект прогнозирования прежде всего

рассматривается с точки зрения его структуры, а не с точки зрения

выполняемых им функций /6/.

В основе морфологического метода лежит заранее разработанная схема

рассмотрения объектов прогнозирования, предназначенная для выявления

возможных вариантов решений некоторой многоаспектной проблемы. При этом

выделяются различные типы характеристик анализируемых объектов, их

различные свойства с указанием элементов каждого типа. Затем формируются

различные варианты развития анализируемых объектов на основе перебора всех

возможных сочетаний характеристик каждого типа. Общее число вариантов может

быть определено как произведение количества элементов каждого типа:

где V – общее число вариантов построения некоторого технического средства;

i=1,2,…, n;

n – количество различных характеристик; r – количество характеристик i-го

типа.

В процессе анализа каждого из выделенных вариантов эксперт определяет те

из них, которые перспективны с точки зрения достижения определенной цели в

будущем /2/.

Важным при использовании морфологического метода является способ оценки

эффективности различных вариантов /6/.

2. ГРУППОВЫЕ МЕТОДЫ ОПРОСА

В общем случае предполагается, что мнение группы экспертов надежнее, чем

мнение отдельного индивидуума, что обусловило популярность групповых

методов опроса. Основное преимущество этих методов заключается в

возможности разностороннего анализа количественных и качественных аспектов

проблемы. Недостатком является то, что мнения даже специалистов в одной

узкой области могут расходиться, а, значит, не исключено, что на один и тот

же вопрос можно получить от специалистов одного профиля различный ответ.

Групповые методы экспертного опроса делятся на два класса: одни

используют открытую дискуссию, другие опрос при помощи анкет.

Представителями открытой дискуссии являются методы комиссии, суда, мозговой

атаки (мозговой штурм, отнесенная оценка). Недостатком дискуссии является

то, что для оценки обобщенного мнения всей группы экспертов не используется

аппарат математической статистики. Анкетирование исключает непосредственное

общение между экспертами. Свои заключения по поставленным перед ними

вопросам эксперты представляют анонимно. Этот способ организации работы

экспертов использует метод Дельфы.

2.1. МЕТОД КОМИССИИЭтот метод состоит в открытой дискуссии по обсуждаемой проблеме для

выработки единого мнения экспертов. Коллективное мнение определяется в

результате тайного или открытого голосования. В некоторых случаях к

голосованию не прибегают, выявляя результирующее мнение в процессе

дискуссии. Преимущество метода комиссии состоит в росте информативности

экспертов, поскольку при обсуждении эксперты приводят обоснования своих

оценок, под воздействием которых некоторые участники комиссии могут

изменить первоначальную точку зрения. К недостаткам относится отсутствие

анонимности. Оно может приводить к достаточно сильным проявлениям

конформизма со стороны экспертов, присоединяющих свои мнения к мнению более

компетентных и авторитетных экспертов даже при наличии противоположной

точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных

экспертов, в которой часто берет не обоснованность, а количество приводимых

доводов “за” и “против”. Кроме того, публичность высказываний может

приводить к нежеланию некоторых экспертов отказаться от ранее высказанного

мнения, даже если оно в процессе дискуссии претерпело изменения /1/.

Источник /2/ считает, что при использовании метода комиссии имеет место

взаимное влияние мнений экспертов, которое при соблюдении ряда условий

может способствовать созданию творческой атмосферы и непрерывному

генерированию идей.

2.2. МЕТОД СУДА Экспертиза по методу суда использует аналогии с судебным процессом.

Часть экспертов объявляется сторонниками рассматриваемого решения и

выступает в качестве защиты, приводя доводы в его пользу. Часть экспертов

регулирует ход экспертизы и выносит окончательное решение. В процессе

экспертизы “функции” экспертов могут меняться. Метод суда обладает теми же

преимуществами и недостатками, что и метод комиссии /1/.

2.3. МЕТОД МОЗГОВОЙ АТАКИ Один из наиболее применяемых в 50-60-х гг. методов. Основная

направленность мозговой атаки – выявление новых идей /1/. Суть этого метода

заключается в проведении ряда заседаний членов экспертной группы с

соблюдением следующих правил:

1) концентрируется внимание на одной четко сформулированной проблеме;

2) подхватывается идея любого рода.

Последнее правило основано на гипотезе о том, что:

1) среди большого числа идей имеется по меньшей мере несколько хороших;

2) не подвергается критике ни одна идея;

3) не оценивается априори значение или смысл любой идее /6/.

В мозговой атаке существенная роль принадлежит руководителю, знающему о

конечной цели экспертизы и направляющему дискуссию в соответствующее русло.

Однако, если руководитель стремится выделить лишь перспективные, с его

точки зрения, идеи результат экспертизы оказывается менее значительным /1/.

Основной недостаток данного метода – то, что приходится оценивать все

идеи. Многие из них оказываются глупы или совершенно не относятся к

рассматриваемому вопросу /3/.

2.4. СИНЕКТИКАПри этом методе, который схож с мозговой атакой, проблема

рассматривается небольшой группой экспертов. Руководитель экспертизы

выдвигает проблему, объясняет ее, а эксперты предлагают вариант ее решения.

Несколько минут руководитель его анализирует и говорит, что ему в нем

нравится, а что нет. Затем выдвигаются новые предложения, которые также

анализируются до тех пор, пока не будет найдено возможное решение /3/.

2.5. МЕТОД ДЕЛЬФЫ

В отличие от традиционного подхода к достижению согласованности мнений

экспертов путем открытой дискуссии метод Дельфы предполагает полный отказ

от коллективных обсуждений. Это делается с целью уменьшить влияние таких

психологических факторов, как присоединение к мнению наиболее авторитетного

специалиста, нежелание отказаться от публично высказанного мнения,

следование за мнением большинства /2/. В методе Дельфы принимаются

специальные меры, чтобы исключить влияние на конечный результат экспертов,

обладающих даром убеждать других /5/. По мнению источника /6/ данный метод,

бесспорно, является самым распространенным как за рубежом, так и в нашей

стране.

Прямые дебаты в данном методе заменены тщательно разработанной

программой последовательных индивидуальных опросов, проводимых обычно в

форме анкетирования. Ответы экспертов обобщаются и вместе с новой

дополнительной информацией поступают в распоряжение экспертов, после чего

они уточняют свои первоначальные ответы. Такая процедура повторяется

несколько раз до достижения приемлемой сходимости совокупности высказанных

мнений /2/. Недостатками метода Дельфы являются значительное время,

требуемое на повторение большого числа итераций экспертизы; необходимость

неоднократного пересмотра экспертом своих ответов, вызывающая у него

отрицательную реакцию /1/.

Виды экспертных методик.

По степени общности выделяются два вида экспертных методик - типовая и конкретная, или частная [Основы судебной экспертизы. С. 256.].Типовая экспертная методика - выражение обобщенного опыта решения типовых экспертных задач. В определенных случаях эта методика может применяться экспертом без какой-либо адаптации, изменения.Конкретная, или частная, методика - способ решения конкретной экспертной задачи, являющийся результатом приспособления, изменения типовой методики либо плодом творческого подхода к решению экспертной задачи.

Конкретная методика как результат деятельности эксперта может возникнуть в случаях:

• реализации экспертом своего личного опыта для решения какой-либо новой, впервые возникшей в практике экспертной задачи, либо в результате эксперимента, проведенного им в процессе данной экспертизы;

• проявления экспертом творческого подхода - усовершенствования стандартного прибора, дополнения общепринятой методики оригинальным приемом и т.п.;

• решения задачи в полном объеме на основе созданной для данного исследования экспертной методики путем синтеза данных и методов различных наук (чаще всего такие ситуации возникают в период зарождения и становления новых родов и видов экспертиз) [Шляхов А.Р. Определение методики и методов судебных экспертиз с позиций внедрения научных разработок (рекомендаций) в экспертную практику. М., 1977. С. 4-5. ].

В структуре типовой экспертной методики различают следующие элементы или составные части [Основы судебной экспертизы. С. 257-258 .]:

• указание на типичные для данного вида экспертизы объекты, которое обычно содержится уже в названии методики;

• указание на возможности методики и ее надежность;

• указание на методы и средства исследования;

• предписания, касающиеся последовательности использования методов и средств;

• предписания, относящиеся к условиям, процедурам применения, методов, средств и методики;

• описание возможных результатов применения методов и средств и характеристика этих результатов в аспекте экспертной задачи.

Типовые методики обычно излагаются в методических рекомендациях, подготавливаемых и издаваемых ведущими судебно-экспертными учреждениями.Для того чтобы экспертная методика получила статус типовой, она должна пройти этапы апробации и внедрения, а также утверждения соответствующим научно-методическим или научно-техническим ученым советом [Там же. С. 283. ].В настоящее время экспертизы проводятся сотрудниками экспертных учреждений различных ведомств, испытывающих трудности в методическом обеспечении. Рассредоточение публикаций об экспертных методиках в ведомственных изданиях также затрудняет ознакомление с ними следственных и судебных работников, проводящих анализ заключений экспертов. Практически недоступны эти сведения и для других участников судопроизводства.В связи с этим, а также в целях обеспечения научно-методического единообразия применяемых методик, облегчения доступа к ним всех заинтересованных лиц в настоящее время осуществляется паспортизация и каталогизация методик исследования вещественных доказательств. Эта работа проводится под эгидой Федерального межведомственного координационно-методического совета по проблемам экспертной деятельности, образованного в 1996 г.Деятельность по паспортизации экспертных методик проводится на основе изданного в апреле 1996 г. совместного Приказа РФЦСЭ при МЮ России и ЭКЦ МВД России “Об организации паспортизации экспертных методик”, которым были утверждены формы паспорта и инструкция о порядке его подготовки.Предполагается составить паспорта всех действующих в экспертной практике типовых методик и включить их в общефедеральный каталог методик исследования вещественных доказательств, используемых в практике работы государственных экспертных учреждений Российской Федерации. Этот каталог будет утвержден вышеуказанным Межведомственным советом. [Зинин А.М., Майлис Н.П. Научные и правовые основы судебной экспертизы. М., 2001, с.146.] Конкретные методики, представляющие программы действий эксперта по выполнению конкретной экспертизы, реализуются по ходу формирования этих программ и содержатся в развернутом заключении эксперта. Обобщение конкретных методик может осуществляться при анализе экспертной практики, подготовке специальных обзоров, а также излагаться в авторских публикациях эксперта.Конкретные, или частные, методики, представляющие собой программы действий эксперта по выполнению конкретной экспертизы реализуются по ходу их формирования и содержатся в развернутом заключении эксперта, а также могут быть изложены в авторских публикациях эксперта.

7 вопрос Интеграция экспертных оценок. Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой - принципиально отличен от их традиционно количественной интерпретации. Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:  1) выработать научно обоснованное управленческое решение;  2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования. Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности: 1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера. 2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал. 3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок. 4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п. 5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям: 1) степени популярности, т.е. представленности в коллективном мнении экспертов; 2) мере реализуемости, возможности практического выполнения; 3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема. Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов. 6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины. Разработка такой мини-концепции необходима в двух отношениях:  во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;  во-вторых, для завершения процедуры интегрирования экспертных оценок. 7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса. Предлагаемые меры дифференцируются: - на стратегические (важные и долговременные) и тактические (детализирующие первые); - по времени исполнения (первоочередные, второочередные и т.п.); - по затратам разнообразных ресурсов; - по ожидаемому эффекту от этих затрат; - по адресатам (организациям, персонам), могущим реализовать рекомендации; - по другим основаниям, зависящим от характера проблемы и способов ее решения. Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов. Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.