4. Экспертное оценивание

Цель: изучение теоретических основ и овладение методом получения экспертных оценок (на примере методики экспертной оценки профессионально значимых свойств с помощью ранжиро­вания карточек).

Основные теоретические положения

Основное содержание метода экспертных оценок заключа­ется в рациональной организации работы одного или нескольких специалистов (экспертов) над поставленной проблемой с регист­рацией и последующей обработкой полученных данных.

Эксперт - (от лат. ехреrtus опытный, искушённый) - компе­тентное лицо, имеющее специальный опыт в конкретной области и участвующее в исследовании в качестве источника непосредст­венной информации. Его задачей является выражение своего мнения о качестве объекта или явления по определённой шкале в соответствии с предусмотренными для этого правилами. Работа экспертов может происходить в условиях большей или меньшей стандартизации. Так, выражение их суждений в зависимости от особенностей исследования планируется в форме свободного ин­тервью или анкетирования с полузакрытыми (или открытыми) вопросами или же как стандартизованное интервью.

В психологическом исследовании экспертное оценивание может рассматриваться как в качестве самостоятельного метода познания, так и в виде существенного компонента процедур на­блюдения, опроса, эксперимента, анализа продуктов деятельно­сти, словом, везде, где имеет место нестандартизованный переход от признаков к выводам.

Более того, те или иные разновидности экспертизы приме­няются на любом этапе исследования: в определении его целей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации понятийного аппарата, для обоснования адекватности используемого инструментария, в процессе переработки рекомендаций и т. д.

Некоторые авторы (П. Б. Шошин, 1987) предлагают класси­фикацию типов экспертиз: одиночная и групповая. Групповая экспертиза, в свою очередь, может быть без взаимодействия экс­пертов между собой, при заочном и при очном взаимодействии. Два последних типа экспертизы могут проходить в один тур или несколько.

Рассматриваемый метод относится к категории субъективных методов. Это означает, что результаты экспертного оценивания в значительной мере зависят не только от объекта исследования, но и от характеристик тех лиц, которые это исследование выполня­ют. Однако субъективность метода вовсе не означает его неэф­фективность. Экспертное оценивание становится способом полу­чения достоверной информации, когда тщательно подобраны специалисты-эксперты, информирование их происходит своевре­менно и всесторонне, а также эффективно организована их оце­ночная деятельность.

Оценочная деятельность экспертов протекает в несколько этапов;

1. Подготовка к экспертизе (изучение порядка и правил оце­нивания, ознакомление со способами регистрации суждений, ак­туализация знаний в данной конкретной области).

2. Исследование объекта экспертизы.

3. Возникновение имплицитной оценки - той, где субъек­тивное впечатление, слабо дифференцированное и неустойчивое,ещё не получило выражения средствами внутренней речи, символами или словами.

4. Экспликация оценки - формулирование её в уме, а затеми в вербальном или символическом виде.

5. Проверка правильности результатов оценивания.

6. Аргументирование оценки.

7. Участие в информационном обмене между экспертами.Причины оценочного субъективизма эксперта, работающего

индивидуально, без непосредственного (очного) взаимодействия с другими:

1. Разный уровень профессиональной подготовленности экс­пертов.

2. Индивидуально-личностные особенности экспертов, в томчисле:

• степень автономности от социальных (профессиональных)стереотипов;

• уровень инертности сложившихся к моменту оцениванияпредставлений об оцениваемом объекте;

• различия в умении абстрагироваться от объекта или субъекта;

• характерологические особенности: ответственность, добро­совестность, собранность, заинтересованность и др.

3. Ситуационные условия оценивания, такие как:

• степень усталости эксперта;

• различия в оборудовании рабочего места и характеристикахусловий труда;

• проявление эффекта контраста (при одновременном оцени­вании или сравнении различных объектов).

-и др.

При работе группы специалистов, сообща оценивающих объ­ект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляет­ся. Но при этом далеко не всегда можно гарантировать повыше­ние достоверности результатов процедуры. Дело в том, что при этом возникают феномены интерсубъективного искажения результатов оценивания.

К причинам нарушения достоверности данных при очном групповом оценивании следует отнести:

- стремление к идентификации сообщения с его источником,в силу которого слушатель бывает склонен принять или опро­вергнуть чьё-либо мнение в зависимости не от реального содер­жания, но от отношения к человеку, высказавшему его;

- центростремительное давление, проявляющееся в видесмещения экспертных оценок в ходе обсуждения в сторону«безопасной середины»;

- тенденцию защищать собственную позицию, высказаннуюпублично, даже после того, как сам эксперт убедился в её невер­ности;

• стремление к доминированию как личностная особенность,возникающая часто у лиц, не являющихся признанными лидера­ми, но претендующими на это;

• влияние феномена «огруппления мышления», появляющее­ся в том случае, когда чувство принадлежности человека к группеподталкивает его к поддержке решений не столько правильных,сколько способных обеспечить единодушие;

• неустойчивость имплицитной оценки, легко изменяющейсяпод воздействием уже высказанных мнений со стороны другихэкспертов.

Большинство из этих факторов не оказывают влияние на ито­ги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспертов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоёмкость про­цедуры.

После вынесения оценок экспертами исследователь обычно осуществляет следующие операции:

• проверку индивидуальных суждений и обоснований на не­противоречивость составляющих;

• анализ совокупности мнений экспертов с целью установле­ния степени согласованности их между собой;

• выделение групп экспертов с близкими позициями в случаесущественных расхождений в оценках;

• выявление причин разброса индивидуальных мнений;

• определение влияния компетентности экспертов на содер­жание их оценок и обоснований;

• статистическую обработку материала.

Контрольные вопросы

1. В чём состоит своеобразие экспертного оценивания в сравнении с дру­гими методами опроса?

2. Каковы преимущества и недостатки метода?

3. Каких ошибок следует избегать при организации экспертизы?

4. Но каким причинам возможно искажение достоверности результатов экспертного оценивания, произведённого в психологическом исследовании?

Упражнение 1. Опишите, как бы вы организовали эксперт­ное оценивание влияния условий обучения студентов на динами­ку степени их утомления в течение рабочей недели.

Упражнение 2. Разработайте программу осуществления экс­пертного оценивания эффективности мер по повышению качест­ва организации учебного процесса студентов психологического факультета.

Упражнение 3. Понаблюдайте в течение некоторого времени за жизнью студенческой группы, произведите экспертное оцени­вание качеств психологической атмосферы в ней.

Упражнение 4. Выполните задание на тему «Экспертная оценка профессионально значимых свойств руководителя».

Ход работы: 1. Оснащение. Заготовьте набор карточек из плотной бумаги (размером в 1/8 часть формата А4), на которых написаны по одному свойству (желательно с расшифровкой — см. Приложение). Свойства выбираются из опросников после предварительного изучения профессии. На обратной стороне кар­точки ставится её произвольный порядковый номер, желательно крупно.

2. Порядок оценивания. Специалист получает набор карточек,и в то время как он просматривает их, психолог даёт инструкцию:«На этих карточках написаны психологические качества, которыемогут влиять на успешность работы по вашей специальности.Просьба дать экспертную оценку этих качеств. Пожалуйста, раз­ложите их в таком порядке: самые важные качества в начале, за­тем - по мере убывания значения. Если два качества кажутся вамодинаковыми по значению, не задумывайтесь, кладите их в лю­бом порядке - разница в 1 % не играет роли». В процессе раскла­дывания карточек специалисты обращаются к психологу с уточ­няющими вопросами, высказывают своё мнение о том или иномкачестве. Все высказывания следует записывать.

3. Обработка результатов. На ранжирование тридцати кар­точек эксперты тратят от 10 до 20 минут. Сначала они расклады­вают их на столе с одновременной группировкой, затем распре­деляют в требуемом порядке. Получив от эксперта пачку карто­чек, экспериментатор вкладывает их в конверт, позднее заноситих порядок в протокол (табл. 1). Если предстоит работа со вто-

рым экспертом, порядок карточек фиксируется сразу же. После этого их тщательно перемешивают.

Протокол исследования

Ф.И.О. _______________________Дата_________________Возраст____________

Профессия ______________________________Стаж________________________

Таблица 1. Профессиональная значимость психологических свойств

Балл	№	Балл	№	Балл	№
	карточки		карточки		карточки
1		11		21
10		20		30

Карточки лежат перед экспериментатором «лицом вниз», так что ему видны их номера, которые он записывает в протокол. В )том случае самой верхней оказывается последняя по значимости карточка, которую он и заносит в протокол с весом 1 балл. Кар­точка, которую эксперт определил как первую по значимости, заносится в протокол с максимальным баллом.

Затем подсчитывается средний балл каждого свойства по всей группе экспертов (табл. 2). Количество экспертов - от 5 до 20 человек - определяется характером изучаемой деятельности и ответственностью практической задачи, стоящей перед психологом.

Таблица 2. Сводный результат экспертных оценок

Ранг	Оцениваемое свойство	Средний балл
1 ….. 30

Корреляционный анализ полученных результатов позволяет шля вить структуру профессионально значимых свойств специа­листа (в представлении опытных профессионалов).

Приложение