§ 5. Экспертные методы

Экспертные методы — методы оценки, проводимые группой экспертов в условиях неопределенности или риска.

Предназначены для экспертной оценки товаров в случаях, когда Другие, ранее перечисленные методы неприменимы или неэкономич­ны. В торговой практике довольно часто складывается ситуация, ко­гда для принятия каких-либо решений в отношении конкретных това­ров имеющейся информации недостаточно или она частично недостоверна. Органолептические, измерительные и другие методы (например, органолептическая оценка товаров, вошедших в выборку) могут дать неполные, а порой и случайные сведения (вследствие слу­чайности отбора проб в выборке). Откладывать решение до появления точных расчетных методов невозможно. Тогда не остается другой альтернативы, как применение экспертных методов.

Экспертные методы основаны на принятии эвристических реше­ний, базой для которых служат знания и опыт, накопленные экспер­тами в конкретной области в прошлом. Этим эвристические методы отличаются от расчетных методов, основанных на решении формали­зованных задач.

Как и другим методам, применяемым при товарной эксперти­зе, экспертным методам присущи определенные достоинства и недостатки.

Достоинством этих методов является то, что они позволяют прини­мать решения, когда более объективные методы неприемлемы. К другим достоинствам относится их воспроизводимость. Сфера применения этих методов — не только оценка качества товаров (потребительских и про­мышленного назначения), но и исследование операций технологического цикла, принятие управляющих решений, прогнозирование.

Указанные сферы применения экспертных методов имеют непо­средственное отношение и к товарной экспертизе. Так, для принятия решения о качестве товара или его количественных и качественных характеристиках эксперту необходимо исследовать отдельные опера­ции или комплекс операций технологии производства, упаковки, хра­нения, подготовки к продаже и реализации. При составлении заклю­чения с рекомендациями в отношении обследованного товара эксперт обязательно принимает определенные управленческие решения (ре­комендации о выпуске с производства и/или на реализацию либо об отправке на промпереработку или уничтожение и т. п.).

Довольно часто экспертам приходится прогнозировать дальней­шее продвижение товаров на рынке, предполагаемый спрос на них, и здесь экспертные методы оказываются незаменимыми. Это обуслов­лено тем, что в ряде случаев экспертные оценки отражают не сущест­вующую, а прогнозируемую ситуацию.

Экспертные методы, применяемые квалифицированными экспер­тами, позволяют дать точную и воспроизводимую оценку товаров-

Проведенные эксперименты свидетельствуют, что при правильной методике экспертной оценки погрешность результатов составляет 5- 10% и соизмерима с допустимыми погрешностями измерительных методов. Полученные экспериментальным путем результаты эксперт­ах оценок в разных группах экспертов показали их достаточно вы­сокую воспроизводимость.

К недостаткам экспертных методов относятся субъективизм, ог­раниченность применения, высокие затраты на их проведение.

Субъективизм экспертных методов является следствием того, что экспертная оценка проводится каждым экспертом индивидуально и представляет, по мнению Э.П. Райхмана и Г.Г. Азгальдова «не что иное, как его психологическую реакцию на физические и химические характеристики продукции» [30]. Однако следует иметь в виду, что экспертная оценка складывается из мнений нескольких экспертов, каждый из которых является не только специалистом в определенной области знаний, но и потребителем. Поэтому экспертная оценка в оп­ределенной мере отражает и мнение потребителей, что невозможно осуществить при других методах.

Кроме того, любые методы, даже называемые объективными, несут в себе элементы субъективизма. Так, при применении одного из наиболее объективных методов — измерительного — настройку приборов, работу на них, снятие результатов (измерений) произво­дит субъект — сотрудник лаборатории, действия которого отно­сятся к факторам, влияющим на систематические, случайные и грубые погрешности.

Поэтому представление о субъективности и объективности тех или иных методов носит относительный характер. Дело скорее в сте­пени субъективности и объективности разных методов.

Существуют экспериментально зафиксированные совпадения экс­пертных оценок с оценками качества некоторых видов продукции, Полученными при массовом опросе потребителей.

Э.П. Райхман и Г.Г. Азгальдов считают, что «экспертный метод — способ регистрации сложившегося положения вещей» [30].

Вследствие значительной доли субъективизма экспертные методы. Имеют определенные ограничения. Их использование рационально в двух случаях: когда поставленные перед экспертами цели не могут быть решены другими методами и когда имеющиеся альтернативные методы дают менее точные и достоверные результаты или связаны с большими затратами.

Для устранения этого недостатка экспертные методы при прове­дении товарной экспертизы совмещаются с другими методами. Наи­более часто вместе применяются экспертный и органолептический методы. Более того, при разработке шкал органолептической балль­ной оценки, выборе номенклатуры показателей качества, определении коэффициентов весомости экспертные методы незаменимы.

Сочетание органолептического и экспертного методов, отличаю­щихся высокой степенью субъективизма, позволяет получать наибо­лее точные результаты, что невозможно при применении измеритель­ных методов.

Экспертные методы достаточно трудоемки, что и определяет по­вышенные затраты на их применение. Составление групп экспертов осуществляется путем отбора их по результатам экспертного опроса и/или профессиональной компетенции. Если в определенной сфере народного хозяйства необходима постоянная и систематическая дея­тельность экспертов, то следует обучать их именно для этой деятель­ности с последующей аттестацией. Примером может служить подго­товка экспертов для проведения сертификации продукции и услуг в определенной сфере (продукции пищевой промышленности, услуг общественного питания и т. п.). Однако эти затраты окупаются той прибылью, которую получает торговая или иная организация в ре­зультате правильно выполненных экспертных оценок.

Классификация экспертных методов

Экспертные методы, применяемые на разных этапах проведения товарной экспертизы, неодинаковы и отличаются целью их использо­вания, конечным результатом и его документальным оформлением- Классификация экспертных методов в зависимости от указанных при­знаков представлена на рис. 14.

Указанные на рисунке методы применяются последовательно. В за­висимости от целей экспертизы эти методы могут использоваться по упрощенной или, наоборот, усложненной процедуре, а в ряде случаев отдельные методы могут вообще исключаться. Так, при проведении то-

_Барных экспертиз аттестованными экспертами органов по сертифика­ции или системы ТПП процедура их оценки и отбора осуществляется _по упрощенному документальному методу. Опрос экспертов и математико-статистические методы не применяются совсем.

Методы оценки и отбора экспертов

Подготовительный этап экспертизы заключается в создании формализованной модели экспертизы и материально-техническом обеспечении отдельных ее этапов. Несмотря на многообразие таких моделей, что обусловлено разнообразием объектов экспертизы и ре­шаемых проблем, возможно ориентировочно наметить следующие операции, осуществляемые инициаторами проведения экспертизы, специалистами, входящими в рабочую группу аналитиков, или руко­водством экспертной организации: формулирование целей и задач, формирование рабочей группы аналитиков, оценка и отбор (назначе­ние) экспертов для проведения экспертизы.

На подготовительном этапе применяются методы оценки и отбора экспертов.

Отбор и формирование группы экспертов начинается с опреде­ления области их компетенции, что позволяет надеяться на достаточ­ную степень надежности экспертов, включаемых в экспертную груп­пу. При формулировании целей и задач устанавливаются области знаний, которые обеспечивают решение проблемы. Исходя из этого, составляется список кандидатов в эксперты, включающий специали­стов, компетентных в данной области знаний и имеющих практиче­ский опыт работы в решении аналогичных проблем. Как отмечалось, эксперт должен отвечать определенным требованиям, а в отдельных случаях и быть аттестованным в определенной системе. Кроме того, могут учитываться служебное положение, стаж работы, профессия.

После составления списка кандидатов в эксперты проводится Оценка их качества или соответствия установленным требованиям. В литературе приводится несколько методов такой оценки, но, по на­шему мнению, наиболее полная оценка достигается с помощью сово­купности методов (рис. 15), предложенных Э.П. Райхманом и Г.Г. Азгальдовым [30]

Рис. 14. Классификация экспертных методов

Рис. 15. Методы оценки качества экспертов Методы оценки качества экспертов подразделяются на пять групп:

• эвристические;

• статистические;

• тестовые;

• документальные;

• комбинированные.

Каждая из указанных групп делится на виды (частные оценки) методы их получения.

Эвристические оценки — оценки, назначаемые человеком и основанные на предположении правильности отражения качества экс­перта через оценку окружающих или самооценку.

Различают следующие виды эвристических оценок: самооценка оценка аргументированности и знакомства с объектом экспертизы, взаимооценка, оценка рабочей группой.

Самооценка — вид и метод эвристической оценки компетентно­сти самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение само­оценки членов группы. В то же время следует иметь в виду, что само­оценка отличается значительной субъективностью, а это влечет опре­деленные ее недостатки. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной само­оценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение ре­зультатов самооценки и взаимооценки.

Для снижения субъективизма самооценку проводят дифференци­рованно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знаком­ства и аргументированности. Для экспертной оценки товаров само­оценку эксперта рекомендуется определять с учетом его информиро­ванности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки» (приложение 3). Эксперт отмечает регуляр­ность чтения перечисленных в анкете источников информации и сте­пень знакомства с оцениваемой продукцией.

Самооценка вычисляется по формуле [30]:

где К_сам. э — коэффициент самооценки /-го эксперта;

М_э — весомость показателей информированности и знакомства;

К_э— оценка, зависящая от степени информированности и степени знакомства.

Примеры расчета К_сам. _э приведены в приложении 4.

Оценка аргументированности и знакомства с объектом экс­пертизы — вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждо­го из этих факторов в виде оценочных анкет.

Взаимооценка — вид и метод эвристической оценки, определяе­мой как средняя из оценок, назначаемых другими экспертами. Пред­назначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная взаимосвязь между компетентностью эксперта и его усредненной оценкой, полу­ченной от коллег.

Сущность этого вида оценки заключается в том, что каждый экс­перт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.

В зависимости от числа экспертов в группе применяются две раз­ные процедуры:

• при численности менее 15 экспертов в группе каждый эксперт оценивает всех остальных;

• при численности 15 экспертов и более заполняется специальная анкета, в которой эксперты по квалификации разделены на три группы — выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6—8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 — самый квалифицированный эксперт, 2 — следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершен­но неквалифицированный) с точностью до 0,5 балла. Недостатки взаимооценки:

• эксперты могут недостаточно знать друг друга;

• на результаты оценки могут влиять взаимные симпатии или ан­типатии;

• эксперты, как правило, стремятся избегать сверхвысоких и сверх­низких оценок;

• неоднозначность восприятия понятия «качество эксперта» 9»

Для уменьшения указанных недостатков рекомендуется:

• применять взаимооценку только в тех группах, где большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, рекомендуется ставить прочерк в соответствующей графе;

• проводить анонимное анкетирование;

• разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;

• знакомить экспертов со структурной схемой свойств и их частных оценок.

Оценка эксперта рабочей группой — вид и метод эвристической оценки, предназначенной для количественной характеристики заин­тересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводя­щими опрос экспертов. При этом они оценивают отношение экспер­тов к проводимой экспертизе и их активность при обсуждении оце­нок. Оценки рабочей группой целесообразно выносить по 10-балль­ной шкале.

Статистические оценки — оценки, полученные в результате обработки суждений экспертов об объекте оценки.

Эти оценки применяются с целью уменьшения по мере возможно­сти погрешностей, возникающих при экспертных оценках. Их необ­ходимость обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных вели­чин с известными, при экспертных методах зачастую отсутствует из­вестная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.

В то же время на точность экспертных оценок, как отмечалось, влияет множество объективных и субъективных факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.

Систематическая погрешность — постоянно повторяемая часть погрешности. Основной причиной ее возникновения яв­ляется недостаточная или неправильная информированность экспер­тов. Снизить ее можно путем ознакомления эксперта с необходимо*¹ ^формацией перед началом экспертизы или путем проведения инст­руктажа, а также обсуждения, в ходе которого эксперт получает до­полнительную информацию от специалистов-аналитиков или других экспертов. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.

Случайная погрешность зависит от психолого- физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов. Следует также учесть, что систе­матическая погрешность эксперта является случайной погрешностью групповой экспертной оценки, уменьшить которую можно путем ус­реднения оценок группы. В конечном счете, это позволяет повысить точность оценки качества.

Различают следующие виды статистических оценок: оценка по отклонению от среднего мнения экспертной группы; оценка объек­тивности эксперта.

Оценка по отклонению от среднего мнения экспертной груп­пы — оценка, основанная на предпосылке, что действительным зна­чением групповой экспертной оценки является средняя оценка экс­пертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается ка­чество эксперта, давшего эту оценку.

Индивидуальные экспертные оценки могут быть двух типов:

• ранжирование экспертом оцениваемых величин (в порядке убы­вания или возрастания);

• определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показате­лей качества каждому коэффициенту эксперты присваивают оп­ределенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы Может быть выражена через совокупность абсолютных отклонений (40, рассчитываемых как разница между средней групповой оценкой (*) и индивидуальной оценкой (х,):

Кроме того, может быть подсчитано среднеквадратичное откло­нение (S):

Чем больше Si, тем выше разброс индивидуальных оценок и, сле­довательно, меньше согласованность между экспертами в группе.

При этом методе может быть оценена степень надежности экспер­тов.

Под степенью надежности эксперта понимается отно­сительная частота случаев, когда эксперт приписал наибольшую ве­роятность гипотезам, которые в последствии подтвердились. Однако учитывая, что эксперт обычно работает в группе, вводят понятие об его относительной надежности (Н₀), которая рассчитывает­ся как отношение степени надежности данного эксперта (Н_и) к сред­ней степени надежности, вычисленной для некоторой группы экспер­тов (Н_с):

Оценка объективности эксперта — оценка соблюдения экспер­том принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характери­стика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредст­венной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от сред­него мнения экспертов.

Тестовые оценки — оценки с помощью тестирования психолого- физиологических особенностей экспертов.

Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта.

Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемле­мы. Недостаток их заключается в том, что полученные при тестиро­вании результаты невозможно сравнить с данными, полученными ка­ким-либо объективным методом.

При проведении таких оценок к тестам предъявляются следующие требования [30]:

, испытуемый эксперт должен понимать постановку тестовой зада­чи и условия, которым должно отвечать ее решение;

• вероятность случайного угадывания решения задачи должна быть близка к нулю;

• тестовая задача должна иметь точное решение;

• обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества про­дукции.

Разновидностями тестовых оценок являются оценки воспроизво­димости результатов, квалиметрической компетентности эксперта, объективности корректирования своих оценок.

Оценка воспроизводимости результата — оценка степени бли­зости индивидуальных оценок эксперта, проведенных через опреде­ленные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравни­ваются оценки одного и того же эксперта в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.

Известен случай, когда при проведении международной дегустации вин во Франции была проведена оценка воспроизводимости результа­тов у дегустатора-женщины, одного из членов российской делегации, под предлогом утраты ранее полученных данных. Результаты трех­кратной оценки были поразительными: испытуемый эксперт на трех повторных дегустациях одних и тех же проб вин показал высокую вос­производимость результатов — с точностью до нескольких сотых бал­ла. Это объяснялось не только высокой компетентностью эксперта, но и такими индивидуальными свойствами, как отличная память на вкусы и запахи, высокие пороги ощущения показателей.

Необходимо учитывать следующее: промежуток между турами Должен быть невелик, чтобы исключить влияние возможной новой Информации, изменяющей суждения эксперта, но в то же время дос­таточен, чтобы он забыл данные оценки в предыдущем туре.

Оценка воспроизводимости результатов может быть обработана при помощи коэффициентов ранговой корреляции.

Оценка квалиметрической компетентности эксперта оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может про­водиться путем устного или письменного контроля знаний с ис­пользованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:

• умение использовать разные типы оценочных шкал;

• умение определять субъективные вероятности;

• умение различать достаточное число градаций оцениваемого свойства.

1. Умение использовать разные типы шкал (порядка, отношений, интервалов) очень важно, так как достаточно часто экспертные оцен­ки проводятся путем ранжирования показателей качества товаров (например, вкус очень сладкий, сладкий, слабовыраженный, неслад­кий). Эксперты, не умеющие оперировать некоторыми видами шкал, должны быть отклонены на этапе формирования рабочих групп. На­пример, в проведении органолептического анализа не могут участво­вать эксперты, не различающие основные вкусы и запахи Умение определять субъективные вероятности — способность эксперта оценивать вероятность наступления определенных событий. Эта способность у разных людей различна. Эксперты, у которых та­кая способность отсутствует, не должны привлекаться к экспертизам, связанным с прогнозированием. Субъективную вероятность иногда еще называют субъективной уверенностью, которая предполагает, что в этом заключается один из способов повышения точности эксперт­ных оценок.

2. Умение различать достаточное число градаций оцениваемого свойства — способность эксперта улавливать различия в интенсив­ности проявления каждого свойства. Эта способность в значитель­ной мере обусловлена чувствительностью эксперта к самым незна­чительным изменениям свойств и показателей объектов экспертизы- Например, при органолептическом анализе дегустаторов проверяют на умение выявлять разницу во вкусах, запахах, оттенках цвета й

д. Тренированный глаз эксперта может различать до 30 оттенков белого цвета. От способности эксперта различать градации оцени­ваемого свойства зависит также точность индивидуальных и груп­повой оценок, поэтому тестовые испытания по выявлению указан­ий способности должны помочь отобрать в экспертную группу специалистов высокого качества.

Оценка объективности корректирования своих суждений — способность экспертов оценивать испытуемый объект независимо от оценок других экспертов; необходима для выявления отсутствия у эксперта конформизма.

Конформизм (лат. conformis — подобный, сходный) — при­способленчество, пассивное принятие существующего порядка, мне­ния большинства, отсутствие собственной позиции, некритическое следование общим мнениям, тенденциям, авторитетам.

При экспертной оценке конформизм играет отрицательную роль, поэтому качество эксперта определяется также отсутствием у него этого свойства. Для проверки применяют метод подставной группы, в задачи которой входит вынесение заведомо ложных (неверных) суж­дений об испытуемом объекте. Например, члены подставной группы при опробовании дистиллированной воды всеми членами экспертной группы утверждают, что она обладает слегка горьким вкусом. После чего проверяется оценка испытуемых экспертов.

Степень приближения оценки испытуемого эксперта к оценке подставной группы характеризует меру его конформизма. При этом важным условием применяемого метода подставной группы является то, что испытуемый эксперт не должен подозревать о ее заведомо ложной оценке.

Оценки объективности эксперта (К_кон) могут быть рассчитаны по Формуле:

где С! — количество ошибок испытуемого при самостоятельной оценке объекта;

С₂ — количество ошибок испытуемого при оценивании того же объекта совместно с подставной группой Следует отметить, что другие методы оценки объективности пок_а еще не разработаны, а рассмотренный метод подставной группы _в связи с определенными этическими проблемами применяется нечасто К достоинствам указанного метода относится его обучающий харак­тер: испытуемому эксперту после доведения результатов оценки объ­ясняют, что была смоделирована ситуация, когда определенная часть экспертов в группе могла в силу даже объективных причин высказы­вать ошибочное мнение. В результате этого эксперт подготавливается психологически к такой ситуации.

Документальные оценки — оценки эксперта, основанные на документальном подтверждении соответствия его установленным требованиям.

Документальное подтверждение таких требований может быть представлено способами, указанными в табл. 4

В необходимых случаях может быть представлен список научных работ эксперта, отмечено участие его в конференциях, симпозиумах, совещаниях разного уровня, а также состояние здоровья, отражаю­щееся на работоспособности, и др.

Документальные оценки не играют самостоятельной роли, а лишь дополняют другие группы оценок качества эксперта. Это обусловлено тем, что часть информации, содержащейся в докумен­тах, по сути дела, дублирует самооценку, взаимооценки и другие частные оценки. Кроме того, документальная оценка в значитель­ной мере определяется областью работы эксперта и не всегда на­прямую коррелирует с его компетентностью. Так, кандидат в экс­перты может занимать достаточное и даже высокое служебное положение, но при этом не обладать индивидуальными качествами для экспертных оценок (например, не обладает сенсорной чувстви­тельностью).

Комбинированные оценки — оценки, основанные на совмест­ном использовании разных методов оценки качества экспертов.

Рассмотренные ранее методы и виды оценки качества экспертов обладают определенными достоинствами и недостатками. Их совме­стное использование позволяет усилить достоинства и смягчить не­достатки отдельных методов.

Необходимость применения комплексных оценок качества экс­пертов объясняется разнообразием предъявляемых к ним требова­ний, каждое из которых может быть объективно оценено одним или несколькими методами. Однако не каждый применяемый ме­тод позволяет дать количественную характеристику отдельных свойств эксперта. К тому же степень разработки и применимости предлагаемых методов неодинакова. Наиболее разработаны и при­менимы для практического использования три эвристические °Денки (самооценка, взаимооценка и оценка рабочей группой), две статистические оценки, которые целесообразно применять для Комбинированных оценок экспертов.

Для сведения частных оценок в комплексную целесообразно ис­пользовать формулу средневзвешенной. Весомость частных оценок Может быть определена группой специалистов, профессионально за­нимающихся методологией экспертных оценок Исходя из этого, комплексную оценку качества экспертов (ig можно рассчитать по формуле

Кэ = М_сам Ксам + М_вз К_ю + М_рг К_рг + Мое Кос + М_вр К_вр,

где М — коэффициенты весомости частных оценок: сам — самооцен­ки; вз — взаимооценки; рг — оценки рабочей группой; ос — оценки отклонения от средней; вр — оценки воспроизводимости результатов-

К — значения соответствующих частных оценок.

Анализ частных оценок, полученных экспертом, может свиде­тельствовать о его качестве. Так, сочетание высокой самооценки (Кс ам) с низкой оценкой рабочей группой (К_рг) свидетельствует о не­достаточно серьезном отношении к работе, чрезмерной самоуверен­ности. Высокие оценки рабочей группой (К_рг), воспроизводимости ре­зультатов (К_вр) с низкой оценкой отклонений от средней (К_ос) означают неправильную информированность эксперта.

При комбинированной оценке в зависимости от ее целей могут быть использованы не все, а лишь отдельные частные оценки. Напри­мер, при выборе лучших кандидатов в экспертную группу нельзя получить оценки К_рг, Ко_С, К_вр до начала экспертизы, тогда ограничи­ваются упрощенной комбинированной оценкой, зависящей от само­оценки (К_сам) и взаимооценки (К_вз).

Кроме указанных возможны и другие способы расчета комплекс­ных оценок [30].

Число экспертов. Точность групповой экспертной оценки во многом зависит от числа экспертов в группе. Чем больше экспер­тов, тем выше точность и достоверность оценки. Однако с увеличени­ем их числа возрастают затраты на проведение экспертизы, появля­ются сложности в выявлении согласованного мнения экспертов.