Глава 4. Методы товарной экспертизы

В связи с этим возникает необходимость установления опти­мального числа экспертов в группе при одновременном обеспече­нии достоверности полученных результатов. Исследованию данной проблемы посвящено значительное количество работ, авторы ко­торых называют минимальное предельное число экспертов в груп­пе от 5 до 40 человек, а в отдельных работах — даже до 500—700 человек [16, 30].

Приведенные данные свидетельствуют об отсутствии единства мнений в вопросе о численности экспертных групп. Кроме точности и достоверности экспертных оценок, на численность групп экспертов влияет еще ряд факторов: , допустимая трудоемкость опроса; , возможность управления экспертной группой; , возможности организации, в которой формируется экспертная

группа.

В последние годы разработаны расчетные формулы численности экспертов, но они довольно трудоемки, основаны на значительных допусках и предположении, что качество всех экспертов в группе одинаково.

Один из распространенных расчетных методов базируется на оп­ределении экономической эффективности экспертизы. При этом про­водится сравнение экономического эффекта от повышения точности экспертной оценки с дополнительными затратами, вызванными уве­личением числа экспертов.

Другой способ определения численности экспертной группы ос­нован на выявлении корреляционной зависимости между численно­стью экспертной группы и средней групповой ошибкой (рис. 16).

С помощью кривых можно выбрать минимально допустимое чис­ло экспертов. Однако эта кривая не имеет универсального характера, и для каждой конкретной экспертизы характерны свои особенности.

На практике указанные способы определения численности экс­пертов применяются довольно редко, а ограничиваются численно­стью групп 8-12 человек. При формировании экспертных групп также зачастую не учитывается и качество экспертов, хотя и существуют рекомендации о подборе их с учетом компетентности. Группа не Должна состоять из представителей узкой специальности, поскольку их мнение может быть тенденциозным.

Кроме того, необходимо обращать внимание на степень сложно­сти объекта экспертизы и наличие у экспертов необходимых квали­фикации, опыта работы. Должны учитываться и личностные отноше­ния между экспертами.

При отборе экспертов важное значение имеет их предыдущий опыт участия в аналогичных экспертизах, а также наличие соответствующей тренировки и обучение в кандидаты эксперта.

1,0 ■

04 1 1 1 1 1 III

1 5 9 13 17 21 25 29

Однако при любом методе формирования экспертных групп от­сутствует полная гарантия высокой достоверности получаемой от экспертов информации. Основная цель формирования экспертных групп — обеспечение процедуры отбора экспертов, минимизирующей искажения информации, возникающие вследствие некомпетентности отобранных специалистов или их нежелания давать достоверную и надежную информацию.

Методы экспертной оценки товаров

На основном этапе, предназначенном для получения результатов экспертных оценок, применяются две подгруппы методов: 1) экс­пертной оценки характеристик товаров и 2) опроса экспертов для вы­явления их суждений и мнений.

Методы экспертной оценки характеристик товаров. Поскольку одним из оснований для проведения экспертизы является невозможность или неэкономичность применения объективных методов оценки (изме­рительного, регистрационного, расчетного), результаты экспертных оце­нок, отражающих суждения и мнения экспертов, обычно выражаются в форме описаний или условных единиц (баллов, рангов и т. п.). В связи с этим наиболее распространенной сферой применения методов эксперт­ной оценки товаров являются такие подвиды товароведной экспертизы, как идентификационная экспертиза и экспертиза по качеству. Количест­венная и документальная экспертизы могут быть проведены и объектив­ными методами путем использования средств измерений или пересчета, а также методом сравнительного анализа документов.

Идентификационная экспертиза и экспертиза по качеству осуществ­ляются путем определения показателей качества. Определение экспер­тами количественной характеристики показателей без применения объ­ективных методов основывается на мыслительном исследовании этих показателей с использованием шкал порядка или наименований, а в не­которых случаях — шкал разницы и отношений. При этом эксперты мо­гут оценивать единичные и/или комплексные показатели качества, при­меняя дифференцированный и комплексный методы.

Методы экспертной оценки показателей качества товаров — это методы определения действительных значений единичных и ком­плексных показателей качества.

Данные методы предназначены для определения значений показа­телей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов или длительного времени испытаний. На­пример, при определении вкуса и запаха пищевых продуктов исполь­зуются только органолептические методы. Измерительные методы не Дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значи­тельно отличающихся по качеству, рекомендуется определять значе­ние единичного показателя Р дифференциальным методом.

Дифференциальный метод оценки показателей качества — Метод, основанный на сравнении действительных значений единич­ных показателей с базовыми значениями тех же показателей:

где —действительное значение исследуемого единичного показателя; Р? — базовое (эталонное) значение того же показателя.

При дифференциальном методе фактически определяется уровень качества, если за базовое значение выбрано регламентированное нор­мативным документом значение показателя качества или базовый об­разец. При этом эксперт должен дать ответ: уровень качества по ис­следуемому показателю выше или ниже либо равен базовому образцу.

Сфера применения дифференциального метода выходит далеко за рамки только экспертной оценки. Он находит широкое применение и в научных исследованиях, и при оценке специалистами конкуренто­способности товаров. Действительные значения единичных показате­лей могут быть получены измерительным методом, а затем рассчита­ны и проанализированы специалистами или экспертами.

Вместе с тем использование данного метода при экспертной оценке имеет определенные особенности.

Оценка единичных показателей качества экспертами начинается с определения допустимых интервалов их измерения (Р,^макс: р₍.^мин) р.^макс — наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого зна­чения показателя (р_{.^макс) зависят от целей оценки качества. При этом не­обходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют много­ступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработ­ки согласованных решений на предыдущей ступени.

Экспертная процедура определения допустимых значений показа­телей качества состоит из следующих операций:

• выдача экспертам анкет пояснительной записки, в которой пере­числены показатели качества и описаны принципы выбора допус­тимых значений показателей;

• заполнение экспертами анкет и указание конкретных моделей про­дукции, значения которых они считают предельно допустимыми;

• ознакомление каждого эксперта с оценками, назначенными другими экспертами, и их обсуждение;

• проведение второго (иногда третьего и четвертого) тура анкети­рования;

• усреднение результатов оценки.

При значительном разбросе мнений проводится дополнительный _тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений Р,^макс, за минимальное допустимое значение — среднее из 50% наименьших значений РГ"¹. Полученные зна­чения используются экспертами при определении оценок показателей качества К.

Для установления экспертами вида зависимостей (/) между зна­чениями показателей Р, и их оценками К,- нередко используется ме­тод главных точек. Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упро­щает работу эксперта и позволяет ему дать оценки некоторым ха­рактерным точкам, исходя из которых можно построить модель искомой величины.

Комплексный метод оценки показателей качества — метод, основанный на установлении наиболее значимых для оценки качества единичных показателей, определении их действительного и средне­взвешенного значений комплексного показателя с учетом коэффици­ентов весомости.

Расчет комплексного показателя качества (0 осуществляется по формуле

где Р\,Р₂, ..., Р_п — действительные значения показателей качества; К_в1, К_в2, ..., К_в„ — коэффициенты весомости этих показателей. При необходимости рассчитать уровень качества по комплексно­му показателю в формулу вводятся уровни качества единичных пока­зателей У_к, определенные дифференциальным методом:

Применение комплексного метода требует обоснованного выбора номенклатуры показателей качества товаров.

Эти показатели подразделяются на оценочные, идентификацион­ные и ограничительные.

Оценочные показатели — показатели потребительских свойств обладающие способностью удовлетворять основные потребности.

Данные показатели используют при необходимости оценки уров­ня качества и конкурентоспособности товаров, а также для позицио­нирования их на определенном сегменте рынка и проведении товаро­ведной экспертизы по качеству.

Идентификационные показатели — показатели потребитель­ских свойств, предназначенные для систематизации товаров и отнесе­ния их к определенным классификационным группировкам.

Такие показатели чаще применяются при проведении идентифи­кационной экспертизы.

Ограничительные показатели — показатели, предназначенные для ограничения установленных требований.

Выбор этих показателей определяется целями товарной эксперти­зы, а ограничения устанавливаются соответствующими нормативны­ми методами. Достаточно часто действительные значения ограничи­тельных показателей качества получают измерительными методами, а в задачи экспертов входит лишь сравнение результатов испытаний с установленными требованиями. При этом коэффициенты весомости комплекса испытуемых показателей не учитываются.

Ограничительные показатели находят широкое применение при обязательной сертификации по показателям безопасности, а также при санитарно-эпидемиологической, ветеринарной, фитосанитарной и экологической экспертизах. В ряде случаев они могут применяться и в таких разновидностях товароведной экспертизы, как идентификаци­онная и по качеству. Например, при установлении принадлежности алкогольного напитка к водке используют следующие ограничитель­ные показатели: минимально допустимое содержание этилового спирта и максимально допустимое содержание сивушных масел и ме­тилового спирта.

Выбор номенклатуры показателей качества товаров и их эксперт­ная оценка могут осуществляться двумя методами: экспресс-методом и методом движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов това­ров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифи­цированного эксперта является 7-9 показателей, расположенных на од­ном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показа­телей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки представляет со­бой комплекс операций, осуществляемых последовательно, с посте­пенным повышением уровня. При этом анализ начинается от нижне­го уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень — комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предва­рительном определении экспертами коэффициентов весомости пока­зателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплекс­ных показателей аналогична процедуре по методу движения по уров­ням без подготовки.

Метод главных точек в зависимости от их числа имеет несколь­ко разновидностей.

Метод трех главных точек — метод, основанный на разделении значений показателей Р, на максимальное, минимальное и среднее значения и определении значений оценок К, в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и по­строение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя ка­чества К,-. Данный метод позволяет разработать лишь приближенную Модель оценки К,-, ю*

Метод семи главных точек — метод оценки по семибалльной шкале определения показателей, значения которых установлены эксперт ментальным или расчетным путем, а также органолептическим методом

Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Такие шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анке­те приводят пять графиков. Эксперт выбирает кривую (или комбина­цию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости. Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями пока­зателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс «наивысшее качество» получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р, и их оценками К, а для показателей, оцениваемых органолептическими методами, — между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение метода главных точек дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Методы опроса

Методы опроса — методы, основанные на проведении анкетного опроса группы экспертов с последующим анализом и обработкой по­лученной от них информации.

Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора этих методов служит необходимость принятия сложных решений в ситуации неопределенности или со­_ставление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области _{1ЛЙ многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных то­варов). Важнейшими инструментами методов опроса служат его про­цедура и анкеты.

Разработка процедуры опроса проводится после формулирова­ния целей и задач, формирования группы аналитиков. Для этого со­ставляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке.

При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность ре­зультатов экспертизы, причем с ростом степени детализации согласо­ванность экспертных оценок, как правило, увеличивается. Однако из­лишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.

Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без от­ветов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экс­пертов новых, порой неожиданных для аналитиков аспектов проблемы.

Конкретный вопрос с определенным набором готовых альтернатив­ных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характе­ре набора ответов задача эксперта заключается в выборе из предлагае­мых элементов ответов, которые, по его мнению, наиболее полно отра­жают суть проблемы по данному вопросу. При количественном Характере набора ответам на вопросы присваивают числовые значения.

При подборе признаков, которые желательно включить в анкету нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение су­ждений по некоторому признаку имеет значительное стандартное откло­нение, можно предположить, что данный признак двусмыслен.

Все вопросы в анкете можно разделить в зависимости от их со­держания на три группы:

• объективные анкетные данные об эксперте — возраст, образование, профессия, стаж работы, научное звание, узкая специализация;

• характеристики, позволяющие оценить мотивы, которыми руко­водствовался эксперт при оценке исследуемой проблемы;

• основные вопросы, касающиеся существа исследуемой проблемы. В зависимости от широты охвата методы опроса экспертов подраз­деляются на индивидуальные и групповые, а от наличия или отсутст­вия обсуждения результатов оценки в экспертной группе, его характе­ра, обоснования оценок, личных контактов и опрашиваемых субъектов различаются несколько способов экспертного опроса (рис. 17).

Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожи­даемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость.

Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы.

В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким спосо­бам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристраст­ного и последовательного анализа проблем. Оценка основана на ком­промиссе между суждениями отдельных экспертов, поэтому способ кол­лективной экспертной оценки редко применяется при опросе экспертов.

Рис. 17. Классификация способов экспертного опроса

Критерий информированности относится к важнейшим факто­рам, влияющим на качество эксперта, а также на надежность прини­маемых им оценок. Повышению информированности экспертов спо­собствует их взаимное обогащение в ходе обсуждения оценок Логические доводы других экспертов, сообщаемая при этом дополни­тельная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку.

Исходя из этого, наиболее удачными по критерию информирован­ности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обосно­вание их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конфор­мизма). Во всех случаях при учете критерия информированности экс­пертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния.

Критерий трудоемкости зависит от количества проводимых опе­раций, их продолжительности и характера. Так, при письменном обос­новании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов.

Способы и техника опроса экспертов. При индивидуальном оп­росе технический работник проводит опрос каждого эксперта, а при групповом — сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использо­ваны для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы.

Индивидуальный опрос каждого эксперта в группе связан с по­вышенной трудоемкостью, значительными затратами времени и раз­бросом суждений, что затрудняет выявление объективной и досто­верной экспертной оценки.

При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше.

В зависимости от технических приемов анкетирования индивиду­альный опрос делится на следующие разновидности: интервью, ин­тервью-анкеты, анкетирование и смешанное анкетирование.

Достоинства и недостатки этих способов указаны в табл. 5. Инди­видуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов.

Таблица 5

Достоинства и недостатки разных способов опроса экспертов

Способы и разновид­ности опроса	Достоинства	Недостатки
Индивидуальный способ разновидности по тех­ническим приемам: интервью интервью-анкеты смешанное анкетирова­ние анкетирование Групповой способ	Возможность выявить все или большинство неясных вопросов, уточнить недостаточно сформулированные; использовать техниче­ские приемы Сокращение затрат вре­мени экспертов и рабо­чей группы, снижение критерия трудоемкости	Высокие затраты вре­мени и критерий трудо­емкости. При первич­ном опросе эксперт может задавать нечетко сформулированные во­просы, увеличивающие трудозатраты. Возможно снижение объективности Невозможность ис­пользования техниче­ских приемов

Интервью — разновидность опроса эксперта для выявления его оценки в ходе свободной, но проводимой по определенной программе беседы с экспертом.

Интервью-анкета — разновидность опроса эксперта путем по­становки перед ним конкретных вопросов в определенной последова­тельности, задаваемых в форме анкеты.

Анкетирование — разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с рабочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.

Смешанное анкетирование — разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости).

По информативности наибольшими возможностями обладают та­кие методы, как интервью, интервью-анкета и смешанное анкетиро­вание, а по объективности — анкетирование. Минимальная объектив­ность свойственна интервью. Однако, исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидно­стей отдается в следующих случаях:

• при отсутствии ограничений времени проведения опроса целесооб­разно проводить интервью-анкету или смешанное анкетирование;

• при значительном числе экспертов и возможности собрать их всех вместе применяют анкетирование;

• при невозможности задать четко сформулированные вопросы, которые будут поняты всеми экспертами однозначно, а также при затруднениях эксперта выразить ответы на задаваемые во­просы в виде числовых оценок применяют смешанное анкети­рование.

При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса.

Общие требования к условиям опроса:

• благоприятная психологическая обстановка опроса, способствую­щая заинтересованности эксперта путем установления благожела­тельного контакта между опрашиваемым и проводящим опрос;

• исключение возможности сознательного или бессознательного навязывания эксперту мнения членов рабочей группы или других экспертов;

• обеспечение уверенности эксперта в том, что выносимые оценки не будут использованы в неблагоприятных для него целях; в от­дельных случаях может быть поставлено условие о конфиденци­альности информации об оценках эксперта;

создание и поддержание оптимальной трудоемкости опроса путем выполнения экспертами только творческих, наиболее сложных оценочных операций и передачи вспомогательных расчетных, графических, других операций техническому персоналу рабочей группы;

понимание экспертом задаваемых ему вопросов с помощью необ­ходимого инструктажа, а в отдельных случаях и предварительно­го, тренировочного опроса;

постановка четко сформулированных вопросов, не имеющих дву­смысленного характера и не требующих больших дополнитель­ных пояснений;

использование общепринятых терминов, по мере возможности стандартизированных, а при их отсутствии разъяснение новых или неоднозначно применяемых терминов. Специфические требовании:

а) к технике интервьюирования

- предпочтительное использование стандартизированного интервью,

- доверительность начала интервью, располагающая к откровенности,

- быстрота и экономичность при кодировании ответов эксперта членами рабочей группы;

- провоцирование экспертов на аргументацию своих оценок путем оспаривания его ответа;

б) к технике анкетирования

- обеспечение четкого и однозначного понимания экспертами ха­рактера выполнения операций путем приложения к каждой анкете пояснительной записки с определением целей и задач экспертизы,

- методов и последовательности выполнения операций;

- единообразие в составлении анкет и пояснительных записок для облегчения работы с ними;

- случайный характер перечисления свойств, которым эксперт должен дать числовые оценки, причем эксперты должны быть предупреждены об этом, в противном случае может иметь место бессознательное завышение оценок свойств, стоящих в списке первыми.

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколь­ко экспертных методов, получивших наибольшее признание и рас­пространение. К ним относятся методы Дельфы, ПАТТЕРН и комби­нированный.

Метод Дельфы (в некоторых источниках — Дельфи) — метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мне­ния по процедурам с недостаточной информацией.

Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее.

Особенностями метода Дельфы являются отказ от совместной ра­боты экспертов; анонимность оценок; регулирование обратной связи; групповой ответ.

Отказ от совместной работы экспертов и анонимность достигают­ся тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экс­пертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каж­дого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуаль­ных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта.

Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе.

Анонимность опроса позволяет уменьшить конформное и автори­тарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых ин­тересов. Введение обратной связи также повышает критерий объек­тивности и надежность оценок.

Проведение опроса в несколько туров с информированием экс­пертов о результатах предыдущих этапов работы, после которых каж­дый эксперт должен обосновать свое мнение, позволяет уменьшить колебания в индивидуальных и групповых ответах. Это дает неоспо­римые преимущества по сравнению с обычным усреднением индиви­дуальных оценок.

При использовании метода Дельфы к процедурам опроса предъявляются следующие требования:

_- поставленные вопросы должны допускать возможность выраже­ния ответа в виде чисел; - достаточная информированность экспертов для выставления оценок;

- наличие обоснований эксперта на каждый из заданных вопросов.

Достоинством рассматриваемого метода является повышение критерия объективности за счет анонимности ответов экспертов, бла­годаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после окончания очередного тура, а также обосно­вания собственных оценок. Выявление преобладающих мнений по­зволяет сблизить точки зрения разных экспертов, сформировать груп­повое, но не единое, мнение.

Недостатки метода, проявляющиеся на начальном этапе его при­менения, — нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопро­сов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок — были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы — Перт и др.). В результате этого метод Дельфы в на­стоящее время стал одним из наиболее применяемых, особенно для Целей прогнозирования, а также при изучении ряда экономических и социальных проблем.

При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его не­достатки: сложность опроса экспертов и заполнения анкет, трудоем­кость оценки в связи с большим количеством показателей качества (иногда до 20—40) и заполнением нескольких анкет (3—10), громозд­кость пояснительных записок из-за отсутствия прямого контакта организатора с экспертами.

Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случаях и нецелесообразно. Однако он перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.

Метод ПАТТЕРН — метод опроса экспертов, основанный на по­строении иерархической структуры — дерева целей и вынесении ре­шения этих целей после открытого обсуждения.

Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гг. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения.

Данный метод предусматривает несколько этапов.

1. этап — постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и так далее порядка, которые затем делятся на более узкие задачи. Деление про­должается до тех пор, пока не будут получены простые элементы, ко­торые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, на­зываемая деревом целей.

2. этап — определение с помощью экспертов коэффициентов ве­сомости (или значимости) каждой задачи относительно основной це­ли, при этом эксперты выносят решения после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с достоинством (взаимодейст­вие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действитель­ного мнения экспертов за счет внушения или приспособления к мне­нию большинства.

3. этап — применение компьютеров для обработки полученных данных и их анализа.

Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального чис­ла членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барь­_еров для проявления конформизма экспертов; недостаточная разра­ботка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфы и ПАТТЕРН имеют существенные не­достатки и не отвечают полностью целям экспертной оценки, Э.Л. Райхман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки [30].

Комбинированный метод — метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

При экспертной оценке товаров комбинированный метод имеет следующий алгоритм операций:

Достоинствами комбинированного метода, наряду с вышепере­численными, являются также достаточная гибкость, позволяющая ис­ключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их вы­полнению, высокая воспроизводимость результатов.

К недостаткам метода относится многооперационность, требующая значительных затрат времени и средств. Однако этот не­достаток окупается высокой достоверностью и воспроизводимо­стью результатов.

Автор не ставит своей целью подробное описание каждого мето­да. Для этого существует специальная научная литература [30], в ко­торой подробно рассматриваются экспертные методы, в том числе и комбинированный.

Однако один из элементов, общий для многих экспертных мето­дов, все же целесообразно рассмотреть подробно. Речь идет о коэф­фициенте весомости.

Коэффициент весомости — количественная характеристика сте­пени значимости конкретного показателя для оценки качества.

Определение коэффициентов весомости показателей качества проводится экспертным методом. Коэффициенты весомости предна­значены для повышения достоверности экспертной оценки качества товаров.

Каждый показатель занимает в номенклатуре показателей качест­ва по значимости определенное место. Например, для потребителей многих пищевых продуктов наибольшую значимость имеют вкус и запах, внешний вид, затем консистенция и содержание отдельных ве­ществ. Таким образом, оценивая товар при покупке, потребитель не­произвольно ранжирует показатели по степени их значимости на ос­новании прошлого опыта.

Такое ранжирование показателей по степени значимости эксперты осуществляют на основании профессиональных знаний и умений. Кроме того, любой квалифицированный эксперт стремится оценить показатели качества обследованного товара с позиций массового по­требителя.

Для определения коэффициентов весомости используются шка­лы порядка, интервалов и отношений, но наибольшие преимущест­ва перед другими имеет шкала порядка благодаря относительной простоте экспертной оценки показателей качества по степени зна­чимости.

Шкала порядка — шкала, предназначенная для упорядочива­ния (ранжирования) в возрастающем или убывающем порядке количественных характеристик свойств товаров и/или их коэффициентов весомости.

При определении коэффициентов весомости показателей каче­ства эксперты сначала оценивают наиболее важный из этих показа­телей (по их мнению) и присваивают ему определенное число, на­пример 1. Все последующие показатели оцениваются в убывающем или возрастающем порядке по степени значимости. Например, вто­рой по значимости показатель может получить значение 2 (или 0,5) и т. д. После этого данные всех экспертов усредняются по каждому показателю.

Наряду со шкалой порядка в практике оценки довольно часто ис­пользуется метод определения коэффициентов весомости, названный методом фиксированной суммы. Сущность его заключается в том, что эксперты назначают коэффициенты весомости показателей, входящих в показатель верхнего уровня, причем сумма этих коэффициентов должна быть равна заранее определенному числу:

Для корректировки результатов эксперты обычно делят коэффи­циент весомости каждого показателя на число, равное сумме всех ко­эффициентов весомости. Кроме того, можно уменьшать или увеличи­вать коэффициенты весомости отдельных показателей, пока ограничение не будет выполнено.

«Метод фиксированной суммы» целесообразно применять только при небольшом количестве сравниваемых показателей. Лимитирую­щим фактором при использовании этого метода являются трудовые затраты технического работника, а не экспертов.

Коэффициенты весомости показателей, составляющих иерархию, назначаются сначала для единичных показателей второго уровня от­носительно первого, затем третьего относительно второго и т. д. Лишь после этого определяются коэффициенты весомости единичных показателей первого уровня относительно качества в целом.

Приведенные выше способы определения коэффициентов весомости с использованием шкал порядка и отношений основаны на методе ¹¹- 7248 последовательных сравнений, при этом проводится два тура опросов Экспериментальными исследованиями установлено отсутствие значи­тельных различий результатов определения коэффициентов весомо­сти по обеим шкалам.

Практический опыт показывает, что при экспертной оценке каче­ства товаров наиболее целесообразно применять следующую проце­дуру определения коэффициентов весомости [30].

1. Предварительное ранжирование экспертами показателей од­нородной группы. Ранг 1 присваивается самому важному показателю, 2 — следующему по важности и т. д. Если показатели равнозначны по важности, им присваиваются одинаковые ранги. Количество показа­телей в однородной группе должно быть 4 и более. При меньшем ко­личестве ранжирование не проводится.

2. Определение экспертами коэффициентов весомости показате­лей. Показателю 1-го ранга присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя опре­деляется как доля важности первого показателя. При определении третьего и последующих показателей учитывается их важность по сравнению с предыдущими. В результате этих последовательных дей­ствий эксперт определяет коэффициенты весомости единичных, а за­тем комплексных показателей качества.

Ознакомление экспертов со значениями коэффициентов весо­мости (и их обоснованиями), назначенными другими экспертами.

Обоснование коэффициентов весомости — очень трудоемкая операция, поэтому применяется при ограниченном числе показате­лей (порядка 10—15). В противном случае экспертам предлагается дать обоснования только по некоторым показателям по их усмот­рению или такие обоснования приводятся лишь в случае необхо­димости.

После ознакомления с мнениями других экспертов во втором тур^е эксперт может ввести корректирование своих оценок, проставляя зна­чения показателей весомости.

3. Усреднение значений коэффициентов весомости, определенны* всеми экспертами. Его проводят технические работники путем расче­та среднеарифметической или средневзвешенной. В последнем случае учитывается комплексная оценка качества эксперта.

Конечным результатом применения методов опроса экспертов яв­ляется получение групповых оценок, на основании которых составля­ется обобщающее заключение экспертной группы.

Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количествен­ных и качественных аспектов проблем определения и/или прогнози­рования отдельных характеристик товаров или их совокупности. Взаимодействие между экспертами позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, по сравнению с информацией любого члена группы. К тому же количе­ство факторов, учтенных при групповой оценке и влияющих на ре­зультативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше вероят­ность ошибки принятия в качестве основных факторов и показателей, не имеющих существенного значения для решения проблемы. Поэто­му важным преимуществом групповой оценки является возможность получения обобщенного и более представительного результата.

В большинстве случаев групповая оценка более надежна, чем оцен­ка отдельного эксперта. Кроме того, коллективная ответственность по­зволяет специалистам принимать более рискованные решения. К недостаткам групповых оценок относятся:

• трудности в получении надежной и согласованной оценки;

• получение неодинаковых ответов на один и тот же вопрос с большим разбросом мнений из-за разной компетентности экс­пертов;

• получение однозначных ответов не гарантирует их обоснованно­сти и достоверности, причем при проведении экспертизы это не­возможно проверить;

• большое количество неверной информации у группы экспертов и чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах;

при обсуждении оценок или наличии информации об оценках Других экспертов велика возможность конформизма, когда от­дельные эксперты в силу неуверенности или иных причин могут соглашаться с мнением большинства.

Несмотря на указанные недостатки, экспериментально установлено, что при соблюдении определенных требований групповая и* оценка более надежна, чем индивидуальная. К таким требованиям относятся:

• приемлемое распределение оценок, полученных от экспертов и ука­зывающих на независимость их мнений, при этом должны быть ус­тановлены причины разных мнений и даны их обоснования;

• групповая надежность, выражающаяся в совпадении или близости конечных результатов, которые получены при обобщении оценок по определенной проблеме двумя подгруппами экспертов, вы­бранных случайным образом;

• подготовка экспертизы, снижающая систематические и случайные погрешности при ее проведении.

Приемлемое распределение оценок может быть рас­считано математико-статистическим методом для выявления грубых погрешностей (ошибок) и их устранения. При этом могут быть ис­пользованы «правило трех сигм» или статистические приемы оценки вариации в рядах распределения. Более подробно вопросы проверки согласованности и достоверности экспертных оценок рассмотрены в специальной литературе.

Групповая надежность оценок во многом определяется индивидуальной степенью надежности экспертов как одного из важ­нейших критериев их оценки.

На заключительном этапе проведения товарной экспертизы приме­няются три группы методов: математико-статистические, аналитические и методы документального оформления результатов экспертизы.

В этой главе подробно будет рассмотрена только первая из ука­занных групп. Аналитические методы как общенаучные методы под­робно разбираются в дисциплине «Теоретические основы товарове­дения», а методы-операции документального оформления результатов экспертизы в главе «Организация проведения товарной экспертизы».

Математико-статистические методы обработки экспертных оценок

Математико-статистические методы обработки экспертный оценок — методы, предназначенные для повышения достоверности результатов оценки качества товаров экспертами.

Подразделяются на четыре подгруппы методов: ранжирования, непосредственной оценки, последовательных предпочтений и парных сравнений.

ранжирование — метод, основанный на расположении объектов экспертизы в возрастающем или убывающем порядке.

Предназначен для решения многих практических задач, когда объ­екты, определяющие конечные результаты, не поддаются непосредст­венному измерению. Кроме того, отдельные объекты, характеризую­щиеся различной природой, оказываются несоизмеримыми, поскольку у них нет общей меры сравнения. Основанием для применения ранжи­рования служит необходимость упорядочения какого-либо объекта во времени и пространстве, а также в соответствии с измеряемым качест­вом без проведения точных измерений. И наконец, в ситуации, когда измеряемое качество в принципе не может быть измерено по причинам практического и теоретического характера.

Процедура ранжирования состоит в расположении экспертом объек­тов в наиболее рациональном порядке и присвоении им определенного ранга в виде чисел натурального ряда. При этом ранг 1 получает наибо­лее предпочтительный объект, а ранг п — наименее предпочтительный. В результате получается шкала порядка, в которой число рангов равно числу объектов. Если два объекта имеют одинаковые ранги, им припи­сывают так называемые стандартизированные ранги, которые рассчиты­ваются как среднее суммы мест объектов с одинаковыми рангами.

Например, шести объектам присвоены следующие ранги:

Объекты 2 и 5 поделили 2-е и 3-е места. Их стандартизированный Ранг будет равен

(2 + 3)/2 = 2,5.

Объекты 3, 4 и 6 поделили 4-е, 5-е и 6-е места, а их стандартизироваанный ранг равен 5:

(4 + 5 + 6)/3 = 5.

В результате получается следующая ранжировка:

Таким образом, сумма рангов S„, полученная в результате ранжи­рования п объектов, будет равна сумме чисел натурального ряда:

где х,- — ранг /-го объекта.

Метод ранжирования редко применяется в чистом виде. Чаще все­го он сочетается с методом непосредственной оценки или его моди­фикациями (ранжированием по сумме оценок, комбинированным способом и др.).

Метод непосредственной оценки состоит в том, что диапазон изме­нения какой-либо количественной переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка в баллах, например от 0 до 10. Эксперт должен включить каждый объект в определенный интервал в зависимости от его значимости.

В некоторых случаях для выбора наиболее предпочтительного фактора оказывается удобнее сначала провести оценку, а затем — ранжирование.

Метод последовательных предпочтений — метод, основанный на сравнении отдельного объекта с суммой последующих объектов для установления его важности.

Данный метод разработан У. Черчменом и Р. Акофом и предна­значен для проведения сравнений с учетом определенных допусков. Основные из этих допусков заключаются в следующем:

• каждому результату оценки объекта соответствует действитель­ное неотрицательное число V_h рассматриваемое как оценка ис­тинной значимости

• если результат Qi более важен, чем Q_k, то V,- > V_k, и если Qi равно­значен Qk, то Vi = Vk,

• если оценки V_t и V_k соответствуют результатам Q_{ и Qk, то оценка V_t + V_k соответствует общему результату Q_{ и Qk,

₉ если результат Q_t предпочтительнее Q_k или Qk предпочтительнее

Q_h то совместный результат Qi и Q_k предпочтительнее Q_t.

Порядок представления результатов или их группировка не влия­ют на предпочтения.

Процедура последовательных сравнений состоит в следующем. Эксперту представляется ряд объектов (показателей, факторов, резуль­татов), которые необходимо оценить по их относительной важности (значимости), и он производит ранжирование. Наиболее важному объ­екту присваивается оценка, равная 1, а остальным объектам — оценки ниже 1 до 0 в порядке их относительной важности. Затем эксперт уста­навливает, является ли объект с оценкой 1 более важным, чем сумма остальных факторов. Если важность объекта велика, то он увеличивает оценку Vi, чтобы она была больше, чем сумма всех остальных:

Если значимость объекта ниже, чем сумма всех остальных, то он корректирует оценки:

Далее аналогичной процедуре подвергаются все остальные объек­ты, значимость которых проверяется в сравнении с суммой всех ос­тавшихся.

Таким образом, используемая процедура состоит в систематиче­ской проверке оценок путем их последовательного сравнения.

Метод последовательных предпочтений целесообразно приме­шь, если число сравниваемых объектов не превышает 7. При боль­шем количестве объектов их необходимо разбивать на подмножества, ^включающие 6 объектов. В тех случаях, когда это невозможно, следу­ет использовать метод парных сравнений.

Метод парных сравнений — метод, основанный на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.

Для облегчения процедуры составляют матрицы парных сравне­ний, в которых все объекты (факторы) записывают в одном и том ж_е порядке дважды: в верхней строке и крайнем левом столбце. Каждый эксперт должен проставить на пересечении строки и столбца оценку для двух сравниваемых факторов. В зависимости от того, какой фак­тор является наиболее предпочтительным, эта оценка будет равна со­ответственно 1 или 0. В главной диагонали такой матрицы простав­ляются прочерки или нули (табл. 6).

Каждая пара факторов может сравниваться единожды или дважды. Существуют различные варианты частичного парного сравнения:

• выбор предпочтительного объекта из заранее сгруппированных пар;

• частичное парное сопоставление одной группы объектов со всеми другими, тогда как остальные факторы сопоставляются с некото­рыми другими;

• установление суммарных рангов факторов.

Таблица 6

Матрица предпочтений для ранжирования с помощью парного сравнения

Факторы	А	в	С	D	Ранг
А	—	1	0	0	1
		0	1	1
В	0	—	0	0	0
	1		1	1
С	1	1	—	1	3
	0	0		0
D	1	1	0	—	2
	0	0	1

Метод парных сравнений иногда сочетают с предварительным ранжированием объектов. При этом парное сравнение используется для уточнения предпочтительности отдельных объектов. В данном случае строится дополнительная матрица, в которой указывается доля

_с1учаев, когда один фактор оказывается более значимым, чем другой, общем числе полученных оценок.

Вопросы для самопроверки

1. Назовите основные группы и подгруппы методов товарной экс­пертизы.

2. Укажите преимущества и недостатки измерительных методов.

3. Укажите особенности и сферу применения регистрационного метода.

4. В чем преимущества и недостатки органолептического метода? На какие подгруппы он делится?

5. Какие органы чувств используются для определения основных органолептических показателей качества?

6. Укажите принципиальные особенности экспертных методов.

7. На какие группы подразделяются экспертные методы?

8. Назовите основные этапы проведения товарной экспертизы и свойственные им экспертные методы.

9. В чем преимущества и недостатки методов Дельфы, ПАТТЕРН и комбинированного?

10. Укажите виды и разновидности методов экспертной оценки показателей качества и математико-статистической обработки экс­пертных оценок.

11. Назовите разновидности опроса экспертов.

12. Перечислите методы оценки и отбора экспертов и дайте их сравнительную характеристику.

13. Рассмотрите дифференциальный и комплексный методы экс­пертной оценки показателей качества товаров.

14. Разберите особенности применения метода главных точек и его разновидностей.

Каково назначение метода движения по уровням, и при каком Методе экспертной оценки он применяется.