7492

90

Данный подход повышения надежности шкалы является весьма сложным. Поэтому его можно рекомендовать лишь при разработке ответственных тестов или методик, предназначенных для массового употребления или панельных исследований.

Возможна проверка одного метода на нескольких респондентах. Если метод надежен, то разные респонденты дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных респондентов нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу результатов заслуживающей большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов.

Использование параллельных методов измерения одного и того же свойства сталкивается с целым рядом трудностей.

Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.

Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно не различаются), остается вопрос о теоретическом обосновании применения этих процедур.

Нельзя не признать, что сам принцип использования параллельных процедур оказывается не формальным, а скорее содержательным принципом, применение которого теоретически обосновать весьма трудно.

Один из широко распространенных подходов к установлению обоснованности – это использование так называемых судей, экспертов. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназна-

91

ченный для измерения изучаемого объекта, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого объекта. В качестве набора признаков может выступить список отдельных суждений, характеристики объекта и т. д.

Процедуры судейства многообразны. В основе их могут лежать методы парных сравнений, ранжирования, последовательных интервалов и т. д.

Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой совокупности, так или иначе должны представлять ее микромодель: по оценкам судей исследователь определяет, насколько адекватно будут истолкованы респондентами те или иные пункты опросной процедуры.

Однако при отборе судей возникает трудноразрешимый вопрос, каково влияние собственных установок судей на их оценки, ведь эти установки могут существенно отличаться от установок обследуемых в отношении того же самого объекта.

В общем виде решение проблемы состоит в том, чтобы:

а) внимательно проанализировать состав судей с точки зрения адекватности их жизненного опыта и признаков социального статуса соответствующим показателям обследуемой генеральной совокупности;

б) выявить эффект индивидуальных отклонений в оценках судей относительно общего распределения оценок.

Наконец, следует оценить не только качество, но и объем выборочной совокупности судей.

С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высокая и, соответственно, ошибка измерения мала, численность судей может быть небольшой. Нужно

92

задать значение допустимой ошибки и на основании ее рассчитать требуемый объем выборки.

При обнаружении полной неопределенности объекта, т. е. в случае, когда мнения судей распределятся равномерно по всем категориям оценки, никакое увеличение объема выборки судей не спасет ситуацию и не выведет объект из состояния неопределенности.

Если объект достаточно неопределенен, то большое число градаций только внесет дополнительные помехи в работу судей и не принесет более точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и, соответственно, сузить число градаций.

Выбор того или иного конкретного способа, метода или техники проверки на обоснованность зависит от многих обстоятельств.

Прежде всего, следует четко установить, возможны ли какие-то существенные отклонения от запланированной программы измерения. Если программа исследования ставит жесткие рамки, следует использовать не один, а несколько приемов проверки данных на обоснованность.

Во-вторых, нужно иметь в виду, что уровни устойчивости и обоснованности данных тесно взаимосвязаны. Неустойчивая информация уже в силу недостаточной надежности по этому критерию не требует слишком строгой проверки на обоснованность. Следует обеспечить достаточную устойчивость и уже затем принять соответствующие меры для уточнения границ интерпретации данных (т. е. выявить уровень обоснованности).

Многочисленные эксперименты по выявлению уровня надежности поз-

воляют заключить, что в процессе отработки инструментов измерений со стороны их надежности целесообразна следующая последовательность основных этапов работы:

а) Предварительный контроль обоснованности методов измерения первичных данных на стадии отработки методики. Здесь проверяется, насколько информация отвечает своему назначению по существу и каковы

93

пределы последующей интерпретации данных. Для этой цели достаточны небольшие выборки в 10 – 20 наблюдений с последующей корректировкой структуры методики.

б) Второй этап – пилотаж методики и тщательная проверка устойчивости исходных данных, в особенности выбранных показателей и шкал. На этом этапе нужна выборка, представляющая микромодель реальной совокупности обследуемых.

в) В период этого же общего пилотажа осуществляются все необходимые операции, относящиеся к проверке уровня обоснованности. Результаты анализа данных пилотажа приводят к усовершенствованию методики, к доработке всех ее деталей и в итоге – к получению окончательного варианта методики для основного исследования.

г) В начале основного исследования желательно провести проверку используемого варианта методики на устойчивость с тем, чтобы рассчитать точные показатели ее устойчивости. Последующее уточнение границ обоснованности проходит через весь анализ результатов самого исследования.

Вне зависимости от использованного метода оценки надежности у исследователя имеется четыре последовательных шага по повышению

надежности результатов измерений.

Во-первых, в случае чрезвычайно низкой надежности измерений некоторые вопросы просто выбрасываются из анкеты, особенно когда степень надежности можно определить в процессе разработки анкеты.

Во-вторых, исследователь может “ свернуть” шкалы и использовать меньше градаций. Скажем, шкала Лайкерта в этом случае может включать только следующие градации: “ согласен”, “ не согласен”, “ не имею мнения”. Обычно так поступают, когда пройден первый шаг, и когда обследование уже было проведено.

В-третьих, как альтернатива второму шагу или как подход, осуществляемый после второго шага, оценка надежности проводится на индивидуаль-

94

ной основе. Скажем проводится прямое сравнение ответов респондентов в ходе их первоначального и повторного тестирований или с каким-то эквивалентным ответом. Ответы ненадежных респондентов просто не учитываются при проведении заключительного анализа. Очевидно, что если использовать данный подход без объективной оценки надежности респондентов, то, выбрасывая «неугодные» ответы, результаты исследования можно подогнать под желаемые.

Наконец, после того как первые три шага были использованы, можно оценить уровень надежности измерений. Обычно надежность измерений характеризуется коэффициентом, изменяющемся от нуля до единицы, где единица характеризует максимальную надежность.

Обычно считается, что минимально приемлемый уровень надежности характеризуют цифры 0,65–0,70, особенно если измерения проводились впервые.

Очевидно, что в процессе проведения разными фирмами разнообразных и многочисленных маркетинговых исследований имела место последовательная адаптация шкал измерений и методик их проведения под цели и задачи конкретных маркетинговых исследований. Это облегчает решение задач, рассмотренных в данном разделе, и делает это скорее необходимым при проведении оригинальных маркетинговых исследований.

Достоверность (validity) измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но не достоверным. Последнее характеризует точность измерений по отношению к тому, что существует в реальности.

Например, респонденту задали вопрос о его годовом доходе, который составляет менее 25000 долларов. Не желая интервьюеру называть ис-

тинную цифру, респондент указал доход “ более 100000 долларов”. При повторном тестировании он снова назвал данную цифру, демонстрируя высокий уровень надежности измерений. Ложь не является единственной

95

причиной низкого уровня достоверности измерений. Можно также

назвать плохую память, плохое знание респондентом действительности

и т.п.

Главное направление проверки достоверности измерений заключается в получении информации из различных источников. Это может быть осуществлено по-разному. Здесь следует отметить следующее.

Надо стремиться составлять вопросы таким образом, чтобы их формулировки способствовали получению достоверных ответов. Далее в анкету могут включаться вопросы, связанные друг с другом. Например, в анкету помещается вопрос о том, в какой степени респонденту нравиться какой-то продукт питания определенной марки. И далее спрашивается, какое количество данного товара было куплено респондентом за последний месяц. Данный вопрос направлен на проверку достоверности ответа на первый вопрос.

Часто для оценки достоверности измерений используется два различных метода или источников получения информации. Например, после письменного заполнения анкет ряду респондентов из первоначальной выборки дополнительно задаются те же вопросы по телефону. По схожести ответов судят о степени их достоверности.

Иногда образуют на основе одних и тех же требований две выборки респондентов и для оценки степени достоверности сравнивают их ответы.

8. ПЛАНИРОВАНИЕ ВЫБОРКИ

Планирование выборки включает следующие процедуры:

1)выделение объектов генеральной совокупности;

2)определение метода выборки;

3)определение объема выборки.

Генеральная совокупность — это совокупность потребителей или субъектов, являющихся объектами исследования.

96

Выборка — это часть потребителей, которые будут представлять интересы и вкусы всех потребителей генеральной совокупности.

В зависимости от величины генеральной совокупности и целей исследования могут быть использованы методы сплошного или выборочного обследования.

Метод сплошного обследования заключается в опросе всех потребителей генеральной совокупности на рынке. Метод связан с высокими затратами на проведение исследования, его использование оправдано в случае малого количества потребителей, представляющих сегмент, или в случае больших размеров потребителя, когда объем покупок данного клиента составляет значительную долю от емкости рынка в целом.

Метод выборочного обследования обеспечивает меньшую точность по сравнению с методом сплошного обследования, однако он менее трудоемок. Целесообразно использование данного метода при наличии на рынке большого числа однородных потребителей.

8.1 Виды выборок

Выборки могут быть целевые и репрезентативные. Целевые выборки создаются, когда исследователь отбирает случаи на основе собственных заключений (например, выбираются определенные географические пункты, поскольку с точки зрения исследователя они являются типичными по структуре населения, индустриальным, институциональным и социальным характеристикам). Целевые выборки обычно используются в качественных и экспериментальных исследованиях, хотя возможно их применение и в количественных исследованиях.

Репрезентативные выборки воспроизводят структуру и черты населения, из которого они были отобраны. Они используются в количественных исследованиях и позволяют делать заключения, касающиеся всего населения

97

в целом. При создании репрезентативной выборки используются два основных подхода: случайный и неслучайный.

Если все единицы выборки имеют известный шанс (вероятность) быть включенными в выборку, то выборка называется случайной (вероятностной), если этот шанс не известен, то выборка называется неслучайной (невероятностной).

Используются такие виды неслучайных выборок:

•произвольная — элементы выбираются без плана, бессистемно, например, опрос производится в магазине, ближайшем к месту жительства исследователя;

•экспертная — формирование выборки производится на основе мнения экспертов. Например, при исследовании потребности в издании кулинарной книги для приготовления низкокалорийной пищи в микроволновой печи по совету экспертов в состав фокус-группы были включены 12 домохозяек, которые различное время пользовались печью или же только собирались ее купить.

•« снежный ком» — формирование выборки основано на расширении числа опрашиваемых на основе предложений респондентов, которые уже приняли участие в обследовании. Первоначально исследователь формирует выборку намного меньшую, чем требуется в проводимом исследовании, затем она по мере проведения обследования расширяется.

•квотированная — формирование выборки предполагает предварительное, исходя из целей исследования, определение численности групп респондентов, отвечающих определенным требованиям (признакам). Например, в целях исследования было принято решение, то в универсаме должно быть опрошено пятьдесят мужчин и пятьдесят женщин. Интервьюер проводит опрос, пока не выберет установленную квоту.

В процессе формирования случайной выборки используют следующие приемы:

98

•простая выборка — вероятность быть избранным в выборку является одинаковой для всех единиц совокупности. Элементы из общего списка единиц генеральной совокупности выбираются с помощью случайных чисел или вслепую;

•периодическая выборка — так же как в методе простой выборки, сначала необходимо получить полный список единиц генеральной совокупности, затем элементы выбираются с определенным интервалом скачка, например, каждый 250-й телефонный номер.

•кластерная выборка — генеральная совокупность делится на идентичные группы (кластеры), случайным образом отбираются несколько групп, которые подвергаются сплошному обследованию. Например, регион разбивается на области-кластеры, случайно отбирается одна или несколько, в них проводят исследования и выводы обобщаются на совокупность всего региона.

•стратифицированная выборка — генеральная совокупность делится на группы (страты) с набором определенных признаков, в каждой из которой проводится случайный отбор. Например, в случае несимметричного распределения совокупности (жители разных населенных пунктов региона отличаются по уровню образования, дохода, образу жизни), выборки формируются из страт, сформированных по уровню доходов или др.

8.2 Определение объема выборки

Наиболее теоретически обоснованный и корректный подход к определению объема выборки основан на расчете доверительных интервалов. Рассмотрение данного подхода начнем с краткой характеристики ряда базовых понятий математической статистики.

Понятие вариации характеризует величину несхожести (схожести) ответов респондентов на определенный вопрос. При высокой схожести от-

99

ветов говорят о малой вариации и при низкой схожести ответов — о высокой вариации.

В качестве меры вариации обычно принимается среднее квадратическое отклонение, которое характеризует среднее расстояние от средней оценки ответов каждого респондента на определенный вопрос.

Доверительный интервал — это диапазон, крайним точкам которого соответствует определенный процент определенных ответов на какой-то вопрос. Данное понятие тесно связано с понятием «среднее квадратическое отклонение изучаемого признака в генеральной совокупности»; чем оно больше, тем шире должен быть доверительный интервал, чтобы включить в свой состав, например, 95% ответов. Доверительный интервал, равный или 95%, или 99%, является стандартным при проведении маркетинговых исследований.

Индикатором степени отличия оценки, истинной для совокупности в целом, от оценки, которая ожидается для типичной выборки, является

средняя квадратическая ошибка.

Теперь, после знакомства с базовыми понятиями, определим объем выборки на основе расчета доверительного интервала. Исходной информацией, необходимой для реализации данного подхода, является:

1.Величина вариации, которой, как считается, обладает совокупность.

2.Желаемая точность.

3.Уровень доверительности, которому должны удовлетворять результаты проводимого обследования.

Чаще всего используются 2 метода определения объема выборки: процентных величин и средних значений.

Когда на заданный вопрос существует только два варианта ответа, выраженные в процентах, используется метод процентных величин. Объем выборки определяется по следующей формуле: