Creative_Decisions_I_Dubina

ганизационного климата он малоприемлем из практических сооб-

ражений. Ведь оценка климата проводится как раз для того, чтобы выявить факторы, требующие изменения. Поэтому ждать две неде-

ли или два месяца, после чего проводить повторное измерение лишь для того, чтобы проверить, правильно ли были диагностиро-

ваны факторы, и только после этого разрабатывать определенные мероприятия по улучшению климата представляется нелогичным и даже нелепым, поскольку это влечет потерю времени и средств.

Поэтому для проверки надежности оценки организационного кли-

мата нужно использовать другие подходы.

Для оценки надежности-эквивалентности используется метод

параллельного тестирования или альтернативных тестов (parallel forms), проводимых одновременно. Данный метод оценки надеж-

ности применим только тогда, когда имеются параллельные (сход-

ные, но не одинаковые) формы одного инструмента. Одной и той же группе респондентов предлагается вначале одна форма, затем

(сразу после небольшого перерыва) – другая. Рекомендуется в ка-

честве альтернативного инструмента использовать тот же самый инструмент с переформулированными вопросами. Коэффициент корреляции, полученный по результатам двух тестов, называется

коэффициентом эквивалентности результатов измерения. Если между предъявлением обеих форм имеется значительный времен-

ной интервал (свыше двух недель), то полученный коэффициент называется коэффициентом эквивалентности и стабильности ре-

зультатов измерений. Статистически значимый коэффициент кор-

реляции выше 0,8 считается свидетельством достаточной надежно-

сти тестируемого инструмента. Сложность применения данного метода для проверки качества оценки организационного климата заключается в обеспечении эквивалентности двух разных инстру-

ментов.

Наиболее часто надежность измерений оценивается по со-

гласованности (гомогенности) полученных результатов. Такие из-

мерительные инструменты, как анкеты и тесты, состоят из большо-

го числа отдельных составляющих: вопросов, утверждений, зада-

ний и т.п. Каждый из пунктов направлен на косвенное выяснение какой-то одной стороны, отдельного фрагмента общего целого,

вследствие чего он является частичным индикатором измеряемого фактора (свойства). Предполагается, что когда мы принимаем во

211

Таблица 5.2

Пример расчета коэффициента надежности-согласованности

Вычисляется корреляционная матрица (матрица коэффици-

ентов корреляции). Затем определяется среднее арифметическое

трех коэффициентов корреляции – усредненный коэффициент кор- реляции (для нашего случая – 0,594). Далее по обобщенной форму-

ле Спирмена-Брауна определяется индекс согласованности (0,814).

Для порядковых шкал (например, шкалы Лайкерта), а также для более мощных шкал (например, интервальных) Л. Кронбах предложил формулу для определения согласованности измерений

(1951 г.). Показатель согласованности, рассчитанный по этой фор-

муле, получил название коэффициент альфа Кронбаха (Cronbach’s

Coefficient Alpha). Большинство современных статистических па- кетов (SPSS, SAS, STATISTICA и др.) включают процедуры вы-

числения этого коэффициента. Несложно посчитать его и с помо-

щью стандартных функций Excel. Формула выглядит следующим образом:

где σi2 – дисперсия ответов по каждому заданию; σt2 – дисперсия суммарной шкалы (дисперсия суммы ответов каждого респондента на задания); k – количество пунктов.

213

Формула Кронбаха отражает следующую идею. Если есть несколько респондентов, отвечающих на вопросы анкеты, то мож-

но вычислить дисперсию для каждого вопроса и суммарной шкалы.

Дисперсия для суммарной шкалы будет меньше, чем сумма дис-

персий каждого отдельного вопроса в том случае, когда вопросы измеряют (оценивают) одну и ту же изменчивость между субъек-

тами, т.е. если они измеряют некоторое истинное значение. Если не измеряется реальное значение, а только случайная погрешность в ответах на вопросы (следовательно, ответы полностью не коррели-

рованны между респондентами), то дисперсия суммы будет такой же, как сумма дисперсий отдельных пунктов. Поэтому коэффици-

ент альфа будет равен нулю. Если все вопросы измеряют один и тот же фактор, то коэффициент альфа будет близок к 1.

Если по данным из таблицы 5.2 вычислить коэффициент аль-

фа Кронбаха (в Excel или с помощью статистического пакета), то получится 0,778. Сравнив это значение с коэффициентом согласо-

ванности, определенным по обобщенной формуле Спирмена-Брауна, увидим, что коэффициент альфа меньше: 0,778 < 0,814. Это связано

с тем, что обобщенная формула Спирмена-Брауна вычисляет коэф-

фициент согласованности как если бы измерения были стандарти-

зованы, т.е. приведены к одной шкале с нулевым средним значени-

ем и единичной дисперсией. Часто (но не всегда) стандартизация исходных данных приводит к возрастанию надежности измерений.

Коэффициент альфа Кронбаха принимает значения в диапа-

зоне от 0 до 1. Приемлемыми считаются значения α > 0,8. Однако,

заключая о надежности-согласованности измерений, следует при-

нимать во внимание и объем выборки: чем меньше выборка, тем меньше может быть коэффициент альфа. Поэтому для небольших выборок (меньше 20 элементов) приемлемым может считаться зна-

чение α>0,7. Высокое значение коэффициента указывает на нали-

чие общего основания у набора вопросов (пунктов анкеты), но не говорит о том, что за ними стоит именно тот фактор, который предполагается измерять, поэтому предварительно необходимо обосновать валидность измерений.

Надежность-согласованность, определяемая по формуле Кронбаха, будет зависеть также от количества и качества пунктов анкеты. При исключении любого пункта коэффициент альфа будет изменяться (уменьшаться или увеличиваться). При исключении пунктов, которые не противоречат другим пунктам анкеты (в том

214

смысле, что все они направлены на измерение общего фактора),

коэффициент альфа Кронбаха уменьшается. И напротив, при ис-

ключении пунктов, которые не согласуются с другими, значение коэффициента альфа будет увеличиваться. Теоретически при оцен-

ке надежности измерений необходимо определить коэффициент альфа Кронбаха при условии, что один из пунктов исключается (и

так для всех пунктов анкеты). Это весьма трудоемкая задача, осо-

бенно если изучаемый фактор оценивается большим количеством пунктов или оценивается много факторов. Поэтому для решения этой задачи используют специальные статистические пакеты.

Пункты анкеты, при исключении которых коэффициент аль-

фа увеличивается достаточно сильно, следует убрать из анкеты или при обработке результатов не учитывать отклики респондентов на них. Однозначных критериев того, что значит «достаточно сильное увеличение», не существует. Нельзя сказать, что если при удалении пункта коэффициент альфа увеличился на столько-то, то этот пункт должен быть исключен. Единственное общепринятое правило за-

ключается в том, что если альфа (или другой показатель, характе-

ризующий надежность-согласованность измерений) меньше 0,7, то измерение не может считаться надежным. Если при этом в анкете есть пункты, при исключении которых коэффициент надежности увеличивается до 0,7 и выше, то такие пункты необходимо удалить.

Если, например, коэффициент альфа при исключении некоторого пункта анкеты возрастает с 0,65 до 0,75, то этот пункт лучше уда-

лить. Но если коэффициент альфа для исходного набора пунктов составляет 0,8, а при исключении какого-то пункта увеличивается до 0,9, нужно обратить особое внимание на этот пункт (например,

на то, как он сформулирован), но исключать его не обязательно, так как и с данным пунктом надежность–согласованность измерений приемлема.

Коэффициент альфа Кронбаха можно рассматривать как оценку корреляции измерений данным инструментом с измерения-

ми всеми другими инструментами, составленными из такого же числа индикаторов, которые случайным образом извлекли из мно-

жества всех возможных индикаторов измеряемого свойства. Его можно также интерпретировать как корреляцию между измерения-

ми данным инструментом и «истинными» измерениями, получен-

ными, если бы респондент ответил на все возможные задания, на-

правленные на измерение изучаемого свойства. Коэффициент аль-

215

фа может также применяться и для решения гораздо более широко-

го круга задач. Например, с его помощью можно измерять степень согласованности экспертов, оценивающих тот или иной объект,

стабильность данных при многократных измерениях, качество раз-

личных шкал и т.д.

Еще один подход к оценке согласованности данных был предложен в 1945 г. Л. Гутманом, составившим формулы для вы-

числения шести коэффициентов, наиболее важными из которых являются первые три (L1, L2, L3). Первый коэффициент определяет нижнюю границу надежности, второй коэффициент – «лучшую» из возможных оценок нижней границы надежности, а третий фор-

мально эквивалентен коэффициенту альфа Кронбаха. Доказано, что

коэффициент L2 всегда больше либо равен коэффициенту альфа Кронбаха [195]. Мы не будем приводить здесь формулы для расче-

та коэффициента Гутмана в силу их достаточной громоздкости, что делает весьма трудоемким расчет этих коэффициентов без стати-

стических программ. По-видимому, громоздкость формул и являет-

ся основной причиной того, что этот подход получил значительно меньшее распространение на практике, чем формула Кронбаха,

хотя подход Гутмана был описан в литературе на 6 лет раньше.

С помощью статистических пакетов коэффициенты Гутмана вы-

числяются так же просто, как и коэффициент альфа Кронбаха, но в силу «привычки» и того обстоятельства, что в литературе они опи-

саны гораздо реже, коэффициенты Гутмана в исследовательской практике используются не так часто, как коэффициент альфа Крон-

баха.

Инструменты для оценки организационного климата вклю-

чают в себя несколько различных блоков (пунктов для оценки фак-

торов и категорий климата). В этом случае проверять обоснован-

ность и надежность измерений лучше по блокам, определяемым смысловыми категориями (концептами), на изучение которых на-

правлено исследование. Но желательно, чтобы все пункты анкеты были одинаковы по форме и использовали одинаковые шкалы.

Рассмотренные выше процедуры оценки надежности–согла-

сованности измерений были разработаны в рамках классической теории измерений. Серьезным ее недостатком является то, что во многих случаях при использовании процедур оценки не принима-

ется во внимание вид измерительной шкалы. В частности, для дан-

216

ных в порядковых шкалах используются те же процедуры, что и для интервальных шкал.

Поэтому другой (не альтернативный, но дополняющий) под-

ход к оценке качества измерений построен на основе измеритель-

ной модели Раша. С помощью этой модели можно ответить на во-

просы: «Насколько пункты анкеты согласованы в плане измерения единого концепта?», «Измеряют ли они некий единый фактор или различные факторы?», «Являются ли отклики респондентов на пункты анкеты случайными?». Модель Раша показывает, насколько каждый пункт анкеты и каждый респондент подходят (fit) для из-

мерения той или иной характеристики предмета исследования. На- дежность измерения можно оценивать как по пунктам (item reliability index), так и по респондентам (person reliability index). Первый

показатель характеризует повторяемость результатов для пунктов анкеты: если эти же задания будут предложены другой группе рес-

пондентов, будут ли получены аналогичные результаты? Второй показатель характеризует повторяемость результатов для респон-

дентов: если этой же группе респондентов будут предложены дру-

гие пункты, направленные на измерение того же фактора, будут ли получены аналогичные результаты? На основе модели могут быть также определены ошибки измерений.

Оценка этих показателей может быть осуществлена с помо-

щью программы WINSTEPS, в которой рассчитываются параметры MNSQ INFIT и MNSQ OUTFIT, характеризующие соответствие

данных модели Раша. Они определяются на основе средних сумм

квадратов отклонений теоретических значений от эмпирических (mean square statistics). Значения этих параметров характеризуют

степень «случайности» результатов или несоответствие данных

используемой модели измерения. «Ожидаемые» значения MNSQ находятся вблизи 1,0 [201]. Высокие значения MNSQ OUTFIT мо-

гут быть связаны со «случайными» откликами респондентов. Вы-

сокие значения MNSQ INFIT обычно интерпретируются как инди-

катор низкой валидности измерений. Например, если обнаружива-

ются высокие значения MNSQ INFIT, то это свидетельствует о том,

что данный инструмент (или блок вопросов анкеты) непригоден для группы респондентов, в которой он предъявлялся. Более важ-

ными с точки зрения характеристики качества результатов являют- ся значения MNSQ INFIT.

Измерения со значениями MNSQ > 2,0 рассматриваются как несоответствующие модели измерения, поэтому они не могут быть

217

использованы при анализе результатов. Такие измерения рекомен-

дуется исключать. Наиболее качественными и значимыми (productive) считаются измерения, для которых значения MNSQ лежат в диапазоне от 0,5 до 1,5. Более высокие значения (>1,5) ука-

зывают на неопределенность и «шум» в исходных данных. Слиш-

ком низкие значения (<0,5) также не очень желательны, поскольку они свидетельствуют об избыточности, «информационной пере-

груженности» инструмента.

Рассчитываемая статистика соответствия зависит от объема данных. Если количество респондентов меньше 30, модель может оказаться не очень чувствительной («подходит все»). В случае, ес-

ли количество респондентов больше 300, модель, напротив, может оказаться слишком чувствительной («ничто не подходит»).

Характеристики качества измерений, определяемые «класси-

ческими» методами (альфа Кронбаха и др.), и индикаторы качества измерений в модели Раша имеют разные смыслы, разную внутрен-

нюю логику, и разные вычислительные процедуры. Например, ко-

эффициент альфа Кронбаха основан на идее о согласованности ре-

зультатов измерения, а модель Раша предлагает инструментарий для оценки соответствия данных модели (fit statistics). Поэтому

прямо сопоставлять эти подходы нельзя, как нельзя напрямую со-

поставить результаты их применения. В частности, нельзя сравнить согласованность измерений (например, вычислением коэффициен-

та Кронбаха) по исходным данным и после их преобразования в шкалу Раша.

Дело в том, что применение модели Раша дает интегриро-

ванные результаты и по пунктам, и по респондентам; в итоге осу-

ществляется переход к вероятностным оценкам (например, может быть оценена вероятность того или иного ответа определенным респондентом). Коэффициент альфа Кронбаха рассчитывается по ответам каждого респондента на каждый пункт. Поэтому при оцен-

ке надежности измерений следует для полноты анализа не заме-

нять, а дополнять одни подходы другими.

Как отмечалось, основные характеристики качества измере-

ний (валидность, надежность и точность) не могут «напрямую» относиться к измерительным инструментам, т.е. методологически некорректно говорить, например, о «валидном» тесте. Однако на практике качество измерительного инструмента оценивается через анализ результатов, полученных с помощью этого инструмента.

218

Многократно проводя измерения, особенно при проектировании нового инструмента, мы оцениваем их качество. При этом, изменяя инструмент, например, исключая или добавляя задания теста, мы получаем измерения лучшего или худшего качества. Если мы ста-

бильно получаем качественные измерения, то и используемый ин-

струмент вызывает у нас больше доверия с точки зрения его каче-

ства. Например, если мы используем один и тот же инструмент для одной и той же выборки и получаем при этом аналогичные резуль-

таты при условии, что измеряемая характеристика не изменилась,

это дает нам возможность предполагать, что мы используем каче-

ственный инструмент. Следовательно, принимая во внимание ус-

ловия проведения измерений и оценивая качество результатов из-

мерений по показателям их валидности и надежности, мы можем судить о том, способен ли инструмент обеспечивать валидные и надежные измерения, но при этом не можем говорить о том, что этот инструмент «надежен и валиден».

Однако можно говорить об эффективности инструмента как комплексной характеристике его качества [1]. Эффективным мож-

но считать измерительный инструмент, обеспечивающий качест-

венные измерения с точки зрения их валидности, надежности и точности.

Кроме того, в понятие эффективности измерительного инст- румента входит такая характеристика, как практичность (practical-

ity), т.е. экономичность применения (низкая затратность), удобство и простота использования. Например, можно говорить о том, что один инструмент эффективнее другого, если он обеспечивает более качественные измерения при тех же затратах времени или, напри-

мер, более удобен в использовании, обеспечивая измерения при-

мерно того же качества, что и другой инструмент.

Понятие эффективности может относиться не только ко все-

му инструменту, но и к отдельным его составляющим, например,

пунктам анкеты. Выше уже обсуждалось, как качество отдельных пунктов влияет на надежность–согласованность измерений. Ис-

ключение «плохих» пунктов делает инструмент более эффектив-

ным. Еще одним показателем качества отдельных пунктов является коэффициент корреляции между ответами респондентов на этот пункт и общей суммарной шкалой (комплексным показателем по всем пунктам, предназначенным для оценки одного и того же фак-

тора). Считается, что этот коэффициент не должен быть меньше

219

0,2–0,3. Пункты с меньшим коэффициентом «загромождают» анке-

ту и делают ее менее эффективной. С другой стороны, если этот показатель очень высок (например, 0,95), это будет означать, что

изменчивость ответов на один пункт на 90% повторяет (или даже определяет) изменчивость откликов по всей анкете. Это означает

избыточность инструмента (либо этот пункт «лишний», либо все остальные пункты анкеты не несут никакой дополнительной ин-

формации). Очевидно, что избыточность инструмента снижает его эффективность.

Если «плохой» (неэффективный) пункт представляется ис-

следователю особо важным, то его необходимо переформулиро-

вать. Но после замены или переформулировки хотя бы одного из пунктов необходимо вновь проводить тестирование инструмента и затем снова оценивать качество измерений. На практике исследова-

тель часто несколько раз проходит через этапы создания, удаления и переформулировки пунктов анкеты до тех пор, пока не придет к окончательному набору пунктов, обеспечивающих эффективный измерительный инструмент.

для творчества и инноваций в двух подразделениях компании

(результаты оценки представлены в стандартной T-шкале)

220