Creative_Decisions_I_Dubina

точных и естественных науках, например, в физике. Таким обра-

зом, представление данных в шкале Раша, во-первых, положитель-

но отражается на качестве результатов измерения, а во-вторых,

следует принципу объективности как одного из критериев научно-

го исследования.

При оценке каждого фактора организационного климата нужно определить его количественное выражение по шкале Раша на основе откликов респондентов на каждый пункт, соответствую-

щий данному фактору. Для каждого пункта определяется значение в логитах и затем по ним вычисляется среднеарифметическое зна-

чение (для шкалы Раша эта процедура вполне корректна).

Определенную сложность вызывает интерпретация результа-

тов измерений климата в шкале Раша. При позитивно сформулиро-

ванных пунктах анкеты (например: «Члены моего коллектива дове-

ряют друг другу») и при соответствующей кодировке позиций шка-

лы (более утвердительным ответам соответствует больший балл), конвертирование данных с помощью программы WINSTEPS при-

ведет к тому, что пункты, оцененные большим баллом, будут ха-

рактеризовать более «холодный» климат. Поэтому для более есте-

ственной интерпретации результаты измерений в шкале Раша при оценке организационного климата следует умножить на –1.

В этом случае значение 0 можно интерпретировать как соот-

ветствие «нейтральному» (или «умеренному») климату (50% «по-

ложительных» и 50% «отрицательных» откликов), значение 2,94

соответствует 95% положительных и 5% отрицательных откликов и т.д. Иначе значение 2,94 может быть интерпретировано как пока-

затель организационного климата, в котором 95% положительных факторов для творчества и инноваций и лишь 5% отрицательных факторов. Значение –2,94 соответствует резко отрицательному

(«холодному») климату для творчества и инноваций (см. рис. 5.8).

Нулевое значение, получаемое при оценке какого-либо фактора-

параметра организационного климата, можно понимать так, что

этот фактор реализован на 50% от максимально возможного уров- ня, а при значении 2,94 – на 95% (см. рис. 5.8).

Такая интерпретация, безусловно, менее удобна, наглядна и привычна, чем интерпретация результатов на основе шкалы Лай-

керта. Это обстоятельство, наряду со сложностью математических операций по конвертированию данных, ограничивает широкое практическое применение модели Раша. Качество оценки климата

201

(в том числе точность измерений) повышается при использовании шкалы Раша по сравнению со шкалой Лайкерта, но принципиаль-

ные различия в результатах оценки по двум шкалам маловероятны

(не получится так, что климат, оцененный по одной шкале как

«очень благоприятный», по другой шкале получит противополож-

ную оценку).

Рис. 5.8. Интерпретация шкалы Раша

Во многих случаях на практике для получения «общей кар-

тины» об организационном климате и принятия соответствующих управленческих решений, касающихся его изменения, достаточно точности, обеспечиваемой шкалой Лайкерта. Модель Раша следует рассматривать и использовать не как альтернативный инструмент,

а как подход, дополняющий классический (основанный на шкале Лайкерта) с целью дополнительной проверки и улучшения качества полученных измерений (см. ниже). Модель целесообразно исполь-

зовать в тех случаях, когда требуется особо точная и надежная оценка климата, в том числе в исследовательских целях.

5.5.2. Оценка качества измерений

Качество результатов оценки организационного климата проверяется с помощью специальных методов на основе получае-

мых статистических данных. В теории измерений разработано до-

202

параметра, измеряемого при выборочном исследовании, определя-

ется двумя показателями:

а) интервалом, в котором ожидается обнаружить оценивае-

мый параметр;

б) вероятностью обнаружения этого параметра в данном ин-

тервале.

Эти два показателя объединяет понятие доверительного ин-

тервала. Процесс определения доверительного интервала основан на центральной предельной теореме – одной из основных теорем теории вероятностей и статистики. Согласно этой теореме, распре-

деление средних значений выборок, извлекаемых из генеральной совокупности, соответствует нормальному распределению. Более того, когда выборки становятся достаточно большими, то выбороч-

ные средние подчиняются нормальному закону, даже если исход-

ная переменная не распределена по нормальному закону. Среднее значение всех выборочных средних равно среднему значению ге-

неральной совокупности (M), стандартное отклонение выборочных

средних арифметических (σx) определяется по формуле:

σ x = σ ,

n

где σ – стандартное отклонение по генеральной совокупности; n –

объем выборки.

Величина σx называется стандартной ошибкой среднего арифметического (standard error of the mean)1. Вычисление стан-

дартной ошибки среднего основывается на предположении нор-

мальности измеряемой переменной величины. Если это предполо-

жение не выполнено, то оценка может оказаться неверной, особен-

но для малых выборок.

Естественным образом возникает вопрос о том, какой объем выборки может считаться «достаточно большим». Известно эмпи-

рическое правило, согласно которому принимается, что если объем выборки (n) равен 100 или более, то применима центральная пре-

дельная теорема, и допущение о нормальности распределения всех возможных выборочных средних может быть принято. Показано,

что при увеличении объема выборки до 100 и более, качество оцен-

ки стандартной ошибки среднего улучшается и без предположения нормальности выборки. Если же n меньше 100, то нужно иметь веские доказательства нормальности распределения генеральной

1 Термин был впервые введен Юлом (Yule) в 1897 г.

204

совокупности. И только в этом случае можно полагать, что распре-

деление, которому подчиняются выборочные статистики, является нормальным.

Поскольку в большинстве случаев значение стандартного от-

клонения по генеральной совокупности (σ) неизвестно, его заме-

няют выборочным стандартным отклонением (s), и стандартная

Предполагается, что выборка формируется в результате случайного повторного отбора (см.: [44]).

Отсюда следует, что стандартное отклонение по выборке оп-

ределяет интервал попадания среднего значения по всей генераль-

ной совокупности. Стандартная ошибка среднего зависит от стан-

дартного отклонения по выборке и ее объема. Например, если стандартное отклонение по выборке уменьшается в два раза, то оцениваемое изменение измеряемого параметра по генеральной совокупности также уменьшается в два раза. При увеличении чис-

ленности выборки в четыре раза, при том же самом значении стан-

дартного отклонения по выборке, мы можем обеспечить увеличе-

ние точности лишь в два раза.

При бесповторном случайном отборе стандартное отклоне-

видно, что для применения этой формулы должна быть известна численность генеральной совокупности N, что выполняется при оценке климата конкретных организаций.

Для нормального распределения существует универсальное соотношение между относительной частотой встречаемости в гене-

ральной совокупности значений x, средним значением (M) и стан-

дартным отклонением (σ)1. Это соотношение удобно представить

2 Стандартное нормальное распределение имеет среднее значение,

равное 0, и стандартное отклонение, равное 1. Поэтому для обозначения стандартного нормального распределения также используется термин еди-

ничное нормальное распределение.

205

может быть сведено к z-распределению с помощью простого пре-

образования: , переводящего измерения в стандартную

z-шкалу. В результате такого преобразования значения z выража-

ются в единицах стандартного отклонения от среднего.

Важным практическим следствием этого является возмож-

ность однозначного определения для любого z площади под кривой любого нормального распределения вне зависимости от величины

среднего значения и стандартного отклонения. Так, например, для z = 1 около 68,26% всех значений признака располагаются в преде-

лах одного стандартного отклонения по обе стороны от среднего значения при любом нормальном распределении. Это означает, что с вероятностью 0,6826 значение параметра, оцениваемого по эле-

менту, случайно извлекаемому из генеральной совокупности, будет

попадать в интервал M+σ. Для z = 2 значение вероятности составит 0,9544, т.е. в 95,44% случаев значение параметра будет попадать в

интервал M+2σ. Для z = 3 значение вероятности составит 0,9972,

т.е. в 99,72% случаев значение параметра будет лежать в интервале

M+3σ. Другие значения z и соответствующие им значения вероят-

ности можно взять из статистических таблиц, включаемых практи-

чески во все учебники по теории вероятностей и математической статистике.

На основе этого важного свойства нормального распределе-

ния можно оценить точность измерений при выборочных исследо-

ваниях. Так, если известно среднее арифметическое значение по

выборке ( X ) и выборочное стандартное отклонение (s), легко оп-

ределить стандартную ошибку среднего σх. Используя соответст-

вующую статистическую таблицу и задавая необходимое значение вероятности (требуемый уровень статистической значимости),

можно определить значение z, которое соответствует заданному зна-

чению вероятности попадания среднего значения параметра по гене-

ральной совокупности в интервал = X + zσх. Величина называет-

ся доверительным интервалом (confidence interval), а величина δ = +z * σх – предельной ошибкой среднего. Доверительный интервал фактически характеризует точность оценки измеряемой величины.

Таким образом, для оценки точности выборочных измерений дос-

206

жилась, в рассматриваемых ниже типах валидности мы всюду ука-

зываем исходный англоязычный термин.

Внешняя валидность (face validity) характеризует восприятие пунктов анкеты непрофессионалами в той области, в которой пла-

нируется проводить измерения. В то же время эти люди – объекты той генеральной совокупности, которую предполагается исследо-

вать. Это понятие характеризует, как задания воспринимаются и понимаются респондентами (испытуемыми).

Содержательная валидность (content validity) показывает,

насколько вопросы анкеты или задания теста соответствуют сути

(содержанию) измеряемых показателей. Это, как и внешняя валид-

ность, не формализуемая характеристика, но, в отличие от преды-

дущей, она оценивается экспертами, т.е. специалистами в той об-

ласти, в которой проводится измерение.

Проверка внешней и содержательной валидности – это пер-

вые и обязательные элементы при разработке любого измеритель-

ного инструмента. Обоснование содержательной валидности может

предшествовать проверке внешней валидности.

Критериальная валидность (criterion-related validity) харак-

теризует качество измерений с позиций двух эмпирических крите-

риев, а именно:

а) возможность предсказывать те или иные результаты на ос-

нове полученных измерений – прогностическая валидность (predictive validity);

б) соответствие полученных результатов неким «золотым стандартам», т.е. результатам измерений этого же свойства, полу-

ченным ранее (разного рода психометрические или социологиче-

ские индексы, статистические распределения и т.п.); либо соответ-

ствие результатов измерений результатам, полученным уже испы-

танным и признанным инструментом, используемым параллельно проводимым измерениям – согласованная валидность (concurrent validity).

Концептуальная валидность (construct validity) обозначает соответствие результатов измерений тому концепту (свойству), для измерения которого проводилось исследование. Термин «концеп-

туальная валидность» предложил использовать В.С. Аванесов вме-

сто выражения «конструктная валидность» (неудачной кальки с соответствующего англоязычного термина), которое встречается иногда в русскоязычных изданиях. Это наиболее важный и сложно

208

оцениваемый аспект валидности. Концептуальная валидность ха-

рактеризует логическое соответствие измеряемых показателей изу-

чаемому понятию (концепту): действительно ли с помощью выде-

ляемых показателей можно характеризовать то свойство, которое изучается. В литературе выделяются два вида концептуальной ва-

лидности:

а) конвергентная валидность (convergent validity) предпола-

гает, что если с помощью различных методов измерений получа-

ются близкие результаты, то эти измерения обоснованы (валидны)1;

б) дивергентная или дифференцирующая валидность (discriminant validity) связана с возможностью выделения и отделения

различных показателей изучаемого свойства (концепта). Для оцен-

ки этого вида валидности может быть использован факторный ана-

лиз, но основное внимание здесь должно уделяться содержатель-

ному анализу изучаемого свойства или феномена.

Надежность (reliability) – это характеристика, отражающая устойчивость и согласованность получаемых результатов измере-

ния. В повседневном общении мы очень часто используем слово

«надежность» (надежный человек, надежный компьютер, надеж-

ный автомобиль и т.д.). Основные смыслы, которые при этом вкла-

дываются в эту характеристику, – это стабильность, безотказность,

повторяемость, предсказуемость, регулярность. Примерно такие же смыслы вкладываются и в понятие «надежность» как характери-

стики измерения.

Надежность характеризует, насколько измерения свободны от случайных ошибок. В отличие от оценки валидности, оценка надежности измерений всегда осуществляется с помощью матема-

тических операций. Общий подход к оценке надежности заключа-

ется в оценке степени связанности результатов измерения с помо-

щью либо параллельных испытаний, либо разнесения измерений во времени, либо соотнесения данных, полученных по разным фраг-

ментам одного инструмента.

Для определения надежности используются три основных под-

хода, основанных на трех разных аспектах понимания надежности:

1. Надежность-устойчивость (stability) характеризует ста-

бильность результатов во времени.

1 Например, оценка климата может быть проведена с помощью двух разных инструментов, оценивающих одни и те же факторы климата (см.

параграф 5.4, приложения 4–5).

209

2. Надежность-эквивалентность (equivalence) характеризу-

ет идентичность результатов, полученных несколькими аналогич-

ными инструментами.

3. Надежность-согласованность (internal consistency) харак-

теризует внутреннюю согласованность результатов, полученных одним инструментом.

Рассмотрим эти подходы подробнее. Для оценки надежности в смысле устойчивости результатов во времени проводится по-

вторное измерение тем же инструментом по той же выборке через определенный промежуток времени (метод «тест-ретест»). Ре-

зультаты двух измерений, как правило, сравниваются путем опре-

деления коэффициента корреляции или другой меры связи, а также средних значений по двум испытаниям. В случае, если получается высокий коэффициент корреляции (близкий к единице) и средние значения по первому и второму измерениям близки, то это свиде-

тельствует о надежности измерений в смысле их воспроизводимо-

сти и стабильности. Если по результатам первого и второго изме-

рений средние значения измеренных показателей различаются дос-

таточно сильно, но в целом те показатели, которые имели высокие значения при первом измерении, получили также высокие значения при втором, то в этом случае коэффициент корреляции принимает достаточно высокие значения, что указывает на определенную на-

дежность измерений. На практике статистически значимый коэф-

фициент корреляции выше 0,8 считается свидетельством достаточ-

ной надежности измерений, хотя в некоторых работах [161] в каче-

стве приемлемого значения указывается 0,7. При этом также следу-

ет указывать уровень статистической значимости полученного ре-

зультата. Плохая воспроизводимость результатов предыдущего измерения приводит к низкой корреляции результатов, что свиде-

тельствует о низкой надежности.

Достоинство этого метода заключается в сравнительной про-

стоте его использования, ясности основных посылок, лежащих в определении надежности, и простоте расчетов. Сложности возни-

кают при определении временного интервала между двумя измере-

ниями. Если ретест проводится слишком рано, респонденты могут просто запомнить ответы, которые они давали при первом измере-

нии. В таком случае будет проверяться не надежность измерений, а

память респондентов. Приемлемым считается интервал от 2-х не-

дель до 2-х месяцев. Однако для проверки надежности оценки ор-

210