162 Дональд кэмпбелл

не удовлетворяют этим требованиям. Процедура ранжирования

<достойных> кандидатов по степени <нуждаемости>, на которой

основывалось бы решение о приеме, обычно отсутствует. Случайность

процедур отбора и распределения делает возможным то, что кандидаты

могут зачисляться в значительной степени по соображениям удобства

администрации или просто по знакомству. Чтобы избежать чрез-

мерного потока заявлений, вновь открывающимся возможностям

дается минимальная огласка. Если применяется правило <первым

пришел - первым обслужен>, то наиболее нуждающиеся редко

оказываются среди тех, кто внимательно следит за новыми возмож-

ностями, а <пришедшие первыми> узнают о них по неофициальным

каналам, еще до опубликования соответствующего объявления.

В отличие от существующей практики широкая огласка программы,

приводящая к избытку кандидатов, которые затем в случайном порядке

отбираются для участия в программе или входят в контрольную группу,

представляла бы собой высокоморальную процедуру, помимо и сверх

того, что она делала бы возможным экспериментальное оценивание.

Однако если нельзя преодолеть сопротивление полной рандоми-

зации, то все же можно провести слабую форму этого эксперимента, а

именно эксперимент с <рандомизацией, разрывающей ранговую

связку>, в котором особое внимание уделяется степени достойности.

Предположим, что отбор участников программы производится не

из всец кандидатов, а сконцентрирован на наиболее нуждающихся,

причем мест хватает как раз для приема всех тех, чей недельный доход

на каждого члена семьи составляет 22 доллара и ниже, плюс еще

половину тех, для кого эта цифра равна 23 долларам. Теперь, не

нарушая ограничения, согласно которому программа предназначается

наиболее нуждающимся, можно рандомизировать "гб р из тех, кто

попал в ранговую связку <23 доллара>. Таким образом удается

провести небольшой истинный эксперимент. Правда, это слабый

эксперимент в двух отношениях. Во-первых, в нашем распоряжении

оказывается очень малое число случаев, и, следовательно, различие,

163

отражающее подлинный эффект, может оказаться статистически

незначимым или даже иметь противоположный знак из-за флюк-

туации выборочных показателей. Естественно, возникает желание

максимально увеличить число лиц, приходящихся на пограничную

ранговую связку, для чего можно расширить интервал значений

критерия отбора, внутри которого они считаются практически

рав 1ыми. Так, в настоящем примере интервал в 2 доллара дает

большее число связанных рангов, чем, скажем, интервал в 50 центов, и к

тому же позволяет избежать чрезмерной и бессмысленной точности в

последнем случае. Другая слабость этого эксперимента состоит в том,

что он исследует эффект воздействия только для узкого класса

значений критерия отбора и поэтому позволяет лишь в ограниченной

степени судить об эффекте по всему диапазону значений этого критерия

(см. рис. 4). Правда, исследуемый узкий интервал вряд ли сильно

отличается от соседних интервалов, которые могли бы стать

граничными в случае возможного расширения или сокращения

программы, и, следовательно, получаемые данные существенны для

принятия важных административных решений.

При рассмотрении рис. 4 возникает вопрос: какова дальнейшая

судьба тех, для кого значение критерия отбора () слегка отличается от

граничного? Считая программу подготовки эффективной, можно было

бы ожидать, что полностью включенная в эксперимент категория лиц с

показателем , равным 22 долларам, будет в дальнейшем иметь доход,

весьма близкий к доходу экспериментальной (Е) подгруппы с = 23

долларам - возможно, чуть ниже, соответственно несколько меньшему

начальному доходу, но все же выше, чем для контрольной группы (С)

с = 23. Аналогично дело будет обстоять и для , равных 21, 20 и

ниже. С другой стороны, дальнейшие доходы лиц с = 24 (никто из

них не участвовал в эксперименте) должны быть примерно такими же,

как и у членов контрольной группы с = 23 - чуть выше, но не как

у членов экспериментальной группы с Ъ = 23 и т. д. На рис. 5

представлены гипотетические результаты такого прослеживания

последующих доходов по всем значениям .

. -

164 Дональд КЭМПБЕЛЛ

Принятые

4000-

3000-

1

2000-

10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 2В 29 30 3) 32 33 34 35

Недельный доход на одного члена семьи

Рис. 4. Результат гипотетического эксперимента по плану с разрывом

ранговой связки, в котором одни кандидаты с недельным доходом 23 доллара

на одного члена семьи принимаются в случайном порядке на курсы

профессиональной подготовки, а другие образуют контрольную группу. Все

кандидаты с доходом 22 доллара и ниже проходят подготовку. Средний

заработок испытуемых спустя 3 года отмечен буквами Е и С соответственно

для экспериментальной и контрольной группы.

Сравнение рис. 5 и 4 наводит на мысль о том, что результаты

гипотетического эксперимента с рандомизацией ранговой связки

можно вывести из анализа эффектов при неслучайном назначении

воздействия по всему диапазону значений критерия отбора Ь. Так, если

принятыми оказываются все лица с доходом в 22 доллара и ниже, а

категория <23 доллара> целиком остается вне воздействия, то, получив

результат, изображенный на рис. 6, мы могли бы с полной

уверенностью считать, что эксперимент с рандомизацией ранговой

связки привел бы к результатам, показанным на рис. 4 и 5. В то же

время результаты, представленные на рис. 7, указывали бы на

отсутствие эффекта воздействия.

Рис. 6 и 7 иллюстрируют использование нарушения непрерыв-

163

ГриН!ТЬе>с

с

с

с

с

с

с

с

ЕЕЕЕЕЕЕ ССССс

ЕЕЕ

Е

Е

ЕЕ

4000-

3000-

2000-

10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 > 31 32 Я 34 35

Недельный доход на одного члена семьи

Рис.5. Данные гипотетического эксперимента по плану с разрывом ранговой

связки для различных категорий доходов на члена семьи (включая данные,

представленные на рис. 4). Все кандидаты с доходом 22 доллара и ниже

получили подготовку на данных курсах, и никто не был принят, если доход на

одного члена семьи составлял 24 доллара и выше.

ности регрессии в качестве признака экспериментального эффекта \.

Этот квазиэксперимент может заменить эксперимент с разрывом

ранговой связки, но не с рандомизацией, распространенной на

весь диапазон значений /г. Результаты анализа не предна-

значены для оценки эффектов при любых значениях критерия

отбора и лишь служат основой для экстраполяции результатов

гипотетического эксперимента с разрывом ранговой связки в

данной критической точке.

План 16 является квазиэкспериментальным в том смысле,

что по сравнению со случаем рандомизации ранговой связки

См., например, работы: ТЬ1511е1Ь\уа11е О. I.. апс1 СатрЬеП О. Т.

Кегез5юп-(и5сопипш(у апа1у515: Ап аНегпаНуе 1о (Ье ех ро1 (ас(о ехрептеп!->

<Тоигпа! о( ЕисаНопа! Рвус1ю1оеу>, 1960, V. 51, р. 309-317: СатрЬеП О. Т.

КеЬгта ав ехрептепв.- <Атег. Р5усЬо1о 1зЬ. 1969, V. 24, р. 409-429;

Со1(ЗЬегег А. 5. 5е1ес1юп Ыаз т еуа1иа1ш 1геа1теп1 ейесв: Зоте (огта!

Пизгатюпэ. МасИэоп, 1п51Ни1е (ог КезеагсЬ оп РоуеПу, ищу. о(\У15соп5Ш. 1972.

166 Дональд КЭМПБЕЛЛ

г?!н;ть>|е-АСс

гс

г

фс

а><с

с

1с

с

0.:с

ЕЕЕЕЕЕЕЕЕЕЕЕЕссссс

4000-

3000-

о

1=[

2000-

10 1) 12 13 14 15 16 17 18 19 20 21 22 И 24 25 26 27 28 29 X 31 32 33 34 35

Недельный доход на одного члена семьи

Рис. 6. Гипотетические данные эксперимента по плану, в котором

используется нарушение непрерывности регрессии в качестве показателя

экспериментального эффекта. Эффект курсов профессиональной подготовки

тот же, что и на рис. 4 и 5. Рис. 6 в принципе идентичен рис. 5, с той лишь

разницей, что здесь отсутствует рандомизируемая категория кандидатов и

рандомизация ранговой связки. Вместо этого на курсы приняты те, чьи доходы

составляли 22 доллара на одного члена семьи и ниже.

при интерпретации данных приходится делать предположения,

менее доступные проверке. Например, необходимо пред-

положить однородность единиц измерения по обе стороны от

критической точки. Требуется также сделать ряд предположе-

ний о виде функции регрессии. Предлагаемый способ статисти-

ческого анализа состоит в подборе линий регрессии отдельно для

двух сегментов, данных слева и справа от критической точки, с

последующим определением величины скачка путем экстраполяции

каждой кривой за критическую точку. Разность между двумя

экстраполированными значениями, очевидно, будет зависеть от

Разработан, в частности, Д. А. Суином в диссертации, подготовленной в

Северо-Западном университете.

167

ГР1Н!ТЪ16->

<с

с

Iс

3с

5"с

5с

?с

с

Iсс

ЕЕЕЕЕЕЕССС

Е

Е

Е

Е

Е

Е

4000-

3000-

2000-Е

10 К 12 13 И 15 16 17 18 19 20 21 22 23 24 25 26 27 2В 29 30 31 32 33 34 35

Недельный доход на одного члена семьи

Рис. 7 Гипотетический результат эксперимента по плану с нарушением

непрерывности регрессии в условиях, аналогичных рис. 5 и 6, для случая,

когда эффект воздействия полностью отсутствует.

предполагаемой формы каждой кривой. В случае двух сигмоид,

изображенных на рис. 6 и 7, использование линейной функции

регрессии при наличии данных, представленных на рис. 7, даст

псевдоэффект. Наряду с численной обработкой данных рекомендуется

также представлять данные в виде графика и не доверять результатам

статистических расчетов, если вид его указывает на правдоподобность

непрерывной функции, не имеющей разрыва в критической точке.

Нельзя, конечно, исключить случайного совпадения независимого

скачка линии регрессии с критической точкой. Но это маловероятно,

если обосновано предположение о равенстве интервалов шкалы

измерения и частоты внутри интервалов распределены равномерно.

На рис. 8 приведены всевозможные гипотетические результаты

применения плана 16, причем графики, помещенные слева, отвечают

отсутствию эффекта, а те, что в центре и справа, - наличию

положительного или отрицательного эффекта. Словом <премия>

168 Дональд КЭМПБЕЛЛ

повсюду обозначена область значе-

ний критерия отбора , соответ-

ствующая экспериментальной

группе. Если премия назначается

по принципу больших заслуг (рис.

8а, б), то сравнение показателей в

области критической точки без

учета регрессии данных конечного

тестирования по приводит к

оптимистическим псевдоэффектам:

Эффект Положитель-

отсутствует ный эффект

Премия |

Отрицатель-

ный эффект

Премия;

1

Премия

Прем

Премия,

о

на рис. 8а получившие премию в

дальнейшем больше преуспевают,

но не благодаря ей. Ситуация

помощи нуждающимся обычно

соответствует рис. 8г, д. Здесь,

если не принять во внимание

наличие регрессии, программа мо-

жет показаться вредной в отсут-

ствие эффекта или неэффективной,

если имеется реальный эффект.

Премия

"Г

План 16, разумеется, работает

ничуть не хуже, если критерий

отбора статистически не связан

с данными, полученными после

воздействия (премии), как в при-

мерах рис. 8ж, и. В таких случаях признак, по которому производится

отбор, является функциональным эквивалентом рандомизации.

Очевидно, возможна и отрицательная регрессия (рис. 8к, м). Рис. 8н, п

приведены с целью подчеркнуть тот факт, что именно скачок регрессии

в критической точке является признаком эффекта, тогда как различие

в наклоне кривой без такого скачка еще не свидетельствует о наличии

эффекта. Это становится более очевидным, если мы вспомним, что в

случаях типа н эксперимент с рандомизацией ранговой связки показал

бы отсутствие эффекта. Криволинейная регрессия (рис. 8р-т) может

вызвать дополнительные трудности в интерпретации результатов,

Рис. 8. Примерные данные экспери-

ментов типа 16.

169

поскольку из-за выборочной ошибки случай, показанный на рис. 8р,

может быть принят за случай 8б.

Следующая иллюстрация, рис. 9, содержит данные машинного

эксперимента - имитированные индивидуальные наблюдения и

построенные для них линии регрессии - в отсутствие эффекта и

представляет собой более подробный вариант рис. 8а. Рис. 10 показы-

вает наличие эффекта. Данные предварительного тестирования

генерировались путем приписывания каждому индивиду взвешенной

нормальной случайной величины, игравшей роль <истинного значения>,

к которому добавлялась взвешенная независимая случайная <ошибка>.

<Истинное значение тестового показателя> в сумме с другой

независимой <ошибкой> имитировали результаты итогового тести-

рования для случаев отсутствия эффекта (рис. 9). Эффект воздействия

имитировался введением соответствующей добавки для тех

<испытуемых>, которые <подвергались воздействию>, то есть для

значений Ъ., превышающих критическое значение.

Хотя приведенные иллюстрации относятся к случаю одной

зависимой и одной независимой переменной, часто предпочтительны

многомерные варианты данного эксперимента, если при этом не

утрачивается четкость правила отбора. Многомерные переменные,

характеризующие последующее состояние испытуемых, можно

использовать разными способами. Так, можно ввести статистические

поправки для одной из зависимых переменных (такой, как более

поздние заработки) в целях устранения дифференциальных эффектов

различных социально-экономических фоновых переменных, кроме тех,

которые были использованы при выработке количественного критерия

отбора. Вместо этого можно представить результат в виде составной

переменной и применить технику множественной регрессии.

Бросим теперь взгляд на строку табл. 3, соответствующую плану