336 Дональд кэмпбелл

Статистические проблемы

В этом разделе я займусь более земными проблемами, в которых

мы, методологи количественного оценивания, чувствуем себя наиболее

уверенно. Это проблемы, явно требующие профессионального умения,

проблемы, которые нуждаются в решении и могут быть решены. Такие

статистические проблемы предполагают при решении метанаучных

вопросов предпочтение количественного экспериментального подхода.

Я начну с полезного обыденного метода - с прерывных временных

серий. Затем я остановлюсь на некоторых популярных, но неприем-

лемых регрессионных подходах к квазиэкспериментальным планам.

Потом будут обсуждены проблемы, связанные с экспериментами,

предполагающими рандомизацию, а в заключение - оригинальный

компромиссный план 1.

План прерывных временных серий. Этим термином я обозначаю

широко распространенную практику построения на основе той или

" " /

иной социальной статистики временных рядов и попыток их

интерпретировать. Эта практика, как и проблемы, с которыми она

столкнулась, и решения, к которым она привела, независимо возникли

во многих странах. Я отмечу некоторые использования этого метода

вне США: КШспта! [61]; Оау1а, ХУл [36]; С1а55, УШзоп, Сошпап

[44] и др.

В работе Росса [75] приводятся статистические данные об

эффекте особых мер по обеспечению безопасности движения,

принятых в Англии в 1967 г.2 На приведенном графике (рис. 1) этот

эффект получил более наглядное отражение, чем в какой бы то ни было

Рассматриваемые в данном разделе модели и планы квазиэксперимен-

тальных исследований, а также методологические и методические вопросы, связанные

с разработкой и использованием этих моделей, более детально изложены в

специальных работах Д. Т. Кэмпбелла (см., например, СатрЬеП О. Т. Оиа1-

Ехрептеп(а1 Ое51 пз.-1п: 5ос1а1 Ехрептеп1а1юп: А те(Ьо<1 {ог р1аппте апй

еуа1иа(!п зос1а1 штегуепиоп. N. У., Асайегшс Ргезх, 1974; СатрЬеП О. Т. Ке-

[оггпз аз ехрептеп15>-1п: Кеайтв ш Еуа1иа1юп КезеагсЬ. Е<1. Ьу Р. О. Саго, N. У.,

КиззеП 5а е Роип()а1юп, 1977; СатрЬеП О. Т. Роса! 1оса1 шсИсаЮгз (ог 5ос1а1

ргогат еуа1иаНоп. - 5ос1а1 ш(11са1огз гезеагсЬ, 1976, уо1. 3. - Прим. ред.

2 Изучение эффективности принятых мер предполагало оценку причин

уменьшения числа дорожных происшествий, вызванных водителями в нетрезвом

виде. Более детально исследование и методика описаны в работах: К о 55 Н. Ь.,

337

1966

1967

1961

1969

1970

Рис. 1. Дорожные происшествия (со смертельным исходом или с тяжелыми

телесными повреждениями) в Англии до и после введения программы по

обеспечению безопасности дорожного движения в октябре 1967 г.

(упорядоченные посезонно). (По- Козз [75].)

английской публикации. Британское министерство транспорта на

протяжении последующего года добросовестно обнародовало

впечатляющие результаты. В отчете приводились проценты сокра-

щения числа дорожных происшествий в данном месяце по сравнению

с тем же месяцем предыдущего года. Это лучше, чем полное

игнорирование зависимости результатов от времени года, но и этот

метод неэффективен, поскольку необычные <эффекты> часто в той же

мере обязаны своим происхождением превратностям предшеству-

ющего периода времени, что и текущего периода. Кроме того, этот

метод не позволяет создать общую картину. Газеты с полным

основанием отмечали успех мероприятия, однако интерес к нему вскоре

угас, и в настоящее время английские социологи в большинстве своем

не имеют представления об эффективности этой программы. На рис. 1

данные приводятся с поправкой на сезонные тенденции, на неодина-

С а т р Ь е 11 О. Т., О 1 а з 5 С. V. Ое1еггшпт (Ье зос1а1 е((ес(5 о! 1еа1 ге(огт: ТЬе

ВгШвЬ <Ьгеа1Ьа1у5ег> сгасЫоп оГ 1967-Агпег. ВеЬауюга! ЗоепНа!, 1970, уо1. 13,

№ 4. С а т р Ье 11 О. Т., Коха Н. Ь. ТЬе Соппес11си1 сгаск(1о\уп оп эреесИп, "Пте

-5епе5 Оа1а ш Оиа-ЕхрептепЫ Апа1уз15.-Ьа\у апй Зоаету Кеу1еу/, 1968, уо1.

111, № 1; С о о к Т. О., С а т р Ь е 11 О. Т. Ор. с11. - Прим. ред.

338 Дональд КЭМПБЕЛЛ

ковое число дней и уик-эндов в разных месяцах и с учетом того факта,

что меры оценивались лишь после даты их введения. Всякая такая

подгонка (аа1и51теп1) по-своему проблематична и может быть решена

по-разному. В данном случае последствия принятых мер были

настолько значительны, что их можно было бы выявить при любом

подходе, но во многих случаях дело будет обстоять иначе. (Отмеченные

на графике данные о часах поездок на работу и обратно служат

контрольными по отношению к вечерним и ночным часам уик-эндов.)

Болдус [2] проанализировал серьезные последствия одного

закона, который он считает вредным именно потому, что он эффекти-

вен. Если лицо, получавшее пособие по старости (вспомоществование

для бедных, назначаемое правительством), умирая, оставляет деньги на

какую-нибудь собственность, то, согласно этому закону, расходы

правительства должны быть возмещены. При капиталистической

идеологии, усвоенной даже бедными, многие старики будут умирать

голодной смертью, лишь бы иметь возможность оставить свое жилище

детям. Болдус изучал последствия таких законов на материале

примерно 40 случаев, когда они вводились в штатах, и примерно 40

других случаев, когда их действие приостанавливалось. В каждом

случае он отыскивал для сравнения какие-то похожие штаты, которые

не меняли своих законов (см. рис. 2).

План прерывных временных серий имеет исключительно важное

значение для оценивания программ. К нему можно обращаться, когда

новая программа оказывает влияние на всех, вследствие чего нельзя

составить настоящую контрольную группу. Если есть возможность

привлечь для сравнения данные какой-нибудь другой группы, этот план

лучше любого другого квазиэкспериментального плана (СатрЬеП,

81ап1еу [26] 1). Нередко он может быть реконструирован на основе

архивных материалов. Будучи представлен графически, он легко

доступен пониманию администраторов и законодателей. Вот почему он

вполне заслуживает методического совершенствования. Далее

приводится краткий перечень методологических проблем, с которыми

мы сталкиваемся при разработке этого метода.

См. перевод этой работы в данной книге.

339

К1 I 1 III V VII IX XI | 1

XII II IV V VIII Х Х1Я

V VII IX XI 1 III V VII IX XI

VI VIII Х XII II IV VI VIII Х

III V VII IX XI

1 IV VI VIII Х XII

1950 1951 1952 1953

Рис. 2. Влияние введения в штате А закона, требующего возмещения

получаемой помощи после смерти получателя, на поступление в учреждения

социального обеспечения запросов о пособиях престарелым. (Модификация

по: Во1(1иа [2, с. 204].) Ежемесячные данные, где все значения выражены в

процентах от количества запросов за 18 месяцев до изменения в законе.

1. Все еще остается проблемой проверка значимости. Обычный

метод наименьших квадратов здесь, как правило, неприменим

вследствие авторегрессионной ошибки, поэтому наиболее приемлемой

представляется модель <подвижных средних>. Гласе, Уиллсон и

Готтмен [44] разработали самый лучший подход к проблеме, который

основывается на трудах Бокса и Тьяо [11] и Бокса и Дженкинса

[12]. Эти модели требуют, чтобы в данных отсутствовали системати-

ческие циклы, однако все методы их устранения, как правило, не

полностью обеспечивают подгонку данных. Для них требуется, кроме

того, большое число временных точек, и иной раз не удается выявить

эффект, который воспринимается визуально, когда он представлен

графически. Но иногда с их помощью выявляется значимое

воздействие там, где визуально нельзя ничего обнаружить.

2. Проблемой остается и устранение сезонных тенденций.

Последние сами по себе нестабильны и предполагают обращение к

модели подвижных средних. Изменение из месяца в месяц, совпада-

ющее с предусмотренной программой, не может считаться чисто

сезонным; ряд, следовательно, должен быть разделен в данной точке на

части для оценки характера сезонных изменений. Поэтому точки,

непосредственно предшествующие осуществлению программы и

непосредственно следующие за ним, становятся крайними точками

340 Дональд КЭ МПБЕЛЛ

ряда и поддаются коррекции хуже, чем точки в середине ряда (Кера

[55]; МсСат [66]).

3. Новая администрация, которая предлагает новые программы,

склонна вносить изменения и в систему регистрации процесса. Тем

самым изменения в показателях часто становятся не поддающимися

интерпретации (СатрЬеП [16]). Этого следует по возможности

избегать.

4. Когда введенные программы являются реакцией на какую-

нибудь острую проблему (например, резкое изменение к худшему,

фиксируемое каким-нибудь социальным показателем), благотворные

воздействия программы смешиваются с <регрессионными артефак-

тами>, которые обязаны своим возникновением тому факту, что в

нестабильном ряду точки, следующие за экстремальным отклонением,

располагаются, как правило, ближе к линии общей тенденции

(СатрЬеИ [16, с. 413-414]).

5. С помощью этого плана обычно невозможно уловить

изменения, вводимые постепенно. Если администратор, пользуясь этим

планом, хочет сделать программу оптимально доступной оцениванию, не

следует вводить ее до тех пор, пока не будут сделаны все необходимые

приготовления для резкого ввода. Британская программа мер по

обеспечению безопасности движения, о которой мы говорили выше,

может служить примером этой оптимальной критики (см. рис. 1).

6. Ввиду того, что необходимы длинные серии наблюдений, мы, как

правило, вынуждены пользоваться только теми индикаторами, которые

регистрировались когда-то для иных целей. И хотя часто они реле-

вантны (например, данные о рождении и смерти), тем не менее даже

самые что ни на есть намеренно выбираемые индикаторы никогда

полностью не релевантны, это-серьезное ограничение. Отсутствуют, в

частности, отчеты о переживаниях участников и их опыте. В то же

время невозможно и нежелательно пытаться предвидеть все будущие

потребности и заводить книги для их учета. Необходим известный

компромисс между крайностями, пусть даже ценой умножения бланков,

подлежащих заполнению, и записей, которые надо регулярно вести. На

институциональном уровне было бы важно получить от каждого

участника <Годовые отчеты для оценивания программы> (Согаоп,

341

СатрЬе11 [46]). В системе школьного образования такие отчеты

могли бы представлять учителя, учащиеся и родители. Отметим, что в

настоящее время школьная система фиксирует успехи учеников, но еще

ни разу не интересовались отчетами учеников об успехах школы.

Учителя из года в год оцениваются по эффективности их работы, но им

ни разу еще не представился случай оценить стратегию, которую они

до.-жны проводить в жизнь. Изучаются некоторые шаги в этом

направлении (УеЬег, СооК, СатрЬе11 [93]; Апаегэоп [1]). В системе

социального обеспечения в США такие отчеты могли бы представ-

лять как социальные работники, так и те, кто получает помощь (Согаоп,

СатрЬеН [46]). Все показатели должны оценивать лишь программы и

стратегии, но не конкретных лиц - по причинам, которые будут

рассмотрены ниже.

Корректирование регрессий как. замена рандомизации.

Наиболее распространенная в американской практике модель оцени-

вания состоит во введении новой программы в каком-то одном

институте или административной единице с обследованием до и после

ее введения. Хотя при этом оставляет желать лучшего способ контроля,

этот метод часто оказывается достаточно информативным для того,

чтобы его стоило практиковать. Почти столь же часто этот план

усовершенствуется за счет привлечения сравниваемой группы, которая

также подвергается измерениям до и после введения программы в

основной группе. Это, как правило, какая-то иная, свободная от

воздействий социальная единица, которая не получает новой

программы и признается сопоставимой в других отношениях. Обычно

оказывается, что эти две группы отличаются друг от друга уже до

работы с ними, и одна из естественных тенденций состоит в том, чтобы

устранить эти отличия. На мой взгляд, средства, используемые с этой

целью в практике применения статистических методов в США, почти

всегда неверны. Получается, что некий набор статистических

инструментов, разработанных и пригодных для предсказания,

применяется в целях каузального вывода, которым он не соответ-

ствует. Регрессионный анализ, мультивариативная статистика, кова-

риационный анализ - вот наименования некоторых статистических

приемов, которые я имею в виду. Идет ли речь о статистике в области