54 Дональд кэмпбелл

О] и 02 испытуемые могли стать старше, проголодаться, устать, их

может одолеть скука и т. д., и полученное различие может оказаться

следствием этих процессов, а не действия X. При компенсаторном

обучении, которому подвергаются исключительно лица с явными

нарушениями развития, за эффект корректирующего Х может быть

ошибочно принят процесс <спонтанной ремиссии>, аналогичный затя-

гиванию раны. (Не приходится и говорить, что такую ремиссию нельзя

считать <спонтанной> в каком-либо каузальном смысле, точнее, эта

ремиссия представляет собой кумулятивный эффект процессов обу-

чения и влияния среды, который проявился бы и без применения X.)

Третьим возможным объяснением, могущим быть источником

погрешности, является эффект тестирования, то есть влияние предше-

ствующего обследования на результаты последующих. При тестиро-

вании интеллекта или уровня знаний испытуемые обычно показывают

лучшие результаты при повторном выполнении того же теста или его

альтернативной формы по сравнению с лицами, впервые подвер-

гающимися испытанию (см., например, АпазЬаз! [2, с. 190-191]; Сапе,

Нет [17]). Для нетренированных испытуемых такое улучшение в

среднем на 3-5 единиц по шкале умственного развития (/0)

происходит без каких-либо указаний или инструкций по поводу тех

пунктов, в которых первый раз была допущена ошибка. Сходное

явление отмечено и в исследованиях с применением личностных

тестов - повторное использование теста обычно выявляет лучшую

приспособленность, хотя иногда наблюдается и весьма значительный

обратный эффект (шсИе [135]). Применение повторного теста при

изучении отношений к национальным меньшинствам может обнару-

жить большую степень предубежденности, хотя этот эффект выражен

незначительно (Капкш, СатрЬеП [91]). Очевидно, на характер

результатов оказывают влияние условия анонимности обследования,

возрастающая осведомленность о том, какой ответ более социально

приемлем, и т. д. При исследовании предрассудков в условиях

анонимности уровень адаптации, создаваемый предъявляемыми

суждениями, выражающими враждебность, может изменить представ-

ления испытуемых о приемлемых установках в сторону большей

враждебности. При применении неанонимных вопросников для

55

изучения личностных характеристик и приспособленности первое

тестирование приобретает характер проблемной ситуации, в которой

испытуемый пытается выявить скрытую роль теста. Когда ему это

удается (или после обсуждения со своими друзьями их ответов на

некоторые <странные> вопросы), он лучше понимает, как показать себя

во второй раз в более выгодном свете.

С проблемой эффекта тестирования связана проблема различных

способов измерения реактивности испьпуемого. Эта тема весьма

важна для данной работы, и поэтому мы всегда будем подчеркивать

желательность применения нереактивных в этом смысле измерений 1.

В социальных науках давно уже известно, что процесс измерения

может сам по себе изменять то, что измеряется. Увеличение

показателей от предварительного тестирования к итоговому является

важным аспектом таких измерений. (Другой аспект- взаимодействие

между измерением и Х - будет обсуждаться ниже в связи с планом 4.

Кроме того, важно избегать возможной реактивности на начальное

тестирование даже в тех случаях, когда процедура измерения оказывает

различное воздействие на разных испытуемых.) Реактивности можно

ожидать во всех тех случаях, когда процесс тестирования сам по себе

является скорее стимулом к изменению, чем пассивной регистрацией

поведения. Так, например, начальное взвешивание в экспериментах с

регулированием веса само по себе, даже без терапевтического

воздействия, может служить стимулом для уменьшения веса.

Аналогично этому появление в классе наблюдателя для предваритель-

ной оценки умений преподавателя устанавливать и поддерживать

межличностные отношения может само по себе изменить стиль

поведения преподавателя. Вид подключенного микрофона может

изменить характер группового взаимодействия и т. д. В целом можно

ожидать, что, чем более мотивирующим и привлекающим внимание

будет процесс измерения, тем значительнее могут быть побочные

реакции.

Проблеме нереактивных измерений в социальных исследованиях посвящена

работа:еЬЬ Е. т., СатрЬеП О. Т., 5сЬ\уаг(г К. О., ЗесЬгеэ! I.. ипоЬтш-

з!уе теахигеа: ГопгеасНуе гезеагсЬ т (Ье 5ос1а1 5с1епсеэ. СЖсао, Капй МсМаНу,

1966. - Прим. ред.

56 Дональд КЭМПБЕЛЛ

Термин инструментальная погрешность, или <дефект инстру-

мента> (СатрЬеП [10]), используется для обозначения четвертой

неконтролируемой конкурентной гипотезы. Он относится к автоном-

ным изменениям в измерительных инструментах, которые могут

привести к различиям между 0 и 0. Эти изменения аналогичны

растяжению или потере упругости в пружинных весах, конденсации в

камере Вильсона и т. д. При использовании для получения значений

0\ и 0 наблюдателей их утомление, научение и т. д. приведут к

различиям между 0\ и О. При выставлении оценок за сочинения

могут измениться эталоны оценивания при переходе от 0\ к 0.

(Можно преодолеть этот недостаток, если оценивать сочинения из 0 и

Ог в один прием так, чтобы не было известно, какие написаны

раньше.) При обследовании школьных занятий наблюдатели могут

стать более опытными или более пресыщенными к моменту повторного

тестирования. Если проводится интервьюирование родителей, то

причиной отличий данных первого интервью от данных второго может

быть лучшее знакомство интервьюера с порядком проведения

интервью и с опрашиваемыми. Изменения самого наблюдателя,

происшедшие между 0\ и О;, могут привести к различиям в

результатах наблюдений.

Пятым фактором, примешивающимся к Х в некоторых случаях

использования плана 2, является эффект статистической регрессии.

Так, если для экспериментов с корректирующим обучением учащиеся

выбираются потому, что они показали наихудшие результаты в тестах

достижений (и эти результаты будут для них 0\), то последующее

тестирование с использованием того же теста или аналогичной его

формы покажет, что 0 для этой группы испытуемых почти наверняка

будет в среднем выше, чем 0\. Этот несомненный результат не

обусловлен каким-либо подлинным эффектом X, обучением в ходе

тестирования и т. д. Скорее всего, это проявление отсутствия 100 /о-ной

корреляции между 0\ и О. Поскольку ошибки, возникающие

вследствие недооценки эффекта регрессии, столь опасны в педаго-

гических исследованиях, поскольку понимания сущности этого эффекта

нет даже у студентов, прошедших более сложный курс современной

статистики, и в дальнейшем обсуждении (например, плана 10 и анализа

57

ех роз1 (ас1о \) предполагается знание этого вопроса, мы изложим здесь

эту проблему, хотя и в несколько упрощенной и традиционной форме.

На рис. 1 представлены некоторые гипотетические данные, где

коэффициент корреляции между результатами предварительного и

итогового тестирования для всей популяции равен 0,50 при одном и

том же среднем и одинаковой дисперсии по группе. (Данные

подобраны таким образом, чтобы расположение значений по столбцам

и строкам было легко обозримым. Значение коэффициента 0,50

также выбрано по соображениям удобства.) В этом гипотетическом

примере нет подлинного изменения, но, как обычно, ретестная

корреляция показателей теста значительно меньше единицы. Если, как

в приведенном примере, мы будем сравнивать с данными итогового

тестирования только результаты тех учащихся, которые получили при

первом тестировании самые низкие оценки - к примеру 7, - то

обнаружим, что, хотя результаты этих учеников имеют определенный

разброс, в целом они выше и в среднем <приблизились> к средне-

групповым данным на половину отрезка, отделявшего их от среднего по

группе (поскольку коэффициент регрессии или корреляции составляет