Общая валидность теста

Резюмируя сказанное выше, повторим, что доказательства валидности выводов, которые можно сделать из результатов теста, традиционно делятся на три категории. Это не означает, что существуют различные типы валидности; различные подходы к сбору доказательств валидности любого данного теста должны приводить к одинаковым выводам. Идеальным способом конструирования теста является последовательное использование на разных этапах разработки теста нескольких различных процедур.

Таким образом, валидиость «встроена» в тест с самого начала, а не появляется на последних этапах разработки теста... Процесс доказательства валидности начинается с определения черт или конструктов, которые выводятся из психологической теории, предыдущих исследований или систематичных наблюдений и анализа областей реального жизненного поведения... Затем подготавливают пункты теста, соответствующие определениям конструктов. За этим этапом следует эмпирический анализ пунктов и отбор наиболее валидных пунктов из первоначальной их совокупности... На последнем этапе проводится доказательство валидности... по отношению к внешнему критерию, взятому из реальной жизни» (Anastasi, 1989).

Проблемы исследования валидности тестов

Процесс проверки валидности теста может быть длительным, и в результате получается одно число — коэффициент корреляции. Это число может быть основой для принятия важных решений, и индустриально-организационные психологи должны постоянно проявлять внимание к проблемам, из-за которых в исследовании валидности могут появиться ошибки. Здесь обсуждаются две такие проблемы — ошибки при формировании выборки и дифференциальная валидность. Важно также найти способы повышения эффективности исследований валидности. Один из возможных путей — это генерализация валидности.

Ошибки при формировании выборки

В этой главе мы постоянно возвращались к мысли о том, что все измерения содержат ошибку. Одним из постоянных источников ошибок являются испытуемые, за которыми проводятся наблюдения. Существует много причин, по которым испытуемые, участвующие в эксперименте (в том числе проходящие тестирование при исследовании надежности или валидности), могут отличаться по какому-нибудь важному аспекту от других испытуемых, которые тоже могли бы стать объектом наблюдения. Если эти различия играют решающую роль, то в исследование вносится ошибка формирования выборки. При этом снижается степень репрезентативности выборки для релевантной популяции.

Возможность генерализации.

Влияние ошибки формирования выборки сводится к снижению возможности генерализации выводов из наблюдений, проведенных за членами выборки, на других людей, не входящих в эту выборку. Предположим, например, что по какой-то причине индустриально-организационный психолог может провести экспериментальный отборочный тест при приеме на работу только с теми претендентами, которые приходят в отдел кадров компании в период с пятнадцати до семнадцати часов. В таком случае любая оценка критериальной валидности теста будет, по-видимому, основана на нерепрезентативной выборке.

Точная природа этой необъективности неясна, но описанная выборка почти наверняка будет содержать непропорционально большое количество людей, которые поздно встают по утрам, а также претендентов, которые начали искать работу с утра и уже обращались в другие компании (и возможно, проходили там тестирование). Претенденты, которые начали поиск работы рано, наверное, будут усталыми, а возможно, и разочарованными. Те, кто встал с постели около полудня, может быть, на самом деле и не очень заинтересованы в том, чтобы получить работу. В любом случае исследователь получит выборку результатов теста, отличающуюся от выборки, которая получилась бы при тестировании испытуемых в течение всего дня. Поэтому непонятно, можно ли «пользовать критериальный коэффициент валидности, который будет получен с использованием этих испытуемых, для всей популяции «претендентов на место в этой компании».

В этом примере описана очевидная ошибка формирования выборки, которой легко можно избежать, но реальная практика проведения исследований говорит о том, по какая-нибудь ошибка, допущенная при формировании выборки, обычно приводит к необъективным выводам. Это одна из причин того, что в научном методе придается столь большое значение верификации. В исследованиях валидности для верификации необходимо проверить первые оценки валидности с помощью другой выборки — то есть провести репликацию исследования. Если нет оснований подозревать, то вся выборка составлена некорректно (как в приведенном примере), то репликацию часто проводят с использованием какой-то части всех имеющихся испытуемых. Эта «выборка из выборки» называется резервной выборкой (hold-out sample); она составляется как случайная из первоначальной выборки испытуемых. Сначала тестируют остальных испытуемых из исследуемой выборки, а репликацию результатов проводят с помощью резервной выборки.

Научный метод.

Метод резервной выборки позволяет экономить время. Если время не имеет большого значения или возникает какая-либо проблема с первоначальной выборкой, можно осуществить репликацию исследования путем повторного проведения того же исследования в другое время и с другой выборкой испытуемых. Независимо от способа ее проведения, одна репликация считается абсолютно необходимым минимумом, если тест собираются использовать в прикладных целях. Если тест используется в течение сколько-нибудь длительного периода, то необходимо время от времени проводить его переоценку. Изменяются характер работы, стандарты и характеристики работников, обращающихся в данную организацию.

Верификация.