18. Ошибка измерения.

ОШИБКА ИЗМЕРЕНИЯ (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:     где Sx — дисперсия тестовых показателей X. Формула (1) является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы. Самый известный из них — метод перетестирования (тест-ретест) или метод измерения «РЕТЕСТОВОЙ НАДЕЖНОСТИ». На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование X, а затем повторное тестирование Y. Интервал, как правило, — две недели, что гарантирует забывание вопросов теста. Затем для двух рядов значений Х и Y подсчитывается, например, линейный коэффициент корреляции (возможный и нередко более корректный вариант — подсчитывать ранговый коэффициент корреляции):       — стандартные отклонения Х и Y, Cov (X,Y)— ковариация двух переменных Х и Y. В этой книге мы не ставим целью научить студентов-педагогов корреляционным методам и пытаемся изложить лишь принципиальную суть дела. Интересующиеся найдут все необходимые формулы и вычислительные примеры в любом учебнике по статистике, а также в специализированных изданиях по психодиагностике и психометрике («Общая психодиагностика», 1987; Клайн, 1994). Что важно для сути теории надежности тестов, так это возможность определить ошибку измерения после того, как подсчитана корреляция «тест-ретест» по формуле (3), полученной путем простого преобразования формулы (I):   Ищете любимца? Простые и редкие породы котят ждут Своих хозяев - здесь! avito.ru от 50 руб. Новейшие технологии Телефоны опережающие прогресс! slando.ru от 2 000 руб. Доставка в подарок Надежный металлический смартфон от Mercedes! mercedesmob.info 6 190 руб.   Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция «тест-ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:     То есть оказывается, что ошибка измерения перекрывает большую часть разброса тестовых показателей, так как истинный балл по тесту может отклоняться от измеренного балла на целых 7 очков! И если испытуемый набрал на 6 очков больше, чем «средний» испытуемый, мы не можем с достаточной уверенностью (статистической достоверностью) говорить о том, что он значимо превзошел среднего испытуемого, так как это отклонение оказывается в пределах стандартной ошибки измерения. Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью, и его нельзя использовать как измерительный инструмент. 19. Валидность. Виды валидности. 

Основные понятия.

Валидность или обоснованность всякой процедуры измерения состоит в однозначности (устойчивости) получаемых результатов относительно измеряемых свойств объектов, т. е. относительно предмета измерения.

В психофизике физические стимулы достаточно однозначно детерминируют измеряемые свойства ощущений, в психодиагностике связь может быть сложнее.

Надежность необходимое, но не достаточное условие валидности.

Валидность≤надежность.

Повышение надежности не обязательно повышает валидность. Если тест измеряет область поведения, которая складывается из различных феноменов, то содержательная валидность теста автоматически требует представленности в нем моделей всех этих феноменов.

Содержательная валидность — взяв глобальное понятие «речевая способность», необходимо рассматривать такие независимые

27

навыки, как навыки письма и чтения. Заботясь о содержательной валидности, в тест нужно вводить задания на проверку обоих этих качеств. Вводя разнородные пункты и субъекты, сокращают внутреннюю согласованность, одномоментную надежность, но повышают валидность. Психодиагност должен избегать излишней согласованности. Содержательная валидность устанавливается за счет экспертов.

Эмпирическая валидность измеряется с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений — баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия. Такими показателями могут быть «успеваемость», «производительность труда», «текучесть кадров», «совместимость», «срабатываемость коллектива», «преступность».

Пытающийся скоррелировать результаты теста с этими показателями психолог решает сразу две задачи: задачу измерения валидности и задачу измерения практической эффективности своей психодиагностической программы. Если получается значимый коэффициент корреляции, то решены сразу две эти задачи. Если корреляция не обнаружена, то остается неопределенность: либо невалидна сама процедура, либо неверна гипотеза о причинно-следственной связи.

На практике от психодиагноста ждут вмешательства — отбор кадров, обучение, консультирование и т. п. Повышение показателей доказывает эффективность самого вмешательства. Неопределенность делает невозможным отделить неэффективность вмешательства от низкой валидности диагностики.

Процедура эмпирической валидизации.

Если критерий — событие в прошлом, то применяется метод контрастных групп. Коррелирование с суммарным баллом по тесту оценивается с помощью бисериального коэффициента.

Где ∑x* — сумма финальных баллов тех индивидов, которые дали утвердительный ответ на i-тый пункт теста (решили i-тую задачку);

S_x — стандартное отклонение для суммарных баллов всех индивидов из выборки;

28

 — стандартное отклонение по i-тому пункту;

x̄ — средний балл по всем пунктам.

Если критерий Y будущее событие, то выборка должна быть составлена с запасом (проспективная валидизация). Проспективная валидизация выявляет прогностическую эффективность диагностической процедуры.

Конструктивная валидность.

Новый тест сравнивают со старым, апробированным тестом с известной валидностью. В этом случае психодиагност может сформулировать ряд предсказательных гипотез о том, как будет новый тест коррелировать с другими тестами, измеряющими родственные характеристики испытуемых. Подтверждение гипотез указывает на валидность выдвигаемого конструкта, т. е. на конструктную валидность.

Конвергентная и дискриминантная валидность.

Соответствие пунктов теста измеряемому фактору обеспечивает конвергентную валидность.

Сбалансированность пунктов теста относительно иррелевантных факторов обеспечивает дискриминантную валидность.

Валидность целого теста зависит от валидности входящих в него пунктов. Максимальная валидность достигается за счет отбора таких пунктов из пилотажной батареи, которые, обладая значимой корреляцией с критерием, минимально коррелируют между собой. Отбор пунктов именно по критерию валидности обеспечивает максимальную прагматическую эффективность теста. Такой отбор можно произвести, рассчитывая бисериальную корреляцию критерия с каждым пунктом из пилотажной батареи.