16. Оценка качества психодиагностического инструментария в работе практического психолога. (Решение практической задачи)

Содержание практической задачи.

Психолог К.Н. специализируется в области консультирования взрослых и пожилых людей.

Его заинтересовало методическое пособие «Тест мудрости»*, поступившее в свободную продажу. В ходе знакомства с руководством выяснилось, что тест является личностным вопросником, переведенным с английского языка.

В тесте 24 пункта, которые образуют 4 шкалы, а также суммарная (агрегированная) шкала «Индекс мудрости». Четкого определения понятия «Мудрость» в руководстве нет, отсутствует также обоснование структуры шкал.

Тест апробирован на русскоязычной выборке 53-х студентов гуманитарных специальностей одного из вузов России. Указаны коэффициенты ретестовой надежности шкал (в диапазоне от 0,3 до 0,7), а также коэффициенты внутренней согласованности шкал альфа Кронбаха (диапазон от 0,45 до 0, 57).

Приведены корреляции «Индекса мудрости» с Тестом смысложизненных ориентаций (адаптация Д.Леонтьева) – 0,43, и с Тестом Стандартные прогрессивные матрицы Д.Равена (0,37).

Других данных о проверке методики не имеется.

Приведены также «медианные нормы» по шкалам теста (средние и стандартные отклонения) для выборки 53 студентов.

В руководстве содержится рекомендация для широкого использования в практической психологии.

Что Вы можете сказать о качестве данного инструмента, основываясь на имеющейся информации?

В какой мере и для каких целей этот вопросник можно использовать? Насколько этот инструмент может быть полезен в практике К.Н.?

* Примечание: Пример теста Мудрости вымышленный. (прим.автора)

Текст в программу к ГОС экзамену по данному вопросу

Современные нормативные требования к психодиагностическим методикам и пользователям психодиагностического инструментария (Этический кодекс 1991 г., Ярославль; Этический кодекс РПО, СПб. 2003 г.).

Репрезентативность и область применения психодиагностических методик.

Понятие о валидности, надежности и разрешающей способности (дискриминативности) диагностических шкал. Основные их виды и интерпретация соответствующих коэффициентов.

Нормативные требования к разработке, адаптации и использованию психодиагностического инструментария.

Примерный вариант ответа:

Прежде всего, следует подчеркнуть, что идеального психодиагностического инструментария просто не существует. У любого инструмента измерений имеются как сильные, так и слабые стороны. Вместе с тем, имеются также и общепринятые в международном психологическом сообществе требования к психодиагностическим методикам и их использованию в практике. В нашей стране они изложены в ряде документов, начиная со «Стандартных требований к психологическим тестам», изданным в Ярославле в 1991-м году, и заканчивая новейшим требованиям к ПДМ, изложенным в Ежегоднике профессиональных рецензий методик психодиагностике (Челябинск, 2010). Кроме того, соответствующие требования неоднократно обновлялись на Съездах РПО, в т.ч. в СПб (2003) и в Ростове-на-Дону (2007). Именно с позиций этих требований и рассмотрим качество теста Мудрости.

Требования к ПДМ и их использованию	Сильные стороны Теста Мудрости	Слабые стороны ТМ
1. Соблюдение авторских прав. 2. Соблюдение требования проф.тайны.		Тест в свободной продаже. Требования сохранения проф.тайны и, возможно, авторских прав, не соблюдаются. Это не соответствует международной практике. Профессиональный тест должен распространяться только сертифицированными центрами и для сертифицированных специалистов.
Требования к технологи адаптации зарубежного инструментария	Какие-то попытки адаптации инструмента проведены: он переведен на русский язык, проведено психометрическое исследование его работы на русской выборке, есть некоторые данные этого исследования	В руководстве нет никаких сведений о том, как и кем выполнялся перевод методики, соблюдались ли необходимые требования к такому переводу (обычно прямой и обратный переводы специалистами, свободно владеющими 2 языками).
Описание конструкта и его структуры, а также соответствующих теоретических исследований		Такое описание совершенно отсутствует. Т.е. конструкт «мудрость» не операционализирован. Возможно, методика – салонный (развлекательный) или ориентировочный тест.
Область применения теста. Репрезентативность выборки стандартизации теста.		Психолог К. ищет инструмент для консультирования взрослых и пожилых людей. Однако Тест Мудрости «апробирован на русскоязычной выборке 53-х студентов гуманитарных специальностей одного из вузов России». Т.е. он совершенно непригоден для целей К. Тест пригоден только для студентов, да и то очень ограниченной выборки данного вуза (53 человека). Т.е. – выборка проверки теста не репрезентативна ни по количественному критерию (обычно от 200 человек и более), ни по качественному структурному критерию. Тест не годится «для широкого применения», реальная область применения теста очень узкая.
Психометрические параметры: Валидность; Надежность; Дискриминативность (разрешающая спос-ть)	Имеются 2 коэф-та надежности – альфа Кронбаха и ретестовой надежности	1. Они «не доходят» до необходимого минимума = 0,7. Т.е. тест нельзя считать надежным. 2. Данные кроссвалидизации (связи с другими инструментами) недостаточны. Непонятно, почему именно эти тесты были взяты для сравнения (особенно тест Равена). Да и коэф-ты корреляции с этими тестами для выборки в 53 человека малы.
Нормы	Представлены медианные нормы.	Ничего не сказано о нормальности распределения. Да и выборка, опять же, очень мала для использования таких норм. А на взрослых и пожилых эти «нормы» вообще распространить невозможно.

Итог – данный тест совершенно не соответствует ни ожидаемой К.Н. области применения, ни тем требованиям, которые предъявляются к ПДМ в психометрике. Это касается репрезентативности выборки, параметров валидности, надежности, дискриминативности. Адаптация теста проведена некорректно. Кроме того, нарушаются авторские права в его адаптации и распространении.

ВЫВОД – данный тест использовать нельзя не только в практике К.Н, но и в практике любого психолога.