Билет 19. Технологический алгоритм разработки теста.

1. Определяемся с феноменом (с темой).

2. Изучение литературы по этому вопросу и знакомство с методиками, которые уже есть.

3. Формулируем операциональное определение феномена (операционализируемое – в котором содержаться поведенческие индикаторы).

4. Составление группы вопросов на каждый поведенческий индикатор (≈10-15 вопросов).

5. Экспертиза для установления содержательной валидности (экспертов д.б. не менее 3-х).

а) эксперт должен оценить каждый вопрос по степени соответствия изучаемому конструкту.

б) эксперт должен оценить степень корректности формулировок (понятность, недвусмысленность, предполагает ответы как ДА, так и НЕТ, не социально желательны, и т.д.).

6. Компоновать методику (для профилактики установки на согласие):

- по предполагаемым ответам;

- по группам;

- по формулировке и т.д.

7. Составить инструкцию и шкалу ответов.

8. Проведение на выборке испытуемых (не менее 100–150 человек).

9. Обработка данных и психометрическая проверка опросника.

а) определение шкал опросника(определение его психометрического конструкта).

→ факторный анализ:

(1)- по каменистой осыпи определяем количество факторов;

(2)- факторизуем по выделенному количеству факторов;

(3)- убираем вопросы с минимальной нагрузкой → (2) → (3)

(4)- создаем ключ.

б) проверка надежности:

- делим на 2 половины;

- сравниваем методом альфа-Кронбака.

10. Проверка валидности.

а) конструктная валидность(конвергентная – сравнить наш опросник с аналогичным (суммарный балл по нашему + суммарный балл по другому)). Оптимально: р = 0,7 или 0,8.

б) критериальная валидность– оценить каждого человека и т.д.

Билет 20. Требования к психометрической подготовке психолога.

Для эффективного развития практической диагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагностические методики-тесты.

Методами рестандартизации теста, простейшими приемами проверки надежности и валидности должны владеть все психологи.

Всеобщая психометрическая грамотность психологов не исключает выделение из их среды специалистов особого рода – психологов-психометристов, профессионально занимающихся психометрическим обеспечением ПД.целесообразно привести2 списка нормативных требований– к психологу вообще и к психологу-психометристу.

Требования к психологу.

Психолог должен…

1. …уметь квалифицированно разбираться с психометрической документацией в методической литературе по ПД. Должен знать:

- какие психометрические характеристики теста должны указать его разработчики;

- в какой степени эти психометрические характеристики соответствуют типу теста, с одной стороны, и актуальной задаче, для которой требуется его использование – с другой

2. …правильно определить:

- в какой мере известные тестовые нормы по требующейся методике применимы в его ситуации с учетом контингента испытуемых и типа диагностической ситуации;

- в какой мере имеет место ситуация «внутрикультурного переноса» и требуется произвести рестандартизацию тестовых норм.

3. …уметь самостоятельно собрать данные, провести корреляционную обработку и измерить эмпирическую валидность – эффективность методики по отношению к заданному критерию. При необходимости должен уметь самостоятельно конкретизировать операциональные индикаторы критериальной информации.

4. …уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой необходимого уровня надежности (при этом проверять свою гипотезу статистически).

5. …вести двойную документацию: все копии протоколов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополнения общего банка данных и совершенствования психометрических характеристик методики.

6. …уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обуславливающих фальсификацию испытуемыми тестовых данных, должен уметь корректно отсеивать недостоверные протоколы, статистически фиксировать достижение приемлемого уровня достоверности для массовых результатов в групповой диагностике.

7. …овладевать приемами сложного качественного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой информации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для автоматизации подсчетов на ЭВМ.

Требования к психологу-психометристу.

Психолог-психометрист должен…

1. …уметь самостоятельно планировать и осуществлять все этапы по психометрическому конструированию или адаптации психодиагностических методик:

- проверка надежности и валидности на уровне отдельных пунктов теста;

- отсев ненадежных и невалидных пунктов;

- построение и анализ распределения тестовых баллов;

- построение математического уравнения для прогнозирования или «решающего правила» для распознавания.

2. …уметь организовывать хранение и обработку психодиагностических данных на ЭВМ, владеть навыками работы с ЭВМ в режиме диалога в рамках стандартных операциональных систем, интерпретаторов или компиляторов для языков высокого уровня, знать структуру используемых в ПД баз данных и уметь управлять базами данных.

3. …уметь организовывать работу психологов-психодиагностов:

- по ведению документации и используемым методикам;

- по соблюдению методических стандартов;

- по сведению и интеграции результатов в общие банки психодиагностической информации.

4. … уметь вести картотеку методик в рамках заданной области (отраслевой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку методических материалов и методических рекомендаций к использованию стандартизированных методик.