Методические рекомендации по составлению тестов учебных достижений

Тесты достижений – тесты объективного контроля успешности после прохождения человеком обучения; тесты, направленные на оценку достигнутого уровня развития знаний, умений, навыков.

Структура теста :

1. Инструкция - совокупность понятных и кратких указаний на то, что именно должен сделать испытуемый и каким образом ему следует зафиксировать результат своих действий.

2. Текст задания (вопроса) - должен содержать одну законченную мысль или однозначно понимаемое утверждение; в нем не должно быть лишних слов, непреднамеренных подсказок; желательно избегать в вопросе выражений отрицания.

3. Варианты ответов (кроме тех случаев, когда ответ надо сформулировать самостоятельно).

4. Правильный ответ. Эталонный ответ формулируется предельно однозначно для того, чтобы исключить возможности проявлений субъективизма лица, оценивающего результаты тестирования. При этом указываются все синонимичные варианты правильного ответа.

Основные направления в разработке тестов учебных достижений:

• Анализ диагностируемой области – структурирование содержания учебного предмета или его раздела (темы), обеспечение тематической репрезентативности, проведение спецификации теста

• Выбор формы тестовых заданий и соблюдение правил подбора заданий с закрытой формой ответов

Спецификация теста

В тесте достижений должны быть представлены в полном объеме и в правильной пропорции те ключевые показатели (знания, умения), для диагностики которых он предназначен. Тематическая репрезентативность теста – мера представленности в наборе тестовых заданий той предметной области, на которую направлен тест (в случае педагогического теста – области знания).

Работа по созданию теста начинается с анализа диагностируемой области (например, анализа какого-либо раздела курса «Психологическая диагностика»). Необходимо выделить в курсе (разделе, теме курса) основные понятия, факты, концепции и т.д. и подобрать задания теста так, чтобы в них были равномерно представлены эти понятия, факты и т.д. Необходимо:

1. избегать случаев, когда большинство заданий теста являются фактологическими вопросами по модели «Что – кто – где – когда?»,

2. использовать другие модели вопросов, например:

• функциональные (целевые и причинные) вопросы по модели «Для чего – зачем – почему?»

• структурные – «Из чего – из каких частей состоит?»

• концептуальные – «Определи понятие»

• концептуально-ассоциативные – «Заполни пропуск – продолжи ряд»

• концептуально-аналитические – «Проведи аналогию»

• концептуально-семантические – «Найди лишнее /найди эквивалентные, подобные».

При разработке теста составляется так называемая матрица-спецификация, в которой записывается какого типа и сколько заданий (вопросов) должно быть в тесте. Матрицу-спецификацию может создать только эксперт в соответствующей области (только квалифицированный педагог-предметник может определить, сколько и каких именно заданий нужно включать в тест достижений по данному предмету или его разделу, теме). Пример построения матрицы-спецификации:

	Понятия	Факты	Принципы	Структуры	Условия
Тема 1
Тема 2
Тема 3
Тема 4

На пересечении строк и столбцов проставляются номера составленных заданий (вопросов) теста., что позволяет увидеть, какие темы (или отдельные вопросы темы) освещены менее других, какие типы заданий нужно добавить для определенных тем – т.е., насколько набор заданий теста презентует тестируемую область.

Типология тестовых заданий по форме:

1. Задания со свободной формой ответов (предусматривают самостоятельное составление испытуемыми своих ответов):

• краткие ответы на вопросы, например, «Как называется диагностический метод, при использовании которого испытуемому предлагается неопределенный стимульный материал?»;

• дополнения текстов, рядов чисел, например, «Переменная определяется как …, значение которой не остается постоянной от опыта к опыту»;

• микросочинения, рассуждения на заданную тему, например, «Подготовьте ответ на вопрос: «Каковы причины появления «знаменитого» постановления ЦК ВКП (б) «О педологических извращениях в системе Наркомпроса» (1936 г.)?».

2. Задания с закрытой формой ответов (предполагают выбор испытуемыми правильных ответов из представленного множества):

• альтернативные ответы, содержащие только 2 варианта, например, «Методика ТАТ относится к: а) опросникам, б) проективным методикам»;

• задания с выбором ответа (из 4-5 возможных), например, «Средством проверки гипотезы является: а) эксперимент, б) обобщение, в) протоколирование, г) контент-анализ»;

3. Определение взаимосвязи, соответствия (задания содержат 2 списка, неравных по объему, между которыми надо установить связь или соответствие), например, «Установите соответствия:

Ученый	Нововведение
1. А. Бине	А. Понятие «Тест»
	Б. Понятие «Умственный возраст»
2. Г. Россолимо	В. Понятие «IQ»
	Г. Групповое тестирование
3. А.Отис	Д. «Психологический профиль»
	Е. Факторный анализ

1 __________ , 2 ___________ , 3 _______________ ».

4. Установление правильной последовательности (последовательности исторических событий, становления и развития каких-либо объектов, процессов, действий и т.д.), например, «Установите правильную последовательность, в ходе которой слева, в квадратах, ставятся цифры, указывающие на порядок действий: История развития психодиагностики:

ٱ Формирование основных психодиагностических подходов

ٱ Разработка теста Бине-Симона

ٱ Введение понятия «IQ».

ٱ Разработка групповых тестов

ٱ Проведение тестирования Ф.Гальтоном

ٱ Разработка факторного анализа

ٱ Введение понятия «интеллектуальный тест».

Требования, предъявляемые к заданиям, содержащим варианты ответов:

• неправильные ответы должны быть внешне похожи на правильные;

• все варианты необходимо грамматически согласовать с вопросом;

• выбор ответа не должен зависеть от содержания предшествовавших вопросов и ответов;

• местоположение правильного ответа определяется в случайном порядке;

• неверные ответы не должны содержать очевидных несообразностей и явных неточностей;

• лучше использовать длинный вопрос и короткие ответы, чем наоборот;

Литература:

Основная: 1, 2, 5, 6.

Дополнительная: 7, 11, 13, 25.

ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ:

1. Предметом психологической диагностики является:

а) ранжирование и классификация людей по психологическим признакам

б) профориентация

в) индивидуально-психологические различия между людьми

г) социальная психология.

2. Исследователь, предложивший термин «интеллектуальный тест»:

а) Дж.Кеттелл б) Ф.Гальтон

в) В.Вундт г) Д.Векслер.

3. Установите соответствия:

ТИП методов МЕТОД

1.формализованные А.опросники

2.малоформализованные Б.наблюдение

В.беседа

Г.интервью

Д.тесты

Е.анализ продуктов деятельности

Ж.психофизиологические методики

Ответы: 1 ______, 2 ______.

4. Контент–анализ - это:

а) тест в) изучение документальных источников

б) опрос г) проективная методика.

5. Интервью – это:

а) целенаправленная беседа в) опросник – анкета

б) разговор между двумя людьми г) спонтанное вербальное общение.

6. Коэффициент интеллектуальности был предложен:

а) Л.М.Терменом б) Дж.М.Кеттеллом в) В.Штерном г) Т.Симоном.

7. Графическое изображение результатов тестирования было предложено:

а) Ф.Гальтоном в) А.Бине д) Г.Россолимо

б) М.Шуберт г) З.Фрейдом е) Л.Выготским.

8. Показателем интеллекта в шкалах Бине был:

а) умственный возраст б) хронологический возраст

в) коэффициент интеллектуальности.

9. . . . позволяет поставить испытуемых в одинаковые условия:

а) репрезентативность б) валидность в) стандартизация.

10. Ретест – это:

а) повторное проведение теста с разными выборками

б) повторное проведение теста на одной выборке

в) повторное обследование одной и той же выборки другим экспериментатором

г) надежность теста, определяемая надежностью пунктов, из которых он состоит.

11. Установите соответствия:

Свойство методики	Суть
А. Стандартизация Б. Надежность В. Валидность	1. точность 4. представленность 2. обоснованность 5. единообразие 3. прогнозирование 6. научность

А____, Б_____, В_____.

12. Развитие тестирования, а именно – стандартизации тестов, привело к возникновению такой специальности как:

а) психолог в) психометрист

б) психоаналитик г) психолингвист.

13. Свойство выборочной совокупности представлять характеристики генеральной совокупности называется ………….. .

14. Группа испытуемых, на которой собираются диагностические нормы и проводится стандартизация диагностической шкалы, называется:

а) выборка в) возрастная норма

б) возрастная группа г) генеральная совокупность.

15. Функцию, описывающую нормальное распределение значений, предложил: а) Г.Роршах в) К.Гаусс

б) Ч.Спирмен г) Дж.Гилфорд.

16. Источниками ошибок психологического измерения являются все ниже перечисленные, кроме одного:

а) нестабильность диагностируемого свойства

б) несовершенство диагностической методики

в) элементы субъективности в оценке результатов

г) использование перевода методики.

17. Установите соответствия:

Вид валидности	Содержание
А. диагностическая Б. критериальная В. содержательная	степень репрезентативности содержания заданий теста измеряемой области психических свойств способность теста различать испытуемых на основании диагностического признака соответствие диагноза и прогноза определенному кругу критериев измеряемого явления дифференциация испытуемых по изучаемому признаку установление корреляции тестовых данных и данных, полученных от внешних экспертов

А______, Б_______, В_____.

18. Метод «известных групп» может использоваться для проверки валидности: а) конструктной б) текущей в) прогностической.

19. Тест, построенный на основе анализа учебных программ и учебников 6 – 8 классов средней школы, - ….. .

20. Какая из перечисленных ниже методик не является тестом «общего интеллекта»:

а) Станфорд-Бине б) Д.Векслера в) Дж.Равена.

21. Выраженность гуманитарных, математических и технических способностей возможно изучать с помощью теста:

а) Д.Векслера в) Р.Амтхауэра

в) Дж.Равена г) Л.Терстоуна.

22. Установите соответствия:

Тест	Диагностирует способности
А. Озерецкого	1. сенсорные
Б. Амтхауэра	2. моторные
В. Торренса	3. творческие
Г. Беннета	4. технические
Д. Конторский	5. профессионализированные
	6. общие

А_____, Б______, В______, Г______, Д______.

23. Субтест, изучающий способность устанавливать закономерности при продолжении числовых рядов, включен в тест:

а) Д.Векслера б) Р.Амтхауэра в) Дж.Равена.

24. Путем сопоставления с достижениями в музыке, рисовании, с результатами обучения по отдельным предметам и т.п. проверяется валидность тестов способностей:

а) профессионализированных в) общих

б) технических г) моторных д) сенсорных.

25. Установите соответствия:

Опросник	Модель, лежащая в основе методики
А. MMPI	1. Модель акцентуаций личности
Б. ПДО	2. Теория клинических типов личности
В. 16 - РF	3. Теория личностных черт

А_____, Б_____, В______.

26. Методика, предназначенная для оперативной оценки настроения, самочувствия, активности:

а) САМ в) САТ

б) САН г) ТАТ.

27. Предназначены для диагностики типа акцентуаций личности все ниже перечисленные опросники, за исключением одного:

а) Шмишека в) Леонгарда

б) Айзенка г) ПДО.

28. Афоризмы являются стимульным материалом методики:

а) «Завершение предложений»

б) ТАТ в) КРС г) ТЮФ.

29. Шкала опросников личности, по которой определяется наличие у испытуемого тенденции представить себя в лучшем свете, называется ….. .

30. Автор метода цветовых предпочтений:

а) Г.Роршах б) Э.Вагнер в) М.Люшер.

31. Диагностическое суждение выносится на основе анализа рисунка в методиках:

а) импрессивных в) экспрессивных

б) аддитивных г) катартических.

32. Исследования, проводимые в виде разыгрывания различных ситуаций, относятся к методам:

а) интерпретативным в) экспрессивным

б) конструктивным г) катартическим.

33. Установите соответствия:

Тесты	Оптимальный способ оценки – валидность …
А. способностей	1. содержательная 3. эмпирическая
Б. достижений	2. конструктная 4. прогностическая

А________, Б________.

34. Преимущество письменных тестов достижений в возможности:

а) получать более объективные ответы

б) проверить одновременно группу испытуемых

в) работать индивидуально с каждым испытуемым.

35. Условием разработки предметных тестов достижений является опора на :

а) стандартные программы обучения

б) стандартные нормы оценивания

в) статистическую норму.

36. Заполните пропуски в «Правиле определения оптимальной трудности тестов учебных достижений»: «Без ограничений времени отличник должен уметь ответить на ….. % тестовых заданий; при ограничении времени отличник со средним умственным темпом должен ответить на ….. % тестовых заданий».

37. Варианты ответов в заданиях закрытого типа, не являющиеся правильными решениями, но внешне близкие к правильному решению, называются ….. .

38. Методика Дж.Морено относиться к группе методик диагностики:

а) отношений на основе субъективных предпочтений

б) компетентности в общении

в) субъективного отражения межличностных отношений.

39. Социометрическое исследование выявляет:

а) структуру отношений в семье

б) статусную структуру группы

в) индивидуальные статусные категории

г) индивидуальные личностные свойства, влияющие на межличностные отношения.

40. Социограмма – это:

а) социометрическая таблица выборов респондентов

б) опросный бланк с инструкцией

в) карта групповой дифференциации

г) опросный лист с социометрическими критериями

д) графическое изображение связей между участниками.

41. Методика Р.Жиля изучает все ниже перечисленные особенности личности ребенка за исключением одной:

а) отгороженность в) самостоятельность

б) конфликтность г) любознательность.

42. Высоко коррелируют с влиянием субкультуры тесты

а) вербальные б) невербальные

43. Автор методики, применяемой для изучения и развития зрительного восприятия, зрительно-двигательной координации:

а) А. Бине б) Г. Россолимо в) Э. Сеген

44. Для диагностики моторного развития детей применяется тест:

а) Е. Торренса б) Н. Озерецкого в) Р. Амтхауэра

45. Сила, подвижность нервных процессов диагностируются с помощью:

а) критериально-ориентированных тестов

б) интерпретационных методик

в)психофизиологических методик

46. Социальная желательность сильнее в ситуации

а) экспертизы б) клиента

47. Шкала опросников личности, по которой определяется наличие у испытуемого тенденции представить себя в лучшем свете, называется шкалой...

48. Испытуемому предлагается неопределенный стимульный материал при диагностике с помощью метода а) опросников б) тестов в) проективного

49. Социальная желательность является одним из источников снижения достоверности:

а) опросников б) тестов в) проективных методик

50. Тип IQ, вычисляемый на основе определения степени отклонения оценки испытуемого от соответствующей статистической нормы, называется:

а) соотносительным в) девиантным

б) шкалированным г) делинквентным.