IV. Задания на установление правильной последовательности

Здесь требуется установить правильную последовательность действий, шагов, операций т.п.

Расположите федеральных канцлеров ФРГ в порядке исполнения ими своих должностных обязанностей.

	Конрад Аденауэр
	Вилли Брандт
	Курт Георг Кизингер
	Гельмут Коль
	Ангела Меркель
	Гельмут Шмидт
	Герхард Шредер
	Людвиг Эрхард

Оценка:

а) Чаще всего дихотомичная оценка 1/0.

б) Безошибочное решение – 3 балла.

Ошибка в конце задания – 2 балла.

Ошибка в середине задания – 1 балл.

Ошибка в начале задания – 0 баллов.

Псевдотестовые задания

Псевдотестовые задания – это вид контрольного материала, ценного для организации самостоятельной учебной работы и для самоконтроля. Псевдотестовые задания по форме похожи на тестовые задания, но не являются таковыми с точки зрения математико-статистической теории тестов (IRT – Item Response Theory). Согласно IRT тестовые задания должны быть статистически независимы, а в псевдотестовых заданиях гипотеза локальной независимости нарушается.

1. Цепные задания

В цепных заданиях правильный ответ на последующие задания зависит от правильного ответа на предыдущее.

МЕРА ВЗАИМОДЕЙСТВИЯ ДВУХ ТЕЛ НАЗЫВАЕТСЯ ______________.

ЕЕ ВЕЛИЧИНА ИЗМЕРЯЕТСЯ В __________.

2. Тематические задания

К тематическим можно отнести совокупность заданий любой формы, созданных для контроля знаний студентов по одной изученной ими теме. Задания могут быть тематическими и цепными одновременно.

3. Текстовые задания

Текстовые задания – это совокупность заданий открытой формы, созданных для контроля знаний неразрывного учебного текста. К текстовым заданиям относятся лингводидактические тесты типа клоуз и редакторские тесты (тексты на нахождение ошибок).

Оценка:

а) Традиционная дихотомическая (0, 1).

б) Повышенная значимость ответов в начальных заданиях по сравнению со значимостью ответов в последних заданиях.

Тема: Математико-статистическая обработка эмпирических данных. Показатели качества тестовых заданий

Разработка тестовых заданий

Соответствие требованиям тестовой формы – необходимое, но не достаточное условие. Исход противоборства испытуемого с предлагаемым заданием оценивается баллом x_ij.

i – номер испытуемого;

j – номер задания.

Тестовые задания проходят процесс специальной апробации.

1. Экспертная проверка содержания.

2. Определение статистических характеристик заданий.

Тестовые свойства заданий:

1. Требования формы.

2. Известная трудность.

3. Технологичность.

4. Вариативность баллов.

5. Дифференцирующая способность.

6. Коррелируемость с критерием.

Для проверки тестовых свойств заданий используется матрица результатов тестирования. Матрица – компактная форма записи элементов, связанных общностью содержания. В матрице тестовых результатов количественные данные представляются в систематизированной и сжатой форме, чтобы обеспечить их дальнейшую обработку и интерпретацию. Формирование матрицы начинается с выбора определенного правила для оценки ответов учеников на задания теста. Обычно результаты ответов оцениваются дихотомически, а именно: за каждый правильный ответ учащийся получает один балл, а за неправильный ответ или за пропуск задания – нуль баллов.

Строки матрицы, состоящие из нулей и единиц, соответствуют ответам учеников на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.

Пример: 4 испытуемых, 5 заданий.

Испытуемые	Номера заданий					Yi
Гусев	1	0	1	1	1	4
Ежов	1	1	1	1	0	4
Канарейкин	1	1	0	1	0	3
Медведев	0	1	0	0	0	1
Rj	3	3	2	3	1

Из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц.

Индивидуальный тестовый балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Сложение по строкам дает тестовый балл испытуемого Y_i.

Сложение по столбцам дает тестовый балл задания R_j.

Матрица упорядочивается по испытуемым и по заданиям. Для этого производят перестановку столбцов, располагая числа R_i в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала обучаемому с максимальным индивидуальным тестовым баллом. Значения Y_i располагают сверху вниз в порядке убывания.

1 строка – самый успешный испытуемый.

Последняя строка – самый неуспешный испытуемый.

1 столбец – самое легкое задание.

Последний столбец – самое трудное задание.

Доля правильных ответов на задание .

R_j – число правильных ответов на j-е задание.

Доля неправильных ответов на задание .

W_j – число неправильных ответов на j-е задание.

N – число испытуемых.

Справедливо соотношение , поскольку .

Высокая технологичность позволяет весь процесс тестирования вести с помощью технических средств (точно, быстро, экономно, объективно).

Вариация баллов предполагает неодинаковость ответов различных испытуемых на данное задание. Вариация равна 0, если в столбце одни 1 или 0. Вариация максимальна, если .

Мера вариации тестовых баллов – стандартное отклонение s_y. Дисперсия тестовых баллов составляет_. Стандартное отклонение и дисперсия вычисляются программой MS Excel и другими программами статистической обработки данных.

Дифференцирующая способность – способность отличать сильных испытуемых от слабых.

Коррелируемость задания с критерием рассчитывается по классическому коэффициенту корреляции Пирсона r_xy. Этот коэффициент вычисляется программой MS Excel и другими программами статистической обработки данных. В качестве критерия используется вектор-столбец индивидуальных тестовых баллов испытуемых. Чем выше r_xy, тем больше вероятность превращения задания в тестовой форме в тестовое задание. Норма включения задания в тест r_xy ≥ 0,4. При r_xy ≤ 0, 2 задание безусловно удаляется.

В полной корреляционной матрице представляются также интеркорреляции – коэффициенты корреляции каждого задания со всеми остальными заданиями. Отрицательная интеркорреляция указывает на разнонаправленность вариации баллов.

Производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить, например, в виде гистограммы.

Содержание теста и тестовых заданий

Анализ теста и тестовых заданий

Преподаватель	Тестолог
Оценка содержания	Оценка формы и тестологических характеристик: а) мера трудности; б) коррелируемость ответов испытуемых с критерием; в) надежность теста; г) валидность теста.

Критериально-ориентированные тесты (зачет-незачет). Проверка на минимум содержания учебных дисциплин. В.С. Аванесов и некоторые другие исследователи считают, что критериально-ориентированные тесты не являются тестами в классическом понимании.

Нормативно-ориентированные тесты. Оценка знаний испытуемых во всем диапазоне знаний – от низшего до высшего.

Нормативно-ориентированные и критериально-ориентированные тесты

Нормативно-ориентированные	Критериально-ориентированные
Цель тестирования – оценка учащегося относительно других учащихся	Цель тестирования – описание усвоенного или не усвоенного материала. Оценка учащегося относительно набора характеристик достаточного для достижения результата.
Статистические методы оценивания. Специалисты необходимы для статистической обработки результатов.	Экспертное оценивание. Специалисты для экспертизы учебного материала.
Может быть отобран широкий спектр материала.	Отбирается материал, который касается ограниченной тематики.
Апробация тестовых заданий, в том числе для определения трудности и дискриминативности.	Апробация тестовых заданий для отработки содержания заданий.
Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются.	Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест.
Статистические нормы, рассчитываемые для нормативной выборки или определение места ученика относительно других учеников, принимавших участие в тестировании.	Описание критерия достижения результата или описание тех учебных задач, с которыми учащиеся должны справиться.

Понятие репрезентативности выборки

Репрезентативностью в социальных науках называется свойство выборочной совокупности (контингента, на котором проверялся тест) воспроизводить характеристики генеральной совокупности (то есть того контингента, для которого предназначена методика, со всеми его существенными демографическими особенностями).

Репрезентативность выборки означает, что с определенной заранее заданной погрешностью (которая научно рассчитана и будет учитываться при анализе полученных результатов), количественная и качественная структура выборочной совокупности (распределение изучаемых признаков у тех, кого мы обследуем с помощью теста) соответствует аналогичной структуре генеральной совокупности, представляет собой ее миниатюрную копию, в которой те же самые значимые признаки распределены в той же пропорции или с минимально допустимыми отклонениями.

Генеральная совокупность – множество элементов, объединенных общей характеристикой, указывающих на их принадлежность к единой системе и изучаемых в рамках какого-либо обследования и определенных территориально-временных границ. Перечень всех элементов генеральной совокупности составляет основу выборки, а те ее элементы, которые являются единицами счета в различных процедурах отбора, формирующих выборку, называются единицами отбора.

Выборочная совокупность (выборка) – часть генеральной совокупности, объекты которой являются основными объектами обследования. Она отбирается с помощью специальных методик и правил таким образом, чтобы ее характеристики отражали основные свойства генеральной совокупности.

Лингводидактическое тестирование

Стандартизованные и нестандартизованные тесты

Стандартизованным тестом (СТ) называется такой тест, который опробован на достаточно большом (500–1000 человек) и представительном контингенте тестируемых и который имеет стабильные и приемлемые показатели качества, а также спецификацию – паспорт с нормами, условиями и инструкциями для его многократного использования в разных условиях.

Представительность контингента означает, что выборка тестируемых по их данным (возраст, пол, обученность, обучаемость, национальность и др.) представляет такие же данные какой-то более крупной выборки, которую невозможно и нецелесообразно тестировать с помощью предварительных вариантов СТ. Разные условия использования ЛДТ обычно довольно ограничены и должны быть указаны в спецификации – паспорте.

Нестандартизованными называются преподавательские/учительские (classroom, home-made) тесты (ПТ), которые составлены самими преподавателями/учителями для своих учащихся. Они имеют на практике несколько названий – просто тест, тестовая контрольная работа, квиз (quiz). ПТ коротки, и для них необязательно определение всех показателей качества. Однако они отличаются от обычной контрольной работы тем, что проводится хотя бы одно опробование с целью определения трудности заданий для более обоснованного составления окончательного варианта ПТ.

Имеет смысл ввести еще одну разновидность ЛДТ, промежуточную между СТ и ПТ. Эту разновидность целесообразно назвать локально стандартизованным тестом (ЛСТ). Как вытекает из названия, его отличие от СТ состоит в том, что представительной выборкой является контингент тестируемых одной школы, одного вуза или школ/вузов одного города в пределах 100–300 человек. С одной стороны, это улучшенный, возможно более полный ПТ, с другой стороны, это менее строгий по показателям качества СТ. Если ПТ составляют 1–2 человека, а ЛСТ – небольшая группа (4–5 человек), то составлением "широко" стандартизованных тестов охвачены целые коллективы.

Таким образом, степень стандартизованности ЛДТ заключается в степени их разработанности, в разной представительности выборок тестируемых для опробования и использования, а также в качестве самих тестов.

Отличительные свойства лингводидактических тестов (ЛДТ)

Лингводидактическое тестирование (language testing) занимается разработкой и использованием языковых и речевых тестов и, с одной стороны, является областью методики преподавания иностранных языков, а с другой стороны, относится к педагогическому (предметному) тестированию как часть общей тестологии.

1. Объект тестирования – коммуникативная компетенция – знания, навыки и умения, тестируемые в речевых действиях. ЛДТ имеют вербальный характер (либо задания, либо ответ является вербальным);

2. В случае ЛДТ есть возможность построения шкалы абсолютной оценки с помощью понятия образованного носителя иностранного языка (ИЯ);

3. В педагогических тестах отдельные задания независимы друг от друга.

Классификация ЛДТ по целям тестирования

1. Тесты учебных достижений (achievement tests). Составляются точно по программе (учебнику). Используются для текущего, промежуточного, итогового контроля.

2. Тесты общего владения иностранным языком (ИЯ) (proficiency tests). Составляются независимо от программ (учебников) предыдущего обучения. Проверка умений и навыков, необходимых для дальнейшей работы или учебы.

3. Диагностические тесты (diagnostic tests). Выявляют трудности и ошибки, типичные для данного контингента испытуемых.

4. Тесты способностей (aptitude tests).

5. Placement tests (распределительные, вступительные тесты). Служат для распределения тестируемых в равные по уровню обученности учебные группы. Это либо тесты достижений, либо тесты общего владения языком.

Лингвистическая компетенция (competere – быть способным к чему-либо). Согласно одному из определений, лингвистическая компетенция является способностью понимать/продуцировать неограниченное число правильных в языковом отношении предложений с помощью усвоенных языковых знаков и правил их соединения.

ЛДТ можно разделить на две группы:

1. языковые тесты

2. речевые тесты

Языковые тесты измеряют в основном лингвистическую компетенцию тестируемых. Примерами языковых тестов являются лексические и грамматические тесты.

Речевые тесты – тесты чтения, аудирования и др. можно условно разделить на:

а) традиционные

б) прагматические

в) коммуникативные.

Традиционные речевые тесты предназначены для выявления навыков и умений чтения, аудирования и письма с помощью традиционных приемов, например, вопросно-ответных заданий.

Примерами прагматических тестов являются тесты восстановления типа клоуз, диктанты и др.

Коммуникативные тесты – это в основном тесты устной речи.

Все речевые тесты измеряют какие-то компоненты коммуникативной компетенции.

Прагматические тесты – тесты, с помощью которых определение коммуникативной компетенции проводится на основе восстановления элементов текста (букв, слов, предложений), предъявленного визуально или аудиально, в котором определенным образом уменьшена избыточность информации. Проверяют лексико-грамматические и фонетико-грамматические навыки, память и ряд других способностей. Являются тестами общего уровня владения ИЯ.

Типы прагматических тестов

1. Диктант на фоне шума;

2. Классический клоуз-тест;

3. С-тест;

4. Б-тест.

Диктант. Сегменты текста – логически завершенные фрагменты текста. Трудность диктанта определяется количеством слов в сегментах. Длина сегмента постоянная (7–12 слов) либо увеличивается от 3–4 до 20–22 слов. Текст предъявляется 3 раза.

1-е предъявление. Без пауз.

2-е предъявление. С длинными паузами. В паузах тестируемые записывают сегменты текста между паузами.

3-е предъявление. С короткими паузами. Тестируемые проверяют записи и исправляют ошибки.

.

Коэффициент k равен 2 при втором предъявлении и 5 при третьем предъявлении.

Варианты оценки диктанта:

а) 1 балл за каждое правильно написанное слово;

б) баллы за количество безошибочных сегментов при увеличивающейся их длине;

в) баллы начисляются с учетом количеств лексико-грамматических и семантических ошибок.

Разновидности визуальных клоуз-тестов (подстановочных тестов)

1. Классический клоуз-тест. Пропускается каждое 4–7 слово текста. Минимальное количество заданий – 50. Недостаток: даже носитель языка не восстанавливает текст на 100%.

2. С-тест (си-тест). В каждом втором слове пропускается вторая половина букв. При нечетном количестве букв в слове пропускается бóльшая половина букв. Слово из 1 буквы не пропускается, далее следуют 2 задания подряд. Минимальное количество заданий – 100.

3. Б-тест. Шаг 3–4 слова. В каждом слове-пропуске указана первая буква. Минимальное количество заданий – 70.

4. Тесты с целенаправленной выборкой пропусков.

5. Редакторский тест. В тексте имеются лишние слова, которые нужно найти.

Для всех типов клоуз-тестов используются незнакомые тексты.

Преимущества ЛДТ

1) Возможность проконтролировать одновременно всю группу учащихся;

2) Более высокое качество заданий по сравнению с нетестовыми формами, благодаря их предварительной проверке в предтесте;

3) Экономия аудиторного времени за счет компактной письменной формы;

4) Возможность стандартизации процедур проведения тестов;

5) Более положительная мотивация и отношение тестируемых к тестовым формам контроля, так как исключена субъективность оценки;

6) Сравнительная легкость перевода тестов на ЭВМ.

Общим недостатком языковых и речевых тестов является их уменьшенная внешняя валидность. В случае языковых тестов это вытекает из искусственности изолированных от большого