Приложения Принципы разработки теста по дисциплине «Основы экономической теории»

1. Принципы педагогического тестирования

Всесторонний, объективный и эффективный контроль знаний позволяет установить соответствие подготовки студентов заданному критерию, а также, устанавливая их рейтинг по учебным дисциплинам в группе, на курсе, на факультете, существенно изменить мотивацию студентов по отношению к учебе.

Одним из эффективнейших методов объективной оценки знаний, достижений учащихся является тестовый метод – основной в международной практике.

К сожалению, измененный до неузнаваемости во многих образовательных структурах стран СНГ, тестовый метод контроля знаний вполне обоснованно воспринимается многими педагогами настороженно. Дело в том, что тест не просто набор вопросов для испытуемых, это система заданий с определенными свойствами. В литературе по научно-педагогическому тестированию дается следующее определение¹: «Педагогический тест – упорядоченная по трудности система заданий специфической формы, позволяющая качественно оценить структуру знаний и эффективно измерить уровень подготовленности студентов». Научно обоснованный тест – это метод контроля, соответствующий установленным стандартам валидности и надежности.

Надежность теста – это его свойство давать один и тот же результат тестирования в заданной выборке испытуемых при одних и тех же условиях тестирования.

Надежность теста проверяется статистическими методами по различным методикам (повторное тестирование; использование параллельных тестов; путем «расщепления» теста; с помощью дисперсионного, кластерного и факторного анализа). Самый безупречный и достаточно простой с статистической точки зрения метод определения надежности теста – его корреляция с «параллельным» тестом. Чем выше коэффициент корреляции между двумя такими тестами, тем выше надежность теста. (Для определения коэффициента корреляции в статистике имеются специальные формулы, в частности формула Пирсона.)

Валидность теста – его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию и т. д.

Валидность педагогического теста по содержанию может быть определена опытным преподавателем-экспертом, который отмечает, что:

1) задания теста соответствуют учебной программе испытуемых;

2) они охватывают всю программу;

3) высока вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой.

(При установлении соответствия тестового балла принятой системе отметок в качестве критериев обычно берутся оценки, выставляемые студентам группой преподавателей-экспертов при традиционной форме контроля знаний.)

Валидность теста напрямую связана со следующими вопросами:

1. Насколько можно доверять результам контроля и каковы аргументы в пользу такого доверия?

2. Является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения?

3. Сколько вопросов нужно задать для получения объективной информации о знаниях студентов?

4. Сколько времени требуется для оптимальной организации качественного контроля?

Тест может быть валидным, если, помимо прочих требований, средние результаты соответствуют большей части студентов группы, а сами данные распределяются по «нормальному» закону. Если это условие не выполняется, то тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда проистекает стремление разработчиков теста добиваться нормальности распределения за счет варьирования числа легких или трудных заданий. Если в тесте нет достаточного числа легких и трудных заданий, то возникает вопрос о его сбалансированности по трудности. В процессе разработки теста мера трудности регулярно проверяется путем случайной выборки из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения.

Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться, какой ответ правильный; однако чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки всей массы студентов будет тем ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором студенты редко догадываются, их ответы устойчивы, но нет различий между испытуемыми.

Валидность теста нередко зависит от времени, отводимого на тестовый контроль. Еще до его разработки решается вопрос, каким по времени будет тест. Если на тестирование отведено ограниченное время, то это заметно влияет на результаты. Поэтому заранее определяется, будет ли время тестирования ограничено или нет. В зависимости от ответа на этот вопрос применяются различные формулы расчета надежности теста, по-разному располагаются задания, устанавливаются другие нормы. Для удобства классификации в практике принимается, что если 95 % испытуемых успевают попробовать ответить на каждое задание, то такой тест относят к контролю без ограничения времени.

Валидность теста существенно снижается из-за снижения его различающей способности. Различающая способность теста тем выше, чем меньше одинаковых тестовых баллов набирают по нему студенты.

Валидность теста связана еще и с понятиями «гомогенный» и «гетерогенный» тесты. Если тест служит для проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней, то такой тест считается гомогенным. В чистом виде гомогенный тест представляет собой тест для изучения знаний по какому-то частному разделу программы. Тест, состоящий из заданий по нескольким дисциплинам, называется гетерогенным. Он не пригоден, в силу своей избыточности, для оценки знаний по отдельной дисциплине.

Валидность теста зависит также от его длины. Под длиной теста понимается количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7–15 заданий, и очень длинные, состоящие из более чем 500 заданий. Если тест очень длинный, то ухудшается мотивация, снижается внимание испытуемых и, как следствие снижаются надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то испытуемые с неохотой соглашаются отвечать на вопросы теста. С точки зрения теории чем тест длиннее, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или другую сторону в зависимости от конкретного случая.

Тест может иметь отличную надежность и неудовлетворительную валидность. Интерпретировать это обстоятельство можно так: тест представляет собой довольно точный инструмент, но этот инструмент не годится для изучения того, что им пытаются изучать. С другой стороны, если тест валидный, то одно это уже предполагает достаточную надежность теста, так как он не может быть валидным, не будучи надежным.