Критерии качества измерений

Основными критериями качества научных измерений являются: 1)объективность; 2)надёжность (релиабельность); 3)валидность (достоверность).

Объективность:

• объективность проведения измерения (одинаковое время, одинаковые условия и т. д.);

• объективность обработки данных;

• объективность интерпретации результатов измерения.

Надёжность (релиабельность):

Под надёжностью (или релиабельностью) измерения понимается степень надёжности, или точности, с какой может быть измерен тот или иной конкретный признак.

Степень надёжности измерения определяется с помощью коэффициента надёжности, или коэффициента релиабельности.

Коэффициент надёжности является корреляционным коэффициентом, показывающим, в какой мере совпадают результаты измерений, проведённые в одинаковых условиях одним и тем же лицом, т.е. в какой мере воспроизводимы результаты. В школьной практике оценка была бы надёжной, если преподаватель через некоторое время оценил ту же самую работу, как в первый раз.

При определении надёжности следует исходить из того, что в каждом результате измерения присутствуют «истинная» и «искажающая» части. В научных и педагогических исследованиях предпринимаются попытки оценить соотношение этих частей с помощью различных методов. Чаще всего используются:

• метод повторного научного эксперимента (повторного тестирования);

• метод деления пополам;

• метод параллельного эксперимента (параллельного тестирования).

Метод повторного тестирования (Retest methode) позволяет обработать одни и те же задания, выполненные одним и тем же испытуемым в разное время, просчитать взаимосвязь результатов, выраженную в коэффициенте надёжности. Этот метод редко применяется при измерении успеваемости, так как при повторном тестировании приходится считаться с эффектом тренировки, который сказывается тем сильнее, чем легче для запоминания задания и короче промежуток времени между первой и второй обработкой данных.

Это препятствие можно устранить, прибегнув к методу деления пополам (Split – Half – Methode). В этом случае подборки однажды выполненных измерений (выполненных заданий) делятся пополам. Все однажды выполненные измерения (выполненные задания) обрабатываются отдельно. Затем прочитывается взаимосвязь результатов и на основании этого получают сведения о надёжности метода измерения.

Для метода параллельного тестирования необходимы 2 набора различных заданий, которые по своему набору напоминают близнецов. Оба набора заданий могут быть предложены друг за другом или при удобном случае. Эффект запоминания возникнуть не может, так как постановка заданий в каждом вопросе несколько иная. Взаимосвязь обоих результатов выражается коэффициентом надёжности.

При обычно равном количестве заданий и их одинаковом качестве от метода деления надвое и метода параллельного тестирования можно ожидать самые низкие коэффициенты надёжности. Для педагога-экспериментатора коэффициент надёжности обладает невысокой информативностью. Гораздо больше для него значит стандартная измерительная ошибка. Она определяется надёжностью теста.

Надёжность инструментария зависит от количества заданий. Для неформальных тестов это ошибка может быть вычислена с помощью правила:

1. При количестве заданий менее 24 ошибка составляет ± 2 балла;

2. При количестве заданий 24 - 47 ошибка составляет ± 3 балла;

3. При количестве заданий 48 – 89 ошибка составляет ± 4 балла.

Например, если пользователю теста известно, что стандартная ошибка в измерении составляет ± 4, то тогда он знает, что истинное значение успеваемости (или другого показателя) у ученика, набравшего 54 балла располагается в интервале между 50 и 58 баллами.

Валидность (достоверность) необходима для того, чтобы определить, действительно ли измеряется то, что требуется измерить, или что-то другое.

В методике тестирования выделяют 4 вида валидности: 1) валидность содержания; 2)валидность соответствия результатов; 3) валидность прогноза; 4) валидность конструкта.

Валидность содержания. Эксперты отбирают те задания, которые позволяют полностью проверить знания (или другие показатели) по теме, разделу предмета.

Валидность соответствия результатов. Позволяет определить, насколько результаты, полученные данным методам, соответствуют результатам, полученные другими методами.

Валидность прогноза. Позволяет вычислить взаимосвязь между данными, полученными в ходе ранее проведённого исследования и результатами, полученными позднее.

Валидность конструкта. Объясняет теоретически, что измеряет соответствующий тест. Конструкты нельзя измерить непосредственно.