книги / Управление образовательной деятельностью многопрофильного технического университета на основе негэнтропийного подхода

1.Если КК < 0,5, значит, тесты не надёжны и используемая база тестовых заданий требует полной переработки.

2.Если 0,5 < КК < 0,7, значит, тесты не совсем надёжны и используемая база тестовых заданий должна быть исправлена.

3.Если КК > 0,7, значит, тесты надёжны, используемую базу тестовых заданий можно рекомендовать к сертификации.

Для оценки эквивалентности тестов следует использовать коэффициент корреляции между повторными результатами тестирования, полученными одними и теми же студентами, на тестах, сначала сформированных из тестовых заданий, относящихся к первому набору, а спустя 3–4 дня – ко второму набору тестовых заданий, эквивалентных по содержанию, но отличающихся формой представления. Исходя из значений коэффициента корреляции, можно сделать следующие выводы:

1.Если КК < 0,65, значит, тесты не эквивалентны и используемая база тестовых заданий требует полной переработки.

2.Если КК > 0,65, значит, тесты эквивалентны, используемую базу тестовых заданий можно рекомендовать к сертификации.

Для оценки валидности тестов следует использовать коэффициент корреляции между результатами тестирования, вычисленный для студентов учебной группы вуза (факультета, направления подготовки, специальности) по одной дисциплине, и результатами промежуточной аттестации (зачёта или экзамена). Проверка на валидность возможна только для тестов, успешно прошедших проверку на надёжность. Другими словами, тесты считаются валидными, если они надёжны и результаты тестирования коррелируют с результатами промежуточной аттестации по данной дисциплине. Исходя из значений коэффициента корреляции, можно сделать следующие выводы:

1.Если КК < 0,65, значит, тесты не валидны и используемая база тестовых заданий требует изменения.

2.Если КК > 0,65, значит, тесты валидны, используемую базу тестовых заданий можно рекомендовать к сертификации.

Для оценки сложности тестовых заданий следует использовать коэффициент решаемости (КР), вычисленный для студентов различных учебных групп, прошедших один и тот же тест одновременно либо в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений коэффициента решаемости, можно сделать следующие выводы:

221

Для тестов пониженной сложности:

•Если КР < 0,5, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания слишком сложные.

•Если 0,5 < КР < 0,8, значит, сложность тестовых заданий полностью соответствует заявленному уровню, база тестовых заданий может быть рекомендована к сертификации.

•Если КР > 0,8, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания слишком лёгкие.

Для тестов средней сложности:

•Если КР < 0,4, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания слишком сложные.

•Если 0,4 < КР < 0,7, значит, сложность тестовых заданий полностью соответствует заявленному уровню, база тестовых заданий может быть рекомендована к сертификации.

•Если КР > 0,7, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания слишком лёгкие.

Для тестов повышенной сложности:

•Если КР < 0,1, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания слишком сложные.

•Если 0,1 < КР < 0,4, значит, сложность тестовых заданий полностью соответствует заявленному уровню, база тестовых заданий может быть рекомендована к сертификации.

•Если КР > 0,4, то следует проверить сложность тестовых заданий на соответствие заявленному уровню, возможно, задания не соответствуют заявленному уровню сложности.

Для оценки качества работы авторов баз тестовых заданий следует использовать коэффициент освоения тем дисциплины, вычислен-

ный для различных учебных групп, прошедших один и тот же тест одновременно либо в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений коэффициента освоения, можно сделать следующие выводы:

•Если средний КО дисциплины менее 0,3, следует проверить базу тестовых заданий на адекватность и сложность тестовых заданий.

222

•Если для некоторого числа тем КО отличается от среднего по дисциплине более чем на 0,4, то следует проверить базу тестовых заданий по данным темам на адекватность и сложность тестовых заданий.

•Если для всех тем дисциплины КО не отличается более чем на 0,4, а средний КО больше 0,5, значит, база тестовых заданий сделана на высоком уровне и её можно рекомендовать к сертификации.

Для оценки качества результатов работы преподавателей дисциплин следует использовать коэффициент наклона линейного тренда успеваемости (КН), вычисленный для одной и той же учебной группы по одной дисциплине (дисциплинам одного цикла либо дисциплинам, связанным структурно-логическими связями), в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений коэффициента наклона, можно сделать следующие выводы:

•Если КН > 0, значит, образовательные технологии, используемые преподавателем дисциплины (цикла дисциплин), приводят к повышению успеваемости студентов.

•Если КН ≤ 0, значит, образовательные технологии, используемые преподавателем дисциплины (цикла дисциплин), не приводят к повышению успеваемости студентов и следует выяснить причину такого положения вещей.

Также для оценки качества результатов работы преподавателей дисциплин можно использовать процент выполненных заданий (ПВ),

вычисленный для учебной группы вуза (факультета, направления подготовки, специальности) по дисциплине (всем дисциплинам, которые ведёт преподаватель) в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений процента выполненных заданий, можно сделать следующие выводы:

•Если средний ПВ < 40, значит, уровень подготовки рассматриваемой выборки студентов не соответствует внутривузовскому стандарту

иследует выяснить причину низкой успеваемости.

•Если средний ПВ > 40, однако ПВ некоторых студентов меньше 20, то следует выяснить причину низкой успеваемости этих студентов, возможен личный конфликт с преподавателем.

•Если средний ПВ > 80, значит, уровень подготовки рассматриваемой выборки студентов полностью соответствует внутривузовскому стандарту и образовательные технологии, используемые преподавателем, должны быть отмечены и поощрены.

Кроме того, для оценки качества результатов работы преподавателей дисциплин можно использовать средний коэффициент ос-

223

воения тем модуля (дисциплины), вычисленный для учебной группы вуза (факультета, направления подготовки, специальности) по дисциплине (всем дисциплинам, которые ведёт преподаватель) в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений коэффициента освоения, можно сделать следующие выводы:

•Если средний КО < 0,7, значит, образовательные технологии, применяемые преподавателем, не соответствует внутривузовскому стандарту.

•Если средний КО > 0,7, значит, образовательные технологии, применяемыепреподавателем, соответствуетвнутривузовскому стандарту.

Разработка критериев качества позволила предложить таблицы управляющих воздействий на основных участников учебного процесса: студента (табл. 5.3), преподавателя (табл. 5.4), заведующего кафедрой (табл. 5.5)

идекана факультета (табл. 5.6). На основе данных таблиц может быть составлен алгоритм формирования печатных и электронных форм карточек предупреждающих и корректирующих воздействий для всех участников учебного процесса, реализация которых позволит осуществлять не только контроль текущей подготовки студентов, но и непрерывно воздействовать научебныйпроцесссцельюповышенияегокачества.

Разработанные показатели и критерии качества учебного процесса на основе данных компьютерного тестирования положены в основу внедрённой в ПНИПУ автоматизированной системы рубежного контроля знаний студентов. На рис. 5.9 – 5.12 приведены примеры отчетов, полученных по результатам компьютерного тестирования. За 4 года эксплуатации системы прошло тестирование более 30 тысяч студентов по 28 учебным дисциплинам, которые входят в основные образовательные программы, реализуемые в ПНИПУ, по 22 укрупнённым группам направлений ВПО. Результаты тестирования показали высокую эффективность данной системы

при контроле текущих знаний студентов и повышение их мотивации к обучению.

Однако разработанные базы тестовых заданий пока не позволяют оценивать «владение» как компонент формируемых компетенций. Для этой цели необходимо разрабатывать комплексные междисциплинарные задания для оценивания способности студентов решать стандартные и нестандартные задачи, приближённые к профессиональной деятельности, что приблизит систему контроля качеством образования в вузе к требованиям ФГОС ВПО.

224