4.5 Технология разработки генераторов

Этапы создания генераторов те же самые, что в технологии создания компьютерных контрольных работ и экзаменов. Однако содержание некоторых этапов существенно отличается. Перечислим следующие отличия:

1) принимается для реализации не банк вопросов, а банк шаблонов (заготовок). Каждый шаблон содержит описание генерируемого вопроса в соответствии с выбранной моделью;

2) на этапе анализа оцениваются возможности каждого шаблона по генерации вопросов, отсеиваются те, которые генерируют небольшое число вариантов или довольно трудоемки для программной реализации;

3) выбирается система программирования. Это может быть СBuilder, Delphi, VisualC и другие, которые создают DLL библиотеки;

4) создается программный образ генератора и производится тестирование и отладка генератора. Важным элементом отладки генератора является планирование тестирования, поскольку он может генерировать огромное число вопросов. Здесь предлагается поступить следующим образом: в тех случаях, когда общее число вопросов менее 100000, можно перечислить все вопросы, используя алгоритмы генерации по номеру; если общее число вопросов очень велико (общее число вопросов 5*10⁷), то можно использовать случайную выборку в разумных пределах.

Опыт создания генераторов показал, что наиболее важной проблемой является проблема зацикливания, поскольку при создании генератора часто программируется случайная выборка параметров в цикле. Например:

генерировать(a);

цикл;

генерировать(b);

пока(a>b).

Если границы изменения параметров a и b одинаковы, то при принятии a максимального значения цикл будет бесконечным. Данный пример очевиден, однако в реальной практике встречаются более сложные случаи. Выходом из данного положения являются:

- ограничение числа итераций в цикле по счетчику или по времени и в случае зацикливания отказ от использования данного шаблона в данном процессе генерации;

- использовать алгоритмы генерации по номеру вопроса и те номера, которые некорректны, записывать в список исключений.

5) Проверка готового генератора преподавателем также носит итерационный характер. Причем необходимо многократно запускать генератор и проверять сгенерированные вопросы.

В целом следует отметить, что создание генератора вопросов намного сложнее процесса создания теста из готового банка вопросов.

Процесс создания компьютерных контрольных работ и экзаменов можно разбить на следующие этапы:

1) прием задания;

2) анализ множества вопросов на предмет реализации с помощью инструментальной системы проектирования КУП;

3) доработка инструментальной системы;

4) планирование работ;

5) реализация на языке инструментальной системы;

6) отладка КУП средствами инструментальной системы;

7) внутреннее тестирование;

8) внешнее тестирование;

9) формирование программы проведения контрольной работы или экзамена на основе итоговой программы проверки;

10) рецензирование;

11) передача готовой программы в эксплуатацию.

4.6 Существующая технология создания компьютерных контрольных работ и экзаменов в фдо тусур

Технология создания компьютерных контрольных работ и экзаменов является важным элементом учебно-методической работы системы дистанционного образования. Необходимо отметить, что такие работы могут вестись децентрализовано, когда каждый методист создает сам компьютерный экзамен, используя инструментальную систему. В ФДО ТУСУР пошли по другому пути, все работы по созданию компьютерных экзаменов были переданы в лабораторию инструментальных систем моделирования и обучения (ЛИСМО). Эта централизация позволила создать группу квалифицированных специалистов: программистов, дизайнеров и методистов, которые, используя оригинальную технологию, поставили на поток разработку компьютерных контрольных работ и экзаменов. В настоящее время в базе содержится свыше 350 компьютерных контрольных работ и экзаменов. В настоящее время наметился переход к созданию генераторов компьютерных экзаменов.

Внедрение генераторов в реальные системы контроля знаний требует учитывать особенности реализации таких систем. В Томском межвузовском центре дистанционного образования разработаны и эксплуатируются: система проведения контрольных работ и система проведения компьютерных экзаменов. В основе этих систем лежит язык описания тестов, который позволяет для формулировки вопросов использовать текст, рисунки, формулы и таблицы. Отличительной особенностью данного языка от других подобных является возможность описывать формулы, используя язык представления формул, разработанный в лаборатории инструментальных систем моделирования и обучения ТУСУРа.