2. Педагогический эксперимент по оценке эффективности метамодели и его результаты

Педагогический эксперимент по данному исследованию проводился длительно и многоэтапно. Эксперимент проводился с начала преподавания нами информатики, т.е. с 1985 года. В эксперименте можно выделить 3 этапа: констатирующий, поисковый, формирующий. Этапы эксперимента по времени соответствуют этапам нашего исследования (см. введение):

Iэтап - констатирующий эксперимент (1985-1993). На этом этапе начался сбор экспериментальных данных, на основании которых в разделе 1.3 были сделаны выводы о проблематике обучения информатике на ранних этапах ее развития как всеобщей обязательной учебной дисциплины. Однако проблематика настоящего исследования еще только формировалась.

IIэтап - поисковый эксперимент (1993-1997). На этом этапе сформировалась только методологическая основа исследования, его цель и задачи. Продолжался сбор экспериментальных данных, но их нельзя считать результатами настоящего исследования. НаIиIIэтапе внедрялись в педагогическую практику лишь отдельные его элементы.

IIIэтап - формирующий эксперимент (1997-2000). На этом этапе результаты настоящего исследования внедрялись в полной мере. В ЛГОУ на базе ИТЦ, кафедры информатики и вычислительной математики сложилась группа преподавателей, которая строила свои учебные курсы, относящиеся к ОЗ "Информатика" на основе теории открытых систем, другой методологии современной информатики и системологии. Группа при этом фактически выполняла функции согласительного комитета. Постепенно почти все преподаватели информатики ЛГОУ были задействованы в нашем эксперименте. Наши коллеги из других вузов в процессе преподавания информатики описанных в данной работе принципов не придерживались.

Таким образом, на этапе формирующего эксперимента мы наконец получили возможность оценить эффективность внедрения результатов нашего исследования количественно. Для этого достаточно сравнить приведенные в приложениях 1 и 3 данные за 1997-1999 годы для ЛГОУ с данными для всех остальных вузов за те же годы.

Главы 2 и 3 нашего исследования содержат построенные на основе материалов приложения 3 таблицы (Таблица 2 .6, Таблица 2 .7) и графики (Рисунок 2 .16, Рисунок 3 .17 - Рисунок 3 .21), а также комментарии к ним. Эти материалы показывают развитие некоторых положительных тенденций в обучении информатике в ЛГОУ и в других вузах. Развитие положительных тенденций идет и в ЛГОУ, и в других вузах, но в ЛГОУ это развитие идет значительно интенсивнее. Глава 1 содержит построенные на основе материалов приложения 1 таблицы (Таблица 1 .1, Таблица 1 .2) и графики (Рисунок 1 .4 - Рисунок 1 .6). Они обобщают данные о средней оценке по информатике (СОИ) и мнение обучаемых:

• о том, что информатика труднее математики (ТИ1 - люди, %ТИ1 - процент);

• о проценте усвоения информатики в данном учебном заведении (ПОИ3);

• о проценте нужного для жизни в информатике в данном учебном заведении (ПЖИ3).

В главе 1 мы выявляли общие тенденции в динамике этих показателей, поэтому не разделяли данных для ЛГОУ и данных для других вузов. Теперь мы их разделим (Таблица 4 .13, Таблица 4 .14). На основании данных из этих таблиц построим графики (Рисунок 4 .25 - Рисунок 4 .28).

Таблица4.13

Информатика в ЛГОУ

Годы	КО	ТИ1	%ТИ1	ПОИ3	ПЖИ3	СОИ
1997	331	104	31.4	81.8	98.5	4.35
1998	334	105	31.4	82.0	98.7	4.39
1999	341	103	30.2	82.1	98.8	4.42
Общ	1006	312	31.0	82.0	98.7	4.39

Пояснения к таблицам 4.1 и 4.2.Таблицы составлены по материалам анкетирования обучаемых различных учебных заведений в процессе проведения педагогического эксперимента из приложения 1 по годам с 1997 по 1999. Строка "Общ" содержит общие данные за период 1997-1999 годов. В столбцах приведены следующие данные:

КО - количество обучаемых, отвечавших на вопросы;

ТИ1 - количество обучаемых, ответивших, что информатика труднее математики;

%ТИ1 - процент обучаемых, ответивших, что информатика труднее математики;

ПОИ3 - средний по обучаемым процент понятого и освоенного учебного материала по информатике в данном учебном заведении;

ПЖИ3 - средний по обучаемым процент необходимого для жизни учебного материала по информатике в данном учебном заведении;

СОИ - средняя оценка по дисциплинам ОЗ "Информатика" по данным от преподавателей, из деканатов, из приемных комиссий.

Таблица4.14

Информатика в РГПУ, ВАШ, ВИКУ, СПГУП

Годы	КО	ТИ1	%ТИ1	ПОИ3	ПЖИ3	СОИ
1997	621	271	43.6	79.8	95.8	4.27
1998	603	247	41.0	79.8	95.4	4.28
1999	278	115	41.4	79.2	96.7	4.34
Общ	1502	633	42.1	79.7	95.8	4.28

На этих графиках %ТИ1-Л, ПОИ3-Л, ПЖИ3-Л, СОИ-Л - данные для ЛГОУ, %ТИ1-Д, ПОИ3-Д, ПЖИ3-Д, СОИ-Д - данные для других вузов (РГПУ, ВАШ, ВИКУ, СПГУП). Из таблиц и графиков видно, что соответствующие показатели для ЛГОУ более благоприятны, чем для других вузов. Это подтверждает нашу гипотезу количественно, но может быть нам просто повезло и все это получилось случайно?

Рисунок4.25. Процент обучаемых (%ТИ1-Л-в ЛГОУ, %ТИ1-Д-в др. вузах), считающих, что информатика труднее математики по годам с 1997 по 1999 и общие данные за этот период (на вертикальной и горизонтальной осях соответственно

Рисунок 4.26. Мнение обучаемых о проценте освоенного учебного материала по информатике в данном учебном заведении (ПОИ3-Л-в ЛГОУ, ПОИ3-Д-в др. вузах) по годам с 1997 по 1999 и общие данные за этот период (на вертикальной и горизонтальной осях соответственно)

Рисунок 4.27. Мнение обучаемых о проценте необходимого для жизни учебного материала по информатике в данном учебном заведении (ПЖИ3-Л-в ЛГОУ, ПЖИ3-Д-в др. вузах) по годам с 1997 по 1999 и общие данные за этот период (на вертикальной и горизонтальной осях соответственно)

Рисунок4.28. Средняя оценка по информатике (СОИ-Л-в ЛГОУ, СОИ-Д-в др. вузах) по годам с 1997 по 1999 и общие данные за этот период (на вертикальной и горизонтальной осях соответственно)

Из приложения 1 за период 1997-1999 годов для каждого вуза нам известно:

• сколько процентов по ПОИ3 назвал каждый студент (обозначим эту случайную величину посредством ALдля ЛГОУ иADдля других вузов);

• сколько процентов по ПЖИ3 назвал каждый студент (обозначим эту случайную величину посредством BLдля ЛГОУ иBDдля других вузов);

• сколько оценок 5, 4, 3 было получено (обозначим случайную величину оценки посредством CLдля ЛГОУ иCDдля других вузов);

• сколько студентов считают, что информатика труднее математики(обозначим посредством DLдля ЛГОУ иDDдля других вузов случайную величину, равную 1 при ответе, что информатика труднее,и 0 в противном случае).

У нас AL,AD,BL,BD- непрерывные ограниченные случайные величины (0AL,AD,BL,BD100),CL,CD,DL,DD- дискретные случайные величины. Заметим, что все эти случайные величины не являются нормальными. Необходимо показать, что выборки случайных величин для ЛГОУ и выборки случайных величин для других вузов имеют разные вероятностные распределения [76, 255]. Для дискретных величин следует использовать разновидность критерия Пирсона²"хи-квадрат" [254, т.1, с.377]. Для непрерывных величин, про распределение которых больше ничего не известно, лучше всего использовать разновидность критерия Колмогорова-Смирнова [254, т.2, с.117].

Пусть - случайная величина, тогда ее вероятностное распределение однозначно определяется [255] функцией распределенияF_(x) =P{<x}.

Пусть ,- случайные величины. Имеется гипотезаH₀, что они имеют одинаковое распределение, т.е.H₀{F_=F_} против альтернативной гипотезыH₁{F_F_}. Уровень значимости- это вероятность отвергнуть верную гипотезу. В нашем случае нужно отвергнуть гипотезуH₀с достаточно малым уровнем значимости. В педагогике допускается= 0.05 [76].

Согласно критерию Пирсона ²"хи-квадрат" [254, т.1, с.377] следует вычислить статистикуTпо формуле:

, где

k- количество групп (у насk=2 - ЛГОУ и другие вузы);

m- количество значений случайной величины (признаков);

v- количество степеней свободы,v= (k-1) (m-1);

n_ij- количество членов признакаjв группеi;

e_ij=r_ic_j/t;

r_i- сумма по групеi;

с_j- сумма по признакуj;

t- общая сумма.

При достаточно больших n_ij(всеn_ij10 - в нашем случае это так, Таблица 4 .15) вероятностное распределение статистикиTпрактически не отличимо от распределения²_v- "хи-квадрат" сvстепенями свободы. Последнее хорошо изучено. ЗнаяTиv, можно найти уровень значимости, при котором отвергается гипотезаH₀, что нам и надо.

Таблица4.15

Данные для критерия Пирсона ²

Величины \ Значения	5	4	3	Величины \ Значения	0	1
CL	424	547	35	DL	694	312
CD	278	432	63	DD	869	633

Расчеты в среде Excel(Таблица 4 .15) дали дляCLиCD(v=2,H₀:F_CL=F_CD) значенияT=21.73 и=1.91е-05, дляDLиDD(v=1,H₀:F_DL=F_DD) значенияT=31.78 и=1.72е-08. Значит различия в данных по оценкам и по трудности информатики для ЛГОУ и для других вузов не случайны.

Пусть x₁...x_n- выборка, тогда выборочной функцией распределения называется функция, вычисляемая по формуле:

, где

x₍₁₎...x_(n)- отсортированная выборка (порядковые статистики) [254, т.2, с.191].

Критерий Колмогорова-Смирнова для двух выборок часто называют критерием Смирнова [254, т.1, с.117-118]. Пусть у нас имеются 2 выборки x₁...x_nиy₁...y_m. ПустьF_nиG_m- их выборочные функции распределения. Вычисляется статистика по формуле:

Вероятностное распределение D_nmхорошо изучено. ЗнаяD_nm, n,m, можно найти уровень значимости, при котором отвергается гипотезаH₀, что нам и надо. Желательно, чтобы былоn>40,m>40. В нашем случае это так. Данные для критерия Колмогорова-Смирнова слишком объемны, чтобы приводить их в данном разделе, они приведены полностью в приложении 1.

Расчеты в среде ППП Statgraphics[255, 369] дали дляALиAD(H₀:F_AL=F_AD) значенияD=0.778351 и=0, дляBLиBD(H₀:F_BL=F_BD) - значенияD=0.838243 и=0. Это значит, что в обоих случаях<10^-6. Следовательно, различия в данных по пониманию и освоению информатики и по полезности информатики в жизни для ЛГОУ и для других вузов также не случайны.Statgraphicsвыдал дляAL,ADиBL,BDсоответственно:

Kolmogorov-SmirnovTwo-SampleTest

-----------------------------------------

Estimated overall statistic DN = 0.778351

Approximate significance level = 0

Kolmogorov-Smirnov Two-Sample Test

-----------------------------------------

Estimated overall statistic DN = 0.838243

Approximate significance level = 0

Послесловие к разделу

Раздел посвящен анализу результатов педагогического эксперимента по оценке эффективности метамодели обучения информатике в высшей школе. По приведенным в приложениях данным эксперимента произведена сравнительная оценка ко­личественных результатов качества обучения информатике в случае применения разработанной метамодели и в противном случае. В первом случае мы имеем лучшие результаты, чем во втором. При помощи двухвыборочных критериев математи­ческой статистики доказано, что эта разница не является случайной. Таким образом, количественно подтверждается гипотеза нашего исследованияо повышении качества высшего образования в результате применения разработанной метамо­дели, также подтверждается ее эффективность.