56. Кластерный анализ как метод многомерной классификации

Кластерный анализ наиболее ярко отражает черты многомерного анализа в классификации, факторный анализ – в исследовании связи.

Большое достоинство кластерного анализа в том, что он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов, и позволяет рассматривать множество исходных данных практически произвольной природы.

Кластерный анализ позволяет рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы социально-экономической информации, делать их  компактными и наглядными.

Как и любой другой метод, кластерный анализ имеет определенные недостатки  и ограничения: В частности, состав  и количество кластеров зависит от  выбираемых критериев разбиения. При сведении исходного массива данных к более компактному виду могут возникать определенные искажения, а также могут теряться индивидуальные черты отдельных объектов за счет  замены их характеристиками обобщенных значений параметров кластера. При проведении классификации объектов игнорируется очень часто возможность отсутствия в рассматриваемой  совокупности каких-либо значений кластеров.

Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов G на m (m – целое) кластеров (подмножеств) Q1, Q2, …, Qm, так, чтобы каждый объект Gj принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходными, в то время, как объекты, принадлежащие разным кластерам были разнородными.

содержание

57. Проверка значимости уравнения множественной регрессии и его коэффициентов. Интервальное оценивание коэффициентов уравнения регрессии

Интервальное оценивание коэффициентов уравнения регрессии

Регрессионный анализ – это статистический метод исследования зависимости случайной величины Y от переменных Xj (j = 1, 2, ..., k), рассматриваемых в регрессионном анализе как неслучайные величины независимо от истинного закона распределения Xj.

Наиболее часто используемая множественная линейная модель регрессионного анализа имеет вид:

y = β₀ +β₁х_i1 +...+β_jx_ij+...+β_kx_ik+ε_i (2.1)

где ε_i – случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию σ²

В матричной форме регрессионная модель имеет вид:

Y = Xβ + ε (2.2)

Значимость уравнения регрессии, т. е. гипотеза H₀: β=0 (β₀=β₁=...=β_k=0), проверяется по F-критерию, наблюдаемое значение которого определяется по формуле:

,

где Q_R=(Xb)^T(Xb), Q_ост=(Y-Xb)^T(Y-Xb)=Σ(y_i-ŷ_i)².

По таблице F-распределения для заданных α, ν₁=κ+1, ν₂=n−κ−1 находят F_кр.

Для проверки значимости отдельных коэффициентов регрессии, т. е. гипотез H₀: β_j=0, где j=1,2,...k, используют t-критерий и вычисляют: . По таблице t-распределения для заданного α и ν= n–k–1, находят t_кр.

Гипотеза H₀ отвергается с вероятностью α, если t_набл>t_кр. Из этого следует, что соответствующий коэффициент регрессии β_j значим, т. е. β_j ≠0. В противном случае коэффициент регрессии незначим и соответствующая переменная в модель не включается. Тогда реализуется алгоритм пошагового регрессионного анализа, состоящий в том, что исключается одна из незначимых переменных, которой соответствует минимальное по абсолютной величине значение t_набл . После этого вновь проводят регрессионный анализ с числом факторов, уменьшенным на единицу. Алгоритм заканчивается получением уравнения регрессии со значимым коэффициентами.

Наряду с точечными оценками b_j генеральных коэффициентов регрессии β_j, регрессионный анализ позволяет получать и интервальные оценки последних с доверительной вероятностью γ.

Интервальная оценка с доверительной вероятностью γ для параметра β_j имеет вид: ,

где t_α находят по таблице t-распределения при вероятности α =1−γ и числе степеней свободы ν=n−κ−1 .

содержание