ВЫБОР ОПТИМАЛЬНОЙ СТРУКТУРЫ МОДЕЛИ / RGR.doc

Содержание

1.Постановка задачи……………………………………………………………………………….…… ..3

2.Теоретические сведения………………………………………………………………………….…….4

2.1.Основные определения………………………………………………………………...……..4

2.2. Нормальная система…………………………………………………………..……………...5

2.3 Выбор структуры модели и анализ ошибок моделирования………………………...…….6

2.4. Критерии оптимальности структуры модели………...……………….……….……….......6

3.Практическая часть………………………………………………………………….……………….....8

4.Выводы…………………………………………………………………………….……………………12

5.Используемая литература………………………………………………….……………………….....13

1. Постановка задачи

Проведены 23 наблюдения переменных x1 и Y=ln(x3). Необходимо выбрать оптимальную модель Ym(x1) линейного вида с использованием заданных тригонометрических базисных функций и найти коэффициенты модели. Включение и исключение модели определяется F-критерием. Используется шаговый метод отбора.

Исходные данные:

Данные 1 группы.

Матрица наблюдений параметров: Х1-размер пузырька мм, Х2-концентрация ОПСБ мг/л, Х3-скорость всплытия пузырька см/с.

Моя базисная функция:

ТРИГОНОМЕТРИЧЕСКИЕ ФУНКЦИИ: ХХ(2к+1)=sin(2pkx/L), ХХ(2к)=cos(2pkx/L), , к=0..Kmax.

Модель: Y(X1), Y=ln(X3)

2. Теоретические сведения

2.1 Постановка задачи. Основные определения

Имеются N наблюдений некоторых переменных процесса (объекта наблюдения). Одна из переменных считается выходом процесса, в дальнейшем обозначаемая как y , и рассматривается как функция других переменных, называемых входными переменными процесса, и обозначаемые как z_j , j=1..m. Значения m входных переменных в N наблюдениях образуют матрицу наблюдений входных переменных Z, а N значений переменной y образуют вектор наблюдений выходной переменной Y:

(1)

Задача аппроксимации функции (АФ) состоит в том, чтобы по данным наблюдения выходной и входных переменных подобрать «хорошую» функцию от входных переменных, аппроксимирующую исходные данные или аппроксимирующую неизвестную нам функцию. В качестве аппроксимирующих функций рассмотрим класс линейных модельных функций вида:

, (2)

где X_i ,i=0..k - есть функции входных переменных z_j, j=1..m. Переменную X_i можно считать i-й обобщенной входной переменной, а модельную функцию рассматривать как линейную функцию от k+1 обобщенных переменных. Обычно в качестве X₀ рассматривают тождественную единицу: X₀=1. Поэтому этой переменной-константе и выделяют номер ноль, и, для удобства расчетов считают или не считают за переменную, т.е. рассматривают всего k переменных. Рассчитав значения данных базисных функций в каждом наблюдении, т.е. определив значения (k+1) (или k) обобщенных входных переменных в N наблюдениях, получим матрицу наблюдений обобщенных входных переменных K:

(3)

Ясно, что (X₀)_i=1 для всех наблюдений i=1,..,N. При этом j-й столбец матрицы K можно интерпретировать как N наблюдений j-й обобщенной переменной: j=0..k. В качестве критерия отбора наилучшей модели вида (2) для метода наименьших квадратов используется критерий среднего квадрата отклонения значений модельной функции от наблюдаемых значений:

à min (4)

или

à min . (4’)

Анализ критерия (4’) показывает геометрическую интерпретацию задачи о НК, как определения проекции вектора наблюдений Y на линейную оболочку векторов наблюдений обобщенных переменных X_j, j=0..k. В этом случае вектора наблюдений обобщенных переменных X_j можно считать базисными векторами, а вектор коэффициентов модели a есть вектор коэффициентов разложения проекции вектора Y по системе базисных векторов.

В качестве примера задачи построения модели можно рассмотреть определение взаимосвязи между тремя параметрами процесса всплытия пузырька воздуха: скоростью подъема одиночного пузырька Vb, диаметром пузырька Db и концентрацией реагента Cp. Так как нас интересует оценка скорости пузырька, то в качестве выходной переменной y будем считать скорость пузырька, а в качестве входных переменных - диаметр z₁ и концентрацию z₂ . Сделав несколько наблюдений, мы получим значения этих переменных и из них составим матрицу наблюдений Z и вектор наблюдений Y (см.(1)). Если в качестве расчетной модели скорости всплытия пузырька мы рассмотрим модель вида:

,

то получим 4 обобщенные переменные:

X₀:= 1; X₁:= z₁; X₂:= z₂; X₄:= z₁z₂.

Если мы теперь посчитаем значения этих обобщенных переменных во всех наблюдениях (считать придется только X₄ - значения X₁ и X₂ совпадают со значениями исходных переменных, а значения X₀ равны единице во всех наблюдениях), то получим матрицу К. Задача заключается в том, чтобы подобрать коэффициенты модели так, чтобы расчетные по модели значения выходного параметра были бы близки к его наблюдаемым значениям.

Если имеем только одну входную переменную, то получаем задачу полиномиальной аппроксимации функции одной переменной по известным значениям (измерениям) y₁,y₂,..,y_N неизвестной нам функции f(x) в узловых точках x₁,x₂,..,x_N. Необходимо подыскать лучшее, в смысле критерия среднеквадратического отклонения, приближение или модельную функцию f_м(x) из класса многочленов вида:

, (5)

где k - степень многочлена,
j_j , j=0,k - заданные базисные функции,
a_j , j=0,k - коэффициенты полинома (коэффициенты разложения по данным базисным функциям). В данном случае обобщенные переменные совпадают непосредственно с базисными функциями.

В качестве базисных функций можно рассматривать степени х :

j_j = x^j, j=0,..,k; (6)

и тогда модельная функция будет алгебраическим полиномом степени k . Можно в качестве базисных функций рассмотреть тригонометрические функции:

, j=1,..,k; (7)

и тогда модельная функция будет тригонометрическим полиномом степени k. Тригонометрические функции обладают свойством ортогональности на интервале, кратном 2L и поэтому их удобнее использовать для расчета коэффициентов модельного полинома.

По этой же причине вместо (10) в качестве базисных функций j_j рассматривают различного вида ортогональные на интересующем нас отрезке (или на исходном множестве точек x₁,x₂,..,x_N) полиномы степени j. Модельный алгебраический полином будет все тот же полином k-й степени, но расчет его коэффициентов будет вычислительно проще и надежнее защищен от ошибок округления.

Обозначив через e_j = y(x_j)-y_м(x_j) отклонение значения модельной функции от наблюдаемого значения, задачу минимизации нормы вектора отклонения (4) можно переписать в виде:

à min . (8)

Отклонение значения модельной функции от наблюдаемого значения e_j = y(x_j)-y_м(x_j) называют также ошибками моделирования или остатками модели. Задача о НК, таким образом, можно сформулировать и как задачу выбора модели вида (2), обеспечивающей минимум (квадрата) нормы вектора ошибки моделирования. Таким образом, для решения задачи АФ необходимо провести наблюдения параметров процесса, определить список обобщенных переменных, входящих в модель вида (2) (определить структуру модели) и найти коэффициенты модели, воспользовавшись МНК. Такая задача - построения модели по данным наблюдения - еще называется задачей регрессионного анализа данных. А построенная в результате модель или аппроксимирующая функция называется регрессионной моделью.

2.2 Нормальная система

Простейший подход к решению задачи МНК (4) заключается в нахождении стационарной точки Ф(а), которая по специфике минимизируемой функции является точкой её минимума. Таким образом, имеем систему из (k+1) уравнений с (k+1) неизвестными:

 , j=0,1..,k . (9)

Вычисляя частные производные функции Ф и, изменяя порядок суммирования, получаем систему линейных уравнений, которую можно записать в матричной форме так:

,

где

Имеем квадратную систему уравнений из (k+1) уравнений с неизвестными коэффициентами:

. (10)

Решая данную систему, получаем значения коэффициентов модельной функции вида (1).

2.3 Выбор структуры модели и анализ ошибок моделирования

При выборе в качестве аппроксимирующей функции модель вида (2) возникает естественный вопрос, а каким количеством слагаемых k в модели ограничиться и какие функции от исходных параметров выбрать в качестве обобщенных переменные. Для полиномиальной аппроксимации этот же вопрос можно переформулировать так: какие из заданных базисных функций j_j , j=0,k - следует брать, можно ли сделать обоснованный отбор некоторых из них не по порядку их расположения в последовательности этих функций. Такая задача - выбора слагаемых линейной модели (2) или вида нелинейной модели называется задачей выбора структуры модели или структурной идентификацией объекта моделирования. После того, как выбрана структура модели, решается задача определения коэффициентов (параметров) модели. Эта задача называется задачей настройки параметров модели или задачей параметрической идентификации объекта. Задача структурной идентификации очень сложна и не имеет таких хорошо разработанных и теоретически обоснованных методов решения задачи параметрической идентификации, как МНК, метод интерполяции полиномами, сплайн-интерполяции и т.п.

2.4 Критерии оптимальности структуры модели

Для решения задачи выбора оптимальной структуры полинома необходимо ввести критерий оптимальности выбора модели. Рассмотрим некоторые показатели точности моделирования.

Введем обозначения:

(31)

где SS_Y - сумма квадратов наблюдаемых значений относительно среднего;
SS_м - сумма квадратов моделируемых значений относительно среднего;
SS_e - сумма квадратов наблюдаемых значений относительно модели (сумма квадратов ошибок моделирования). Кроме того:

(32)

где S_Y² - средний квадрат наблюдаемых значений относительно среднего;
S²_м - средний квадрат моделируемых значений относительно среднего;
S²_e - средний квадрат наблюдаемых значений относительно модели (дисперсия ошибки моделирования).

Для регрессионной модели, построенной по МНК, выполняется следующее соотношение:

SS_Y = SS_м + SS_e . (33)

Ясно, что чем точнее модельные значения к наблюдаемым, тем меньше сумма квадратов ошибок моделирования.

Частный F-критерий.

В дальнейшем нам понадобится оценка вклада какого-нибудь слагаемого в модель. Это может понадобится либо при решении вопроса стоит ли включать в данную модель определенный член либо при решении вопроса об исключении слагаемого из модели. Рассмотрим сумму квадратов, связанную с каким-либо членом. Обозначим через SS(a₀) сумму квадратов моделируемых значений относительно среднего (SS_Yм) для модели , через SS(a₀, a₁) - сумму квадратов моделируемых значений относительно среднего для модели , через SS(a₀, a₁,.., a_k) - сумму квадратов для модели . Рассмотрим разность

SS(a_k/a₀, a₁,.., a_k-1)=SS(a₀, a₁,.., a_k)-SS(a₀, a₁,.., a_k-1) , (34)

которая показывает насколько увеличилась сумма квадратов моделируемых значений относительно среднего, насколько она приблизилась к SS_Y за счет включения в модель слагаемого a_kj_k при условии, что в модель уже включены слагаемые a₀, a₁j₁,.., a_k-1j_k-1. Иными словами, мы имеем меру важности параметра, как если бы он был добавлен в модель последним. Частным F- критерием для включения/исключения слагаемого a_k назовем отношение:

F(a_k/a₀, a₁,.., a_k-1)= SS(a_k/a₀, a₁,.., a_k-1)/s², ........ ....(35)

которое показывает как средний квадрат, соответствующий данному члену, соотносится со средним квадратом ошибки наблюдения - s². Так как последняя зачастую неизвестна, то в качестве таковой рассматривается ошибка модели - S_e²(a₀,a₁,..,a_k).

Коэффициент парной корреляции между векторами оценивает линейную зависимость между векторами X и Y:

 , -1<r_xy<1 . (36)

Он может быть полезен при принятии решения о включении переменной в модель. Если коэффициент корреляции между исследуемой переменной и наблюдениями выходного параметра высок по модулю, то естественно включить в модель данную переменную. Если принимается решение о добавлении к уже построенной модели новой переменной, то исследуют - корреляцию r(X,Y-Yм) между вектором данной переменной и вектором остатков модели (ошибки моделирования).

Критерий множественной регрессии показывает насколько точно модель описывает данные наблюдения и равен квадрату коэффициента корреляции между векторами Y и Yм:

R²= SS_Yм/SS_Y . (37)

Ясно, что 0<R²<1, при этом R²=1, когда модель точно проходит через данные наблюдения. Сравнивая данный показатель для двух различных моделей, можно выбрать наиболее точную. Недостаток данного показателя заключается в том, что чем больше слагаемых в модели, тем точнее модель, тем больше данный показатель и при m=N (m- количество слагаемых в модели) R²=1. Таким образом максимум данного показателя можно достигнуть не за счет выбора «истинной» или оптимальной структуры модели, а за счет избыточного числа слагаемых.

Остаточный средний квадрат (дисперсия ошибки моделирования) лишен данного недостатка:

S_e² = SS_e/N_e , (38)

так как учитывает количество слагаемых в модели. Здесь N_e=N-m - степень свободы ошибок моделирования. С ростом числа слагаемых в модели - m - он сначала резко убывает, а затем стабилизируется при достижении оптимальной структуры и может даже возрастать с ростом числа слагаемых. Таким образом, достаточно определить минимальный набор переменных (слагаемых) модели, при котором этот критерий достигает стабилизирующего значения (может быть минимума).

3. Практическая часть

Постановка задачи.

Проведены 23 наблюдения переменных x1 и Y=ln(x3). Необходимо выбрать оптимальную модель Ym(x1) линейного вида с использованием заданных тригонометрических базисных функций и найти коэффициенты модели. Включение и исключение модели определяется F-критерием. Используется шаговый метод отбора.

4. Выводы

На основании полученных результатов, мы можем сделать вывод о том, что найденная модельная функция достаточно точно описывает неизвестную зависимость. Коэффициент множественной регрессии R2 = 0.989, дисперсия ошибки моделирования Se2 = 9,608×10^-4, F-критерий = 270,298, говорят о том, что достоверность полученных выходных данных (т.е. значений модельной функции) актуальна.

.

Используемая литература:

1)      Нехаев И.Н. Решение задач вычислительной математики с примерами решения в пакете «MathCad»: Учебное пособие.-Йокар-Ола: МарГТУ, 2004.

2)      Применение математических методов и ЭВМ: Практикум: Учеб. пособие для вузов.

3)      Мэтьюз Джон, Финк Куртис. Численные методы. Использование Matlab. М.:Изд.дом Вильямс, 2001.