Метод координатного спуска

Идея всех методов спуска состоит в том, чтобы исходя из начального приближения - точки

 Dⁿ (Dⁿ - область определения функции) перейти в следующую точку

 D так, чтобы значение уменьшилось, т.е. .

Рассматриваем функцию при фиксированных значениях как функцию одной переменной . Находим одним из описанных выше методов . Значение доставляющий минимум обозначаем . 

После нахождения точки минимума по координате переходим к нахождению минимума по координате от новой точки и так далее по всем оставшимся координатам.

Для гладких функций погрешность вычислений в данном методе складывается из погрешностей при вычислении минимума по каждой переменной, хотя для некоторых функций специального вида погрешность может быть и очень велика.

Центральным звеном рассматриваемого алгоритма является поиск минимума функции одной переменной. Методы применимые к этому случаю рассмотрены выше.

Градиентный метод

Пусть функция непрерывно дифференцируема на , а 

В основе градиентного метода минимизации (максимизации) функций многих переменных лежит следующее замечательное свойство градиента: при направление наибыстрейшего возрастания функции в точке совпадает с направлением градиента , а направление наибыстрейшего убывания - с направлением антиградиента .

Это метод, как и все итерационные методы, предполагает выбор начального приближения - некоторой точки . Общих правил выбора точки в градиентном методе, как, впрочем, и в других методах, к сожалению, нет. В тех случаях, когда из геометрических, физических или каких-либо других соображений может быть получена априорная информация об области расположения точки (или точек минимума), то начальное приближение стараются выбрать поближе к этой области.

Пусть выбрано. Тогда градиентный метод заключается в построении последовательности {} по правилу , , .

- длина шага или просто шаг градиентного метода.

Если , то шаг можно выбрать так, чтобы . Если , то - точка минимума функции . В этом случае итерационный процесс прекращается.

Существуют различные способы выбора величины в градиентном методе. В зависимости от способа выбора можно получить различные варианты градиентного метода.

На луче, направленном по антиградиенту, введем функцию одной переменной , и определим из условий .

Этот метод принято называть методом наискорейшего спуска. На практике итерации продолжают до тех пор, пока не будет выполнен некоторый критерий окончания счета

, или , или , где - заданные числа.

Теоретические исследования и численные эксперименты подтверждают, что метод наискорейшего спуска и другие варианты градиентного метода медленно сходятся в тех случаях, когда поверхности уровня функции сильно вытянуты и функция имеет так называемый овражный характер. Для ускорения сходимости к решению в таких случаях предлагается исследовать овражный метод.

Для более детального знакомства с данной темой предлагается книга Ф. П. Васильева "Численные методы решения экстремальных задач".

Контрольные вопросы

1. В чем суть классического подхода к решению задач нахождения экстремума функций одной переменной?

2. Сформулировать общую схему нахождения экстремума функций одной переменной при помощи численных методов.

3. Методы равномерного и поразрядного приближения, в чем их суть?

4. Метод квадратичной интерполяции. Применение этого метода к решению задач нахождения экстремума функций одной переменной.

5. Метод золотого сечения. Постановка задачи.

6. Сравнить методы одномерной оптимизации.

7. Сформулировать общую схему нахождения экстремума функций многих переменных при помощи численных методов.

8. Метод координатного спуска и его реализация для функций многих переменных.

9. Метод наискорейшего координатного спуска, в чем его суть?