- •Основные понятия.
- •1. Безусловная оптимизация (многомерные функции)
- •1.1 Методы первого порядка (градиентные методы)
- •1.1.1. Градиентный метод с постоянным шагом
- •1.1.2. Выпуклые функции и множества
- •Теорема
- •Определение.
- •Без доказательства
- •2.Теорема:
- •1.2. Градиентные методы (продолжение)
- •1.2.1. Градиентный метод с дроблением шага.
- •1.2.2. Метод наискорейшего спуска.
- •Без доказательства
- •1.2.3. Масштабирование
- •1.3. Метод Ньютона.
- •1.4. Многошаговые ( двухшаговые ) методы.
- •1.3.1. Метод тяжелого шарика
- •1.3.2. Метод сопряженных градиентов
- •1.3.3. Модификация Полака-Ривьера
- •1.5. Квазиньютоновские методы
- •1.6. Методы нулевого порядка (методы прямого поиска)
- •1.6.1. Методы аппроксимации
- •Метод покоординатного спуска
- •1.6.3. Метод симплексов (Нелдера-Мида)
- •1.6.4. Метод Пауэлла (сопряженных направлений)
- •1.7. Методы прямого поиска в задачах одномерной минимизации.
- •1.7.1. Метод квадратичной интерполяции.
- •1.7.2. Метод дихотомии ( половинного деления.).
- •1.7.3. Метод «золотого» сечения.
- •1.7.4. Метод Фибоначчи.
- •2. Условная минимизация.
- •2.1 Задача нелинейного программирования.
- •2.1.1. Ограничения типа равенства.
- •2.1.2. Ограничения типа неравенств.
- •2.2. Задача выпуклого программирования
- •2.3. Методы условной минимизации.
- •2.3.1. Метод проекции градиента.
- •2.3.2. Метод условного градиента.
- •2.3.3. Метод модифицированной функции Лагранжа.
- •2.3.4. Метод штрафных функций.
- •2.4. Двойственность звп
- •2.4.1. Двойственность злп
- •3. Линейное программирование
- •3.1. Основные понятия
- •3.2. Геометрическая интерпретация злп.
- •3.3. Условие оптимальности для злп.
- •3.4. Базис и базисное решение.
- •3.5. Симплекс - метод решения злп.
- •3.6 Транспортная задача
- •3.5.1. Построение первоначального опорного плана.
- •3.5.2. Построение оптимального плана. Метод потенциалов.
- •4. Решение переборных задач.
- •4.1. Метод ветвей и границ.
- •4.1.1. Задача о коммивояжере.
- •4.2. Динамическое программирование.
- •4.2.1. Абстрактная схема.
- •4.2.2. Вывод уравнения Беллмана.
- •4.2.3. Методика применения функции Беллмана для решения исходной задачи.
- •4.2.4. Примеры задач динамического программирования
- •5. Вариационное исчисление (ви)
- •5.1. Уравнение Эйлера-Лагранжа.
- •5.1.1. Частные случаи уравнения Эйлера-Лагранжа.
- •5.1.2. Задача о брахистохроне.
- •5.2. Вариационные задачи на условный экстремум.
- •5.2.1. Модельные задачи на условный экстремум.
- •6. Принцип максимума Понтрягина ( на примере задачи оптимального управления ).
- •6.1. Принцип максимума в задаче о быстродействии.
- •Список литературы
1.7.2. Метод дихотомии ( половинного деления.).
Если мы вычислим значения f в двух точках x1,x2 , то станет возможным исключение из рассмотрения некоторого множества точек, на котором гарантировано нет минимума, то есть имея измерения в двух точках можем сократить интервал поиска.
Как лучше выбирать точки, чтобы процесс быстрее сходился?
В методе дихотомии предлагается (отрезок [0,1] ).
Остается один из интервалов:. Выберем 3-й и 4-й эксперимент на-пару в середине оставшегося интервала. После n (n-четно) экспериментов min функции лежит в интервале .
Здесь каждый раз два эксперимента, но можно один, а в качестве другого брать один из предыдущих.
1.7.3. Метод «золотого» сечения.
Интервал [a,b], вычислить функцию в точках .
На интервале [a,b] расположен минимум функции.
, где F1 и F2 некоторые числа 0<F1<1, 0<F2<1.
Анализируем перегибы функции внутри интервала, и также, как раньше, заменяем отрезок [a, b] на или. Идея метода в том, чтобы после замены, необходимо было вычислить только одну точку при гарантированном уменьшении длины отрезка, т.е.
, так как
(после замены отрезок уменьшится в 1/ F2 =
В новом отрезке должно быть(по правилу «золотого» сечения): так как
Тогда так как ,, то.
Таким образом, уменьшение интервала в 1/ F2 = раз достигается с помощью вычисления функции в одной новой точке (см. процедуру выполнения). После n экспериментов имеем интервал неопределенности:
.
В пересчете на одно измерение этот метод лучше дихотомии.
Процедура выполнения:
Рассмотрим [a, b], вычислить функцию в точках .
В выражениях 1) и 2) появилась только одна новая точка. И так далее, пока длина отрезка [a, b] не станет меньше заданной величины.
1.7.4. Метод Фибоначчи.
Пусть у нас существует ограничение на количество вычисляемых точек N. Как выбирать средние точки , чтобы максимально уменьшить интервал, внутри которого лежит точка min?
, к- номер итерации.
Fj - числа Фибоначчи, обладающие свойством.
Fk+2 = Fk+1+ Fk
Два первых: 1;1
Как метод Фибоначчи связан с методом «золотого» сечения?
.
То есть асимптотически один метод переходит в другой. Окончательный интервал в методе «золотого» сечения всего на 17% больше чем в методе Фибоначчи. Если количество измерений не задано, то используется метод «золотого» сечения, если задано - то Фибоначчи.
2. Условная минимизация.
2.1 Задача нелинейного программирования.
Решается задача минимизации функции f на множестве X, заданном набором ограничений g.
Множество- называется допустимым множеством.
gi- некоторые гладкие функции.
2.1.1. Ограничения типа равенства.
Рассмотрим следующий пример: найти.
Пусть g разрешима относительно x1, то есть g(x1,x2)=0 x1= (x2), x1,x2.
Тогда
Функции f, - дифференцируемы. Запишем условие экстремальности: . Так как
Обозначим
Тогда:
, из определения
Таким образом, в точке минимума выполняются эти соотношения. Получить эти необходимые условия можно, используя функцию Лагранжа:
F(x,)=f+g.
Тогда необходимое условие min функции f(x1,x2) при наличии ограничений может быть записано следующим образом:
Таким образом, задача условной минимизации сведена к задаче безусловной минимизации. Для решения последней задачи можно использовать ранее описанные методы.