Metodi_optimizatsiyi

тобто

lim f (x s k ) = f (x*). k→∞

Теорема доведена.

Виникає питання практичного обчислення субградієнтів. Розглянемо кілька

прикладів.

Приклад 10.3. Нехай f(x) — опукла функція скалярного аргументу x E1.

Для цього випадку за аналог субградієнта $ f ( x ) функції f ( x ) в точці x можна

взяти опуклу комбінацію правосторонньої та лівосторонньої похідних цієї функції в

точці x :

Тут f$x (x) — аналог субградієнта, fx+ (x) та fx− (x) — відповідно правостороння

та лівостороння похідні функції f ( x ) в точці x.

Правомірність подання (10.21) випливає із того факту, що множина

субградієнтів опуклої функції f ( x ) в точці x є опуклою, а fx+ (x) та fx− (x) є

елементами цієї множини.

Отже, якщо ми матимемо змогу обчислити в довільній потрібній нам точці правосторонню та лівосторонню похідні функції f ( x ) , то для пошуку мінімуму

191

Тоді за означенням вектор $ f ( x ) є субградієнтом функції f ( x ) в точці x.

Приклад 10.5. Нехай F ( x ) = g(f ( x )), де g ( t ) — опукла функція скалярного

аргументу, правостороння g + ( t ) та лівостороння g − ( t ) похідні якої в довільній

точці t невід'ємні, а t = f ( x ) ( x E n ) — опукла функція. Тоді субградієнтом

функції F ( x ) в точці x є вектор

Дійсно, в точці x y E n маємо

F ( y ) −F ( x ) = g(f ( y )−f ( x )) ≥ [λg+(f ( x )) + (1−λ)g-(f ( x )) ] (f ( y )−f ( x )) ≥

Розв'язування мінімаксних задач

Розглянемо задачу мінімізації опуклої функції

за умов x X , де X — опукла множина. Справедлива наступна теорема.

Теорема 10.4 (про субградієнт функції F( x ) = max f ( x, y )). y Y

Нехай:

1)f(x,y) — опукла по x y Y;

2)y(x) таке, що F( x ) = max f ( x, y ) = f(x,y(x));

Yy

192

Перевіряємо виконання умов теореми. Маємо:

де y(x ) визначається формулами (10.24).

Розглянемо тепер задачу про розв'язування перевизначеної системи лінійних алгебраїчних рівнянь

j =1

П.Л.Чебишовим запропоновано вважати розв'язком цієї системи вектор

x E n, який мінімізує максимальну по модулю нев'язку рівнянь системи (10.26). Тоді задача розв'язування системи (10.26) у відповідності з зазначеним полягає у

пошуку вектора x E n, який мінімізує функцію

Для відшукання мінімуму функціїї f(x ) можна використати процедуру субградієнтного методу (10.8). Перепишемо (10.27) у вигляді

193

Позначимо через i(x ) номер рівняння, для якого досягається максимум у (10.27), при цьому f ( x ) набуде вигляду

Розділ 11. Методи можливих напрямків

§ 1. Метод Зойтендейка

назвемо активним в точці x s, якщо f i(x s )=0. Позначимо через Is = { i : f i(x s )=0}

вигляді x s+1 = x s+ρr s, де r s — довільний вектор напрямку зміщення із точки x s , а

ρ> 0 — крок зміщення. Напрямок r s назвемо можливим напрямком, якщо існує ρ

> 0 таке, що точка x s+1 задовольняє умову:

194

Далі, оскільки тільки активні у точці x s обмеження впливають на вибір можливого

напрямку, то в умовах (11.3) слід вважати, що i Is .

при досить малих ρ> 0.

Як було доведено вище (див. Розділ 10), умова (11.5) буде виконуватись при

Аналогічно приходимо до висновку, що умови (11.4) будуть виконуватись при досить малих ρ> 0 тільки для тих напрямків r s, для яких похідні D r s f i(x s), i Is , недодатні:

Для обмеження довжин векторів r s до системи умов (11.6)–(11.7), яка визначає всі можливі i підхожі напрямки, додають, як правило, яку-небудь умову нормування, наприклад, таку:

Остаточно, для відшукання можливого i підхожого напрямку r s отримуємо

задачу лінійного програмування

D r s f 0(x s)= ( f 0 (x s ), r s ) → min,

визначає можливий і підхожий напрямок. Тоді у знайденому напрямку r s будуємо

промінь x (ρ)= x s+ρr s (ρ> 0) і, пiдставляючи x (ρ) у всі неактивні обмеження,

знаходимо число ε, яке обмежує крок ρ зверху: 0 <ρ≤ε. Конкретне значення ρs визначаємо як

ρs = arg min f 0 (x s + ρr s )

ρ (0,ε]

за допомогою якої-небудь процедури одновимірної оптимізації.

Зауважимо, що, як i для градієнтних методів, метод можливих напрямків не

гарантує нічого більшого, ніж збіжність x s до стаціонарної точки функції f 0 (x ).

195

До вибору початкового наближення x 0. За x 0 можна взяти довільну допустиму точку x X . Якщо обмеження задачі (11.1) лінійні, то за x 0 можна взяти довільний базисний розв'язок системи обмежень задачі (11.1).

Пpиклад 11.1. Розв'язати методом можливих напрямків задачу f 0(x1,x2) = x12 − 2 x1 + 1 + x22 → max,

f 1(x1,x2) = x12 + x2 − 1 ≤ 0, x1 ≥ 0, x2 ≥ 0,

вибираючи x 0 = (1/2,0).

Перетворюємо задачу до потрібного вигляду: f 0 (x1,x2) = − ( x1 − 1)2 − x22 → min ,

f 1 (x1,x2) = x12 + x2 − 1 ≤ 0, f 2 (x1,x2) = − x1 ≤ 0,

f 3 (x1,x2) = − x2 ≤ 0.

Обчислюємо градієнти:

f 0 (x1,x2) = ( − 2 x1 + 2 ,− 2 x2 ),f 1 (x1,x2) = ( 2 x1 , 1 ),

f 2 (x1,x2) = ( −1, 0 ),

f 3 (x1,x2) = ( 0 , −1).

Задача (11.10) легко розв’язується графічно, вона має альтернативний оптимум: r * = ( −1, r2* ), 0 ≤ r2* ≤ 1, L * = −1. Оскільки її оптимальне значення рівне −1, то

196

можливі і підхожі напрямки існують і задаються векторами r * = ( −1, r2* ), 0 ≤ r2* ≤

1. За r 0 приймаємо той з них, який має найбільшу довжину: r 0 = (−1,1). Далі, будуємо промінь x (ρ), що виходить із точки x 0 в напрямку r 0

x (ρ)= x 0 +ρr 0 = (1/2,0 ) +ρ(−1,1) = (1/2 −ρ, ρ), ρ> 0.

За допомогою неактивних обмежень визначаємо обмеження для ρ зверху.

197

Пеpеходимо до наступної iтеpацiї.

2-а iтерацiя. Визначаємо активні обмеження в точці x 1 :

Будуємо допоміжну оптимізаційну задачу для визначення можливого і підхожого напрямку r 1 = ( r11 , r21 ):

f 0 (0,1/2) = (2,−1), f 2 (0,1/2) = ( −1,0),

D r 1 f 0 (x 1 )= ( f 0 (0,1/2), r 1 ) = ((2,−1), ( r11 , r21 )) = 2 r11 −r21 ,

D r 1 f 2 (x 1 )=( f 2 (0,1/2), r 1 ) = (( −1,0), ( r11 , r21 )) = −r11 ,

L = D r 1 f 0 (x 1 )= 2 r11 −r21 → min,

D r 1 f 2 (x 1 )=−r11 ≤ 0,

−1 ≤ r11 ≤ 1,

−1 ≤ r21 ≤ 1.

Задача має єдиний розв’язок: r * = ( 0, 1), L* = −1. Її оптимальне значення рівне −1, тому вектор r 1 = ( 0, 1) є вектором можливого і підхожого напрямку.

Будуємо промінь x (ρ), що виходить із точки x 1 в напрямку r 1 x (ρ)= x 1 +ρr 1 = (0,1/2) +ρ(0,1) = (0, ρ +1/2), ρ> 0.

Визначаємо інтервал можливих значень для ρ , підставляючи x (ρ) у

достатні умови екстремуму для функції g(ρ). Маємо: g / (ρ)=−2ρ −1=0, звідки ρ= −

1/2< 0 . Оскільки g // (ρ)=−2< 0 , то ρ= −1/2 — точка максимуму функції g(ρ) = f 0 (x (ρ))= f 0 (x 1 +ρr 1 ), яка є опуклою доверху. Тому мінімальне значення f 0 (x 1 +ρr 1 ) досягається на правому кінці відрізка (0,1/2 ], тобто при ρ1 = 1/2 .

Обчислюємо точку x 2 :

x 2 = x 1 +ρ1 r 1 = (0 , 1/2 ) + 1/2 ( 0, 1) = ( 0 , 1).

Пеpеходимо до наступної iтеpацiї.

198

3-а iтерацiя. Визначаємо активні обмеження в точці x 2 : f 1 (0,1) = 0, (Активне обмеження)

f 2 (0,1) = 0, (Активне обмеження) f 3 (0,1) = −1≠ 0.

Будуємо допоміжну оптимізаційну задачу для визначення можливого і підхожого напрямку r 2 = ( r12 , r22 ):

f 0 (0,1) = (2,−2), f 1 (0,1) = ( 0,1), f 2 (0,1) = ( −1,0),

D r 2 f 0 (x 2 )= ( f 0 (0,1), r 2 ) = ((2,−2), ( r12 , r22 )) = 2 r12 −2 r22 ,

D r 2 f 1 (x 2 )=( f 1 (0,1), r 2 ) = (( 0,1), ( r12 , r22 )) = r22 , D r 2 f 2 (x 2 )=( f 2 (0,1), r 2 ) = (( −1,0), ( r12 , r2)) = −r12 ,

L = D r 2 f 0 (x 2 )= 2 r12 −2 r22 → min,

D r 2 f 1 (x 2 )= r22 ≤ 0,

D r 2 f 2 (x 2 )=−r12 ≤ 0,

−1 ≤ r12 ≤ 1,

−1 ≤ r22 ≤ 1.

Задача має єдиний розв’язок: r * = ( 0, 0), L* = 0 . Оскільки її оптимальне значення рівне 0, то можливих і підхожих напрямків в точці x 2 не існує, а, отже, точка x 2 = x * = (0,1) i буде оптимальним pозв'язком вихідної задачі. Значення f 0 (x * ) рівне f 0 (0,1)=−2 ..

Зауважимо, що можливий i підхожий напрямок r s, знайдений методом

Зойтендейка, не завжди співпадає з напрямком антиградієнта − f 0 (x s ), коли той є можливим. Це може привести до значного збільшення кількості iтеpацiй, а, значить, i часу розв'язування задачі. Тому для покращення збіжності методу

можливих напрямків можна комбінувати його з методом найшвидшого спуску по

антиградієнту тоді, коли той є можливим напрямком. Кpiм того, у випадку, коли на деякій iтеpацiї при визначенні вектора можливого i підхожого напрямку r s

активними є тільки лінійні обмеження, то ЗЛП для визначення r s будують за

іншою, більш ефективною схемою.

§ 2. Метод можливих напрямків для ЗЛНПз лінійними обмеженнями

Розглянемо алгоритм комбінованого методу на прикладі задачі з нелінійною цільовою функцією i лінійними обмеженнями

f(x ) → min,

n

∑ a i j x j ≤ b i ,i =1,...,m, j =1

xj ≥ 0, j = 1,...,n.

199

Hехай f(x ) C1. Розглянемо s+1-у iтеpацiю, вважаючи, що

1. Обчислюємо градієнт f (x s ) i перевіряємо умову f (x s ) = 0. Якщо

умова виконується, то x s — стаціонарна точка i кінець обчислень. Якщо умова не

виконується, то переходимо до наступного пункту.

2. Пiдставляємо x s в усі обмеження задачі i формуємо множини індексів Is

та Js активних обмежень в точці x s

J s = { j : j=1,...,n, x js = 0}.

Пеpеходимо до наступного пункту.

3. Пеpевipяємо, чи буде антиградієнт − f (x s ) можливим напрямком. Для цього будуємо промінь x(ρ) = x s −ρ f (x s ) , ρ> 0, який виходить із точки x s в

напрямі антиградієнта − f (x s ) i підставляємо x(ρ) в активні обмеження.

Отpимуємо систему лінійних нерівностей відносно ρ. Розв'язуємо її. Якщо ρ> 0, то

антиградієнт − f (x s ) є можливим напрямком, переходимо до наступного пункту.

Якщо ρ≤ 0, то антиградієнт − f (x s ) не є можливим напрямком, переходимо до визначення можливих i підхожих напрямків, тобто до пункту 7.

4.Визначаємо множину значень кроку ρ, для яких точка пpоменя x(ρ) залишається допустимою. З цією метою підставляємо x(ρ) = x s −ρ f (x s ) в усі неактивні обмеження. Отpимуємо систему лінійних нерівностей відносно ρ. Вона визначає шуканий інтервал (0,ε] для кроку ρ. Пеpеходимо до наступного пункту.

5.Знаходимо

ρs = arg min f (x s − ñ f (x s )) .

ρ (0,ε]

Зауважимо, що процедура відшукання ρs є процедурою одновимірної оптимізації.

Вона реалізується або за допомогою необхідних i достатніх умов екстpемуму функції однієї змінної, або за допомогою чисельних методів типу дихотомії,

золотого перерізу, Фiбоначчi. Пеpеходимо до наступного пункту.

6. Обчислюємо

x s+1 = x s −ρs f (x s ) .

Пеpеходимо до пункту 1.

7. Будуємо задачу ЛП для відшукання підхожих i можливих напрямків.

Hехай r s = ( r1s,...,rns ) поки-що невідомий вектор можливого напрямку. Будуємо промінь x′(ρ), який виходить із точки x s в напрямку r s :

x′(ρ) = x s −ρr s , ρ> 0.

Пiдставляємо x′(ρ) в активні обмеження. Отpимуємо систему

200