книги из ГПНТБ / Васильев Ф.П. Лекции по методам решения экстремальных задач
.pdf90 |
|
М И Н И М И З А Ц И Я Ф У Н К Ц И И М НОГИ Х ПЕРЕМЕННЫ Х |
|
|
[Гл. 2 |
|||||
Теперь |
пусть |
у — граничная точка X (рис. |
15). |
Тогда |
сущест |
|||||
вует последовательность {ук}$=Х , ук -->у (k-^-oo). В силу |
доказан |
|||||||||
ного существуют гиперплоскости |
{ск, х) |
— (ск, ук), J |
|= 1, разделя |
|||||||
ющие |
множество |
X и точки ук : (ск, х) |
> (ск, ук) |
при |
всех х £ X. |
|||||
Последовательность {сЛ} имеет хотя бы |
одну |
предельную точку с. |
||||||||
Это значит, |
что некоторая подпоследовательность |
скп -+-с (п ->-оо), |
||||||||
причем |
|с| = 1. Так как (скп, х) |
> { с кп, |
ук/1) при х 6 X, |
то при п ->-оо |
||||||
отсюда получим (с, х) > (с, у) при всех |
х £ Х . Следовательно, |
гипер |
||||||||
плоскость (с, х) — (с, у) = а разделяет X и у, более |
того, |
она |
явля |
|||||||
ется опорной к X в точке у 6 X |
А |
|
|
|
|
|
|
Т е о р е м а |
5. Пусть А п В — два заданных выпуклых множест |
||||||||||
ва в Е п, не имеющие |
общих точек. |
Тогда |
существует |
гипер |
|||||||
плоскость (с, х ) —а, разделяющая эти множества. |
При этом |
если |
|||||||||
А \\В имеют общую граничную точку у, то а = |
(с, у). |
|
|
||||||||
|
Д о к а з а т е л ь с т в о . |
Возьмем |
множество |
Х = А — В. |
По |
||||||
определению х ^ Х тогда и только тогда, когда существуют |
такие |
||||||||||
а е Л |
и Ь ^ В , |
что х = а— Ь. Нетрудно |
видеть, |
что |
X — выпуклое |
||||||
множество. В самом деле, пусть х* = я*— bi^X , |
а ^ А , b ^ B ( i = l , 2 ) . |
||||||||||
Так как Л и В выпуклы, то |
|
|
|
|
|
|
|||||
|
|
а - |
аах + (1 — а) а 26 A, |
b = a b x - f (1 — а) 62 6 В |
|
|
|||||
при |
всех а, Ог^аг^П. |
А |
тогда |
х = а Х ] + ( 1 — а )х 2 = а— Ь ^ Х |
|
при |
|||||
всех |
а, |
O ^ a ^ l . Покажем, что х = 0 |
не является |
внутренней точ |
|||||||
кой X. |
Для этого прежде всего заметим, что О еА |
тогда и только |
|||||||||
тогда, |
когда А и В имеют общую точку ао. Если |
бы 0 еА °, |
то |
||||||||
существовал бы шар |
|х|^б, целиком принадлежащий X, что воз |
||||||||||
можно, если только шар |
|а — ао|=^б принадлежит |
множествам А |
|||||||||
и В. |
Однако А и В не имеют общих внутренних |
точек. Следова |
|||||||||
тельно, |
0 не может быть внутренней точкой X. |
|
|
|
|
S 5] |
Метод |
проекции |
опорных |
функций |
|
|
91 |
||
Тогда |
в силу теоремы 4 |
существует гиперплоскость (с, |
х )= 0 , |
||||||
с ф О, разделяющая множество X и точку г/= 0. |
Это значит, |
что |
|||||||
(с, х ) ^ 0 |
при всех х ^ Х , |
или |
(с, |
а —Ь ) ^ 0, |
или |
(с, а ) ^ ( с , |
Ъ) |
при |
|
всех а ^ А , |
Ь ^ В . Гиперплоскость |
(с, х ) = а , |
где |
а — произвольное |
|||||
число, удовлетворяющее |
неравенству |
inf |
(с, а) > а > sup |
(с, Ь), |
|||||
разделяет |
множества А и В. |
Если у — общая граничная точка А |
|||||||
и В, то inf (с, а) = sup (с, |
Ь) = |
(с, у) = а. |
А |
|
|
- |
|
ав
4.Вернемся к вопросу о существовании опорных функций.
Т е о р е м а |
6. Пусть U — выпуклое |
множество из Е т, имею |
|||||||||||||||
щее внутренние точки (в частности, возможно |
Uz=Em). Для |
того |
|||||||||||||||
чтобы функция J(u ), определенная на U, имела |
опорную |
функ |
|||||||||||||||
цию во всех внутренних точках |
U, необходимо и достаточно, |
чтобы |
|||||||||||||||
J (и) была выпуклой на U. |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Д о к а з а т е л ь с т в о . |
Необходимость |
|
следует |
из |
теоремы |
3. |
|||||||||||
Докажем |
достаточность. Пусть J (и) выпукла на U, и пусть |
v — |
|||||||||||||||
произвольная внутренняя точка множества |
U. В т + 1-мерном про |
||||||||||||||||
странстве |
Em+i= E iX E m |
переменных |
a =( g , |
и1, ..., ит)' = |
(£, |
и) |
|||||||||||
определим множество |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
А = {а — (g, и ) : и € U, g > |
/ (и)}. |
|
|
|
|
|
|
|||||||
Покажем, |
что А выпукло. В самом деле, |
|
пусть |
czi = |
(gb |
|
|
|
|||||||||
а 2 —(£2, М г)еЛ. Из выпуклости U имеем ащ + (1— a )u 2^ U |
при всех |
||||||||||||||||
O ^ a ^ l . Из выпуклости J (и) следует: |
|
|
|
|
|
|
|
|
|
|
|||||||
|
J |
(сшх + (1 — a) ы2) < |
a J (их) - f |
(1 — a) |
J (ы2) < |
|
|
|
|
|
|||||||
|
|
|
< a g x + |
(1 — a) g2, |
0 < а < 1 . |
|
|
|
|
|
|
|
|||||
Следовательно, |
a a i + ( l — а ) а 2^ А при |
всех |
a, |
О ^ аг-П . |
Выпук |
||||||||||||
лость А доказана. Точка a — (J(v), |
и), |
очевидно, |
граничная для А. |
||||||||||||||
Тогда в силу теоремы 4 |
существует |
гиперплоскость |
(с, |
а) = а = |
|||||||||||||
= (с, а), с = |
(vo, |
1о)ф0, |
опорная |
к множеству А в точке а. |
Это |
||||||||||||
значит, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(с, а — а) = |
v0 [g — J (о)] + (/„, u — v ) > 0 |
при всех |
а = |
(g, и) 6 А, |
|||||||||||||
|
|
|
ttef/, g !^ / (и). |
|
|
|
|
|
|
при u = v |
|
|
|
(4) |
|||
т. е. при |
всех |
В |
частности, |
|
имеем |
||||||||||||
v„[g— |
|
|
при всех g^=/(n), что возможно только при Vo^O. |
||||||||||||||
Покажем, |
что v0> 0 . Если бы vo = 0, |
то из (4) |
имели бы (/0, и— v ) ^ 0 |
||||||||||||||
при всех |
u^U . Но v — внутренняя точка |
множества U, и послед |
нее неравенство возможно только при /о=0. Тогда с = (л>о, /о) = 0 , что противоречит условию с ф 0. Следовательно, v o > 0 . Разделим нера венство (4) на v o > 0 . Получим
92 |
М И Н И М И З А Ц И Я |
Ф У Н К Ц И И М НОГИ Х ПЕРЕМЕННЫ Х |
|
[Гл. 2 |
||||
и всех |
|
В частности, при £ = / (гг) |
отсюда вытекает |
|||||
|
J (и) — J (v) > |
^----— , и — v'j при всех и 6 U. |
||||||
Следовательно, |
вектор I = |
------— |
является |
опорным |
к |
J (и) в точ- |
||
ке V. ± |
|
|
|
|
|
|
|
|
На примере функции |
J (и) = |
— У 1 — и1 |
мы уже |
убедились, |
||||
что для существования опорной функции в граничных |
|
точках мно |
||||||
жества |
U выпуклости J (и) на U недостаточно. |
Здесь |
справедлива |
|||||
Т е о р е м а |
7. Пусть U — выпуклое множество из Ет, имеющее |
внутренние точки, 11фЕт. Для того чтобы функции /(гг), опреде ленная на U, имела опорную функцию во всех точках из U, необ
ходимо и достаточно, чтобы J (и) |
была |
|
выпуклой |
на U и для |
||||||||||||
всякой граничной точки а е У |
существовала |
постоянная L = L ( v ) ^ О, |
||||||||||||||
такая, что J (и) |
(и )— L(v) |и— v | при всех « е (/ . |
|
|
J (и) во |
||||||||||||
|
Д о к а з а т е л ь с т в о . |
Н е о б х о д и м о с т ь . |
Пусть |
|||||||||||||
всех |
точка v ^ U |
имеет |
опорный |
вектор l{v). Тогда /(гг) —J ( v ) ^ |
||||||||||||
^ ( l ( v ) , |
и— v) ^ |
— |/(и)||гг— и| при |
всех |
u ^ U |
|
(в |
частности, в |
|||||||||
граничных точках U) и остается |
принять |
|
L(v) = |
\l(v)|. |
Выпук |
|||||||||||
лость /(гг) следует из теоремы 3. |
|
|
|
выпукла на U и для каж |
||||||||||||
|
Докажем достаточность. Пусть /(гг) |
|||||||||||||||
дой |
|
граничной |
точки v |
множества |
U |
существует |
постоянная |
|||||||||
L = L {v), |
такая, |
что / (гг)^ / (и )— Т|гг— v\ |
при всех ггеС/. Сущест |
|||||||||||||
вование опорных функций во внутренних точках |
U следует из тео |
|||||||||||||||
ремы |
6. |
Пусть |
v — граничная |
точка |
U. |
В |
пространстве Em+i |
|||||||||
переменных а= (\ , гг1, ..., гг”) = |
гг) |
рассмотрим два |
множества: |
|||||||||||||
|
|
|
А = |
{а = (е, гг): гг 6 U, |
£ < |
J |
(v) — L |гг — v |} |
|
|
|||||||
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
B = { b = a , u ) :u e U , l > J { u ) ) . |
|
|
|
|||||||||
Покажем, |
что А выпукло. Пусть |
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
#1 — (Eii |
^i)> |
= |
(Ег> |
|
€ •'4> |
|
|
|
|
|||
пусть |
0 < а < 1 . |
В силу выпуклости U тогда |
агг1+ ( 1 — а) гг26 U, a |
|||||||||||||
из |
< |
/ (v) — L |uc— v \ (i = |
1, 2) |
имеем |
|
|
|
|
|
|
|
|
||||
|
° l i + (1 — a ) %2 < J ( v ) — L (а. /«1 — v\ + (1 — а) |гг2 — v |) < |
|||||||||||||||
|
|
|
|
< / (o ) — £|агг1 + (1 — а)гг2— г»|И |
|
|
|
|||||||||
Следовательно, а а 1 + (1 — а) гг2 6 А |
при |
всех |
а, |
О •< а •< 1. |
Анало |
|||||||||||
гично доказывается выпуклость В. |
|
|
|
|
|
|
|
|
|
|
||||||
|
Далее, множества |
А и В не имеют общих внутренних точек, |
||||||||||||||
ибо |
если |
(!, и )^ А , то |
координата |
| ^ / ( о )— А|гг— и|^/(гг) при |
§ 5] |
Метод |
проекции |
опорных |
функций |
93 |
|
всех « е U |
по условию; |
если |
(|, |
и ) ^ В , то |
а точки |
|
(J (и), и) |
являются граничными для |
В. |
Точка a = ( J ( v ) , |
v ) — об |
щая граничная точка множеств А и В. Тогда в силу теоремы 5
существует гиперплоскость (с,а) = ( с , а ) = |
а, с = (vo, lo) Ф 0, разде |
|||||||||||||||||
ляющая множества А и В. Это значит, |
что (с, а ) ^ |
(с, |
а) ^ |
(с, Ь) |
||||||||||||||
при. всех |
а е Л |
и Ь ^ В , или же |
vqI + ( I q, u) ^ |
voJ {v)-\-{lй,v)'^vй■ц-\- |
||||||||||||||
+ (/0, и) при всех |
|
и )е Л |
и |
|
(г\,и)<=В. Отсюда имеем неравен |
|||||||||||||
ства |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
v0 [т] — J |
(и)] < |
(Z0, v — u )< v0 [£ — J |
(о)] |
|
|
|
(5) |
|||||||||
для всех |
u<=U, |
I |
|
— Ь\и— v\, |
r|^zJ(u). |
В |
частности, |
если |
||||||||||
u = v , то из (5) |
следует, что v0[r)— J |
|
|
при всех r\ ^ J(v )t это |
||||||||||||||
возможно только при vo^O. Покажем, |
что vo< 0. Если |
бы vo= 0, |
||||||||||||||||
то из (5) имели бы |
(/о, v-—«) = 0 при всех |
u<=U. |
Это |
равенство |
||||||||||||||
возможно |
только при |
/о = 0, |
ибо U по |
условию |
имеет |
внутренние |
||||||||||||
точки. Тогда |
с = (vo, |
k) = 0 , |
что противоречит условию |
с=Ф0. Сле |
||||||||||||||
довательно, |
vo<0. |
Разделим |
неравенства |
(5) |
на v0< 0 . |
Будем |
||||||||||||
иметь Л — |
|
|
— , и — |
|
при |
'всех |
u ^ U |
|
и |
’ r|^ J ( u ) . |
||||||||
В частности, |
при г] = /(гг) |
отсюда вытекает |
|
|
|
|
|
|
|
|||||||||
|
|
|
J (и) — J (и) > |
^-----— , и —•~о^~и 6 U. |
|
|
|
|
||||||||||
Это значит, что вектор /.= |
-----— |
является |
опорным |
к |
J |
(v) |
в точ- |
|||||||||||
ке V. А |
|
|
|
|
|
|
^0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5. |
В заключение этого параграфа остановимся на связи меж |
|||||||||||||||||
понятиями непрерывности |
и |
выпуклости |
функций. |
|
Существуют |
|||||||||||||
выпуклые |
функции |
(например, |
J ( u ) = u 2 |
при |
и сО , |
/(0) = 1 на |
||||||||||||
U= {и: 1/ ^ 0}), |
терпящие |
разрыв в |
граничных точках |
множества. |
||||||||||||||
Однако можно показать (см., [39, 269]), |
что |
если U — |
выпуклое |
|||||||||||||||
множество из Ет с внутренними точками, то выпуклая на U функ |
||||||||||||||||||
ция /(и) непрерывна |
во всех |
внутренних |
точках множества U и, |
|||||||||||||||
более того, она обладает |
|
градиентом |
/'(и) |
почти |
всюду |
на U: |
||||||||||||
Здесь ограничимся доказательством |
менее |
тонких |
|
результатов, |
||||||||||||||
справедливых, однако, как увидим |
ниже, |
и в бесконечномерных |
||||||||||||||||
пространствах. |
|
3. Функция /(и) , заданная на некотором мно |
||||||||||||||||
О п р е д е л е н и е |
||||||||||||||||||
жестве U, |
называется |
полунепрерывной |
снизу |
[сверху] в "точке |
||||||||||||||
u^.U, если для любой последовательности |
{«;г}е £ / , uk-+u(k-*oo) |
|||||||||||||||||
имеет место соотношение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
lim J |
(uk) > |
J |
(и) |
|
'[Н т/(иА) < /(«)]. |
|
|
|
|
k —>oo |
' |
/г-» о о |
94 |
М И Н И М И З А Ц И Я |
Ф У Н К Ц И И М НОГИ Х П ЕРЕМЕННЫ Х |
[Гл. 2 |
||
|
Как известно |
из классического анализа, для непрерывности |
|||
J (и) |
в точке u ^ U |
необходимо и достаточно, чтобы |
|
||
|
|
|
lim J |
(uk) — lim / (uk) = J (и) |
|
|
|
|
ft^ |
ft-»00 |
|
для любой последовательности {«/ Jet/ , Щс+и(k-^oo) . |
|
||||
|
Т е о р е м а |
8. |
Пусть J (и) выпуклая функция на |
выпуклом |
|
множестве U. |
Если в точке у е (7 функция J (и) имеет |
опорную |
функцию, то она полунепрерывна снизу в этой точке. Если, кроме
того, J (и) ограничена |
сверху в некоторой окрестности точки о, то |
||||||||||||||
она непрерывна в точке v. |
|
|
|
|
|
|
|
|
|
|
|||||
Д о к а з а т е л ь с т в о . |
Пусть {«/J |
— произвольная |
последо |
||||||||||||
вательность, такая, |
что |
« set/ |
(/е = 0, |
1, ... ) и uh-+v (/е-э-оо)*-. |
Так |
||||||||||
как J(u k)J^sJ{v) +•(/, |
«ft— о), то. |
Иш J |
(uk) > J ( v ) . |
Далее, |
по |
ус- |
|||||||||
|
|
|
|
|
|
|
|
k - * o o |
|
|
|
|
|
|
|
ловию |
существует |
постоянная б > 0 , что |
J(u)^ZC |
для всех |
« et/ , |
||||||||||
Jи— v |<;5. Поэтому с учетом в'ыпуклости /(«) |
имеем |
|
|
|
|||||||||||
|
|
J ( “ k) = « М 0 — a )v + a ^ v — -^-(о — « * )^ < |
|
|
|
||||||||||
< |
(1 — a) J |
(о)--- аJ |
----- — (v — «й)^ |
(1 — a ) J (и) -f а С |
|
||||||||||
для всех а, |
0 < а < 1 , |
и всех номеров /г, |
лишь |
бы |
— \v — мл| < б . |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
(X |
|
|
|
Отсюда |
1 im J (uk) < |
(1 — а) J |
(v) -j- аС при |
всех |
а, |
0 < а < |
1. |
Сле- |
|||||||
довательно, |
здесь |
можно |
положить |
а -ь -| -0 , |
тогда |
получим |
|||||||||
lim J («*) < |
J(v). |
Из |
полунепрерывности |
функции |
сверху |
и |
снизу |
||||||||
k —*x > |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
вытекает ее непрерывность. ^ |
|
|
|
|
|
|
|
|
|||||||
Упражнения. |
1. |
Если «о — внутренняя точка |
выпуклого мно |
||||||||||||
жества |
U и v — произвольная |
точка |
из |
замыкания U, то |
точки |
||||||||||
«а = о + а(ы0— v) |
при всех |
а, |
0 < а < ;1 , |
будут внутренними точками |
|||||||||||
U. Доказать. |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
У к а з а н и е . |
|
Если шар |
|и— ы0| ^ б |
принадлежит U, |
то |
шар |
|||||||||
|«— «а|<^.аб также е1/. |
|
|
|
|
|
|
|
|
|
|
|||||
2. |
|
Доказать, |
что если А и В — два выпуклых замкнутых м |
жества, не имеющие |
общих точек, и хотя бы одно из них' ограни |
||||
чено, то существует |
гиперплоскость |
(/, х) = « , |
строго |
разделяю |
|
щая их, т. е. |
(/, й)^< а < а + & ^ (/, а) |
при всех а е Л , |
и неко |
||
тором е > 0 . |
Верно ли это утверждение, если |
оба множества не- |
|||
ограничены? |
|
|
|
|
|
S 5] |
Метод проекции |
опорных функций |
|
95 |
||
3. Пусть |
точки |
щ(1 = 0, |
1, . . . , гп) |
таковы, |
что |
векторы |
щ— u0(i = 1, . 2, . . . , m) |
линейно |
независимы. |
Образуем множество |
|||
|
m |
|
|
|
m |
|
S = |
ЩЩ ПРИ всевозможных |
щ > 0 , |
^ щ = |
l j, |
||
|
i= 0 |
|
|
|
i=0 |
|
называемое выпуклой оболочкой множества точек «о,. . . , ит, или симплексом, натянутым на эти точки. Доказать, что 5 — выпук лое множество, и точка u0^ S является внутренней точкой 5 в пространстве Ет тогда и только тогда, если
|
т |
|
т |
ы0 |
— V aiUi при |
> |
0, V ос; = 1. |
|
£=0 |
. |
i= 0 |
Доказать, что если |
точки и0, . . . , |
ит принадлежат некоторому вы |
|
пуклому множеству U, то симплекс 5с=Д. |
4. Точка uq является внутренней точкой выпуклого множества
Uc^Em тогда и только тогда, если равенство |
(I, и— ы0) = 0 при всех |
u ^ U может выполняться только при /=0, |
т. е. выпуклое множе |
ство с внутренними точками не может лежать ни в одной гипер плоскости в Ет. Доказать.
|
У к а з а н и е. |
Доказать |
существование точек |
ии . . . , |
um^ U , |
||||||||||
Для которых |
векторы и\— и0, . . . , |
ит— и0 линейно |
независимы, и |
||||||||||||
воспользоваться упражнением 3. |
|
|
|
|
|
|
|
||||||||
|
5. |
Выпуклое множество |
UczEm не имеет внутренних точек тог |
||||||||||||
да |
и |
только |
тогда, |
если |
существует |
вектор /=Ф0 |
такой, что |
||||||||
(/, |
и— «0) = 0 |
при всех ие(/, |
т. е. множество U лежит в некоторой |
||||||||||||
гиперплоскости (точку и0 можем |
считать принадлежащей |
U). |
|||||||||||||
U, |
6. Пусть /(и) — выпуклая функция на выпуклом множестве |
||||||||||||||
пусть (i+ e/ eU |
при всех |
е, 0 ^ е < Е 0. Доказать, |
что J (и) имеет |
||||||||||||
производную по направлению 1\ |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
d J |
(и) __ |
|
J |
{u + |
&l) — J |
(и) |
|
|
|
|
|
|
|
|
|
dl |
e-H-0 |
|
8 |
|
|
|
|
|
||
где |
|/|= 1. |
Доказать |
[199], |
что |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
d J (и) |
|
sup |
( с , |
I ) , |
|
|
|
|
|
|
|
|
|
|
|
dl |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
с £М( и) |
|
|
|
|
|
|
||
где М (и )— множество всех опорных к |
J |
(и) |
векторов в точке и. |
||||||||||||
|
7. |
Найти все опорные векторы для функций: a) J (и) — \и— 1 1+ |
|||||||||||||
+ |и+1|, |
и ^ Е г\ б) |
/ (и1, и2) = |
|и1— ы2|;— |и1 + |
иа|; |
в) |
J{u) = |
|||||||||
— шах {и2; и - f |
2}, |
и £ Е г. |
|
|
|
|
J(u }i ui) = |
|
|и1 -f- иЧ I. |
||||||
|
8. |
Найти |
все |
опорные |
векторы для |
sup |
96 |
М И Н И М И З А Ц И Я Ф У Н К Ц И И М Н О ГИ Х ПЕРЕМ ЕННЫ Х |
|
[Гл. 2 |
|
9. |
Описать метод проекции опорных функций для. задачи |
|||
нимизации функции |
|
|
|
|
J |
(а1, и2) = шах 112 -i- иЧ + u21 при 0 < |
u‘ < 1 (i = |
|
1, 2). |
|
K|«l |
|
|
|
10. |
Как нужно доопределить функцию |
J (и) = |
1 |
в точке |
|
||||
|
|
1 + |
е х>и |
и = 0, чтобы она стала полунепрерывной снизу?
11. Пусть J |
(и) определена, конечна и полунепрерывна |
снизу |
||
в каждой |
точке |
замкнутого ограниченного |
множества U a E m. |
|
Доказать, |
что тогда /(гг) ограничена снизу на |
U и достигает |
на U |
своей точной нижней грани.
§ 6. МЕТОД УСЛОВНОГО ГРАДИЕНТА
Рассмотрим один метод, пригодный для минимизации функ ции на ограниченном множестве. А именно пусть U — ограничен ное выпуклое замкнутое множество в 'Ет, и пусть задана функция /(гг) е С (U ) . В качестве начального приближения возьмем неко торую точку Если известно /г-е приближение ггп, то прира щение функции /(гг) в точке ип представимо в виде
J (гг) — / (гг„) = (/' (гг„), гг — и„) + о ( |гг —
Возьмем |
главную |
линейную |
часть этого приращения /„ (гг) = |
|
s= (/ '(гг„), |
и — гг„) |
и определим |
вспомогательное приближение |
ип из |
условия |
|
|
|
|
|
/„(гг„) = тт / „(гг) |
= ппп(/'(гг„), гг — гг„). |
(1) |
|
|
|
(ISC/ |
u £ U |
|
Так как множество U замкнуто и ограничено, а линейная функ
ция /„(гг) непрерывна, то такая точка гг„е1/ существует. Сразу же заметим, что
|
min /„ (гг) — /„ (гг„) |
/„ (гг„) |
0. |
|
|
|||
|
|
и |
|
|
|
|
|
|
Если |
окажется, |
что |
/п(ггп) = 0 , |
то |
с |
учетом |
(1) |
имеем |
(/'(ггп), |
гг— ггп) ^ 0 |
при всех гге£/. Согласно |
теореме 1.3 это озна |
|||||
чает, что ип удовлетворяет необходимому |
условию |
минимума. |
||||||
В этом |
случае итерации |
прекращаются, |
и |
для выяснения |
того, |
|||
будет ли ип точкой минимума /(гг) на U, |
нужно дополнительно |
|||||||
исследовать поведение функции в окрестности этой точки. В |
част |
ности, если /(гг) выпукла на U и /„(гг„)=0, то ип в самом деле будет точкой минимума. В дальнейшем будем предполагать, что
§ 6} Метод условного градиента 97
J n (un) < 0. Тогда заведомо ипф и п, и в качестве следующего приб лижения ип + 1 принимаем
«л+1 = и „ + а„(ы „ — |
и„), |
0 < . а „ < 1. |
(2) |
|
В силу выпуклости |
множества U |
точка |
un+i<=‘U. |
В зависимости |
от способов выбора |
величины а п в |
(2) можно получить различные |
варианты описанного'метода, именуемого в литературе методом условного градиента [35, 82, 97, 155, 229] и др. Рассмотрим неко торые из них.
1. Пусть а„ в (2) выбирается газ условия [97, 229]
gn К ) =m in gn(a), gn(а) = J (ип + а (йп— «„)). |
(3) |
0<а<1 |
|
Для определения ап могут быть использованы методы гл. 1. При
таком |
выборе |
а п |
последовательность |
{/ («„)} |
не возрастает, |
так |
|||||
как |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J (««) = |
ёп (0) > |
gn К ) |
= J (u„+i). |
|
|
|||
Т е о р е м а |
1. |
Пусть |
U — |
замкнутое выпуклое ограниченное |
|||||||
множество из Ет, |
пусть / (ы )е С ‘ (Д) |
и градиент /'(и) |
удовлетво |
||||||||
ряет |
условию |
Липшица: |
\J'(u)— /'(и) |.5g;L|a— v\ |
при |
всех |
||||||
и, к е !/ , |
L — const>0. Пусть |
«о — произвольная начальнаяточка |
|||||||||
из U и |
последовательность |
{«„} определена |
согласно |
условиям |
(1)— (3). Тогда
|
|
h (йя) = |
(J' (и„), ип— «„)-> 0 |
(п |
оо). |
_ |
|
||
|
Если, кроме того, |
J (и) выпукла на |
U, |
то последовательность |
|||||
К } |
является |
минимизирующей |
и любая |
ее предельная |
точка |
||||
будет точкой |
минимума J (и) на |
£/, причем |
в |
случае |
единственно |
||||
сти точки минимума к ней сходится вся |
последовательность |
{ип}. |
|||||||
Справедлива оценка |
|
|
|
|
|
|
|
||
|
0 < a n = J(u n) ~ J ( u t) < ^ ~ , |
n = l , 2 , . . . , |
|
(4) |
|||||
|
|
|
|
п |
|
|
|
|
|
где и* — точка минимума J (и) на U, а С — постоянная, незави |
|||||||||
симая от п, С > 0. |
|
|
|
|
|
|
|
||
|
Если, кроме того, |
У (ы) сильно выпукла на U, то |
|
|
|||||
|
|
К - « Т < — , « = 1 , 2 , |
|
|
|
|
|||
|
|
|
ш |
|
|
|
|
|
|
где |
х = const> 0 из (1.11). |
|
|
|
|
|
|
||
|
Д о к а з а т е л ь с т в о . Обозначим D = |
sup |и— v |— диаметр мно- |
|||||||
|
|
|
|
и.ибС/ |
|
|
|
4 Ф. П. Васильев
98 |
|
М И Н И М И З А Ц И И Ф У Н К Ц И И МНОГИ Х |
ПЕРЕМЕННЫХ |
|
[ Г л . 2 |
||||||||
жества U. По условию множество U ограничено, поэтому |
оо. |
||||||||||||
Так как J |
(un+i) = gn (ап) < g n (a) = - J (u„ + |
а («„ — и,,)) при |
всех а , |
||||||||||
0 < а < 1 , |
|
то, пользуясь неравенством (1*18)- |
при v = un, |
и = и п + |
|||||||||
■+ а («л — ип), |
получим |
|
|
|
|
|
|
|
|
|
|||
J («я) — J |
(«*+0 > |
|
— “ (/' («„), иа — «„) — у |
L |ип— и„ |2 > |
|||||||||
|
>я|Л>(«„) I---| - L D 2, 0 < а < 1 , |
п = |
0, 1, ... |
(5) |
|||||||||
Отсюда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
О < |/„(й„) I < |
42- LD2 + |
|
а |
|
|
|
||||
при всех |
а, 0 < а ^ 1 |
и д = 0 , |
1,.... |
Так как /(«,,) не возрастает и |
|||||||||
/(гг„) $ s / * > — оо, то |
|
{/(ип)} |
|
сходится и /(гг„)— /(un+i)-^0 при |
|||||||||
«•-*-оо. Поэтому, переходя в предыдущем |
неравенстве |
к |
пределу |
||||||||||
при л-»-оо, |
будем иметь |
|
|
|
|
|
|
|
|
||||
|
|
|
О < П т |J n(й„) |< |
П т |/„ (йя) |< |
-5- LD2 |
|
|
||||||
|
|
|
П-»оо |
|
|
|
|
|
|
2 |
|
|
|
при всех а , |
0 < а < 1 . |
Отсюда |
при |
ос->~-|-0 |
получим, |
что предел |
|||||||
Нш J n (и„) |
существует и равен |
нулю. |
|
|
|
|
|
|
|||||
П-+оа |
|
|
|
|
|
|
|
|
|
|
|
|
|
Пусть теперь /(и) |
выпукла на U и и* |
— точка минимума J (и) |
|||||||||||
на U. Тогда с помощью неравенства |
(1.9) |
и условия (1) |
получаем |
||||||||||
|
|
О < ап = |
J |
(и„) — J |
(и) < |
(/' (и„), и„ — гг*) = |
|
|
|||||
|
|
|
= — У„(гг*)< — 7„(гг„), /г = |
0, |
1, . . . |
|
(6) |
Это неравенство может служить хорошей апостериорной оценкой
при практическом использовании метода |
(1)— (3). |
|||
Так как |
/ п (ип)-^-0 |
при п-*-оо, то |
из |
(6) имеем J (ип)—*- |
/ (гг*)= / *, |
т. е. {ип} |
— минимизирующая |
последовательность. |
Из непрерывности /(гг) следует, что любая предельная точка по следовательности {гг„} является точкой минимума /(гг) на U. В случае единственности точки минимума гг* вся последователь
ность {ггп}->-гг*. |
_ |
|
|
|
|
|
Докажем оценку (4). Так как /„(ггя)->-0 |
при_/г-»-оо, то |
най |
||||
дется |
число гг0 > 1 ,. такое, что величина а |
— * |
^ |
■ будет |
удов |
|
летворять неравенству 0 < а < Н |
при всех |
/ г> п 0. |
Тогда максималь |
|||
ное |
значение функции а \J п (ип) ) ------у - |
LD- |
переменной а |
при |
§ Я |
Метод условного градибнта |
99 |
— оо < а < оо, которое достигается при а — а., будет совпадать с максимальным значением этой функции на отрезке 0 < а < 1 при всех п > п 0. Поэтому, полагая в оценке (5) а = а , получим
|
О-п |
&п+\ — J |
fan) |
|
J |
{Цп+\) |
|
|J п fan) Р> П > П 0. |
|
|
Отсюда и из |
неравенств (6) |
следует |
|
|
|
|||||
|
|
|
|
a n — |
fl/H-i > |
|
п > п о • |
(7) |
||
Так как а п> |
0 (если а„ = |
0, |
|
то ил — точка минимума), то с помощью |
||||||
леммы 1.2 из |
(7) |
имеем ап< |
|
2LD2 |
1) |
при всех п^>п0. Для |
по- |
|||
|
--------(п0 + |
|||||||||
|
|
|
|
|
|
|
ft |
принять С = шах {2LD2; а0} х |
||
лучения |
оценки |
(4) |
теперь остается |
|||||||
х (по + |
!)• |
|
|
|
2G |
|
|
|
|
|
Оценка I ип— |
|
|
|
п = 1 , 2 , . . . |
для сильно выпуклых |
|||||
|
-----, |
юг
функций является следствием неравенства (1.15) и оценки (4). А
2.Рассмотрим еще один вариант метода условного градиен
когда а,г в (2) выбирается из условия [82]
J |
(«„) — J (ы„ + «„ (ия — «„)) > |
еа„ | (ая) |, 0 < а„ < 1, |
(8) |
где е — |
параметр алгоритма, 0 < & |
< 1 . Ниже будет показано, |
что |
при некоторых ограничениях на функцию такой выбор а„ возмо
жен. |
На практике сначала берут ап = 1 |
и проверяют условие |
(8). |
||||
Если |
оно |
выполнено, |
то оставляют |
ап= 1 . |
Если |
же |
(8) |
при ап= 1 |
не выполнено, |
то производят |
дробление а„ до |
тех |
пор, |
пока не выполнится (8), стараясь при этом остановиться на зна
чении а п, по возможности близком к единице. |
|
|||||
Т е о р е м а |
2. Пусть U — замкнутое ограниченное |
выпуклое |
||||
множество в |
Em> |
J (и) <=С‘ {U) |
и |
[/'(и)— /'(к) |
v\, |
|
и, |
L = const>0. |
Тогда можно построить последовательность |
||||
{««}> |
удовлетворяющую условиям |
(1), |
(2), (8), для которой |
Jn (йя) = (J' (иа), йп — ип) ^ 0 (л-»-оо).
Если, кроме того, /(и) выпукла на U, то последовательность {«„} является минимизирующей и любая ее предельная точка будет точкой минимума /(и) на U, причем в случае единственности точ ки минумума к ней сходится вся последовательность {«„}. Спра ведлива оценка
0 < а п = /(ия) - / * « - 5 - ( л = 1 , 2 , . . . ) , |
(9) |
4: