Text
                    ОПТИМИЗАЦИЯ
И ИССЛЕДОВАНИЕ
ОПЕРАЦИЙ
В.Ф. ДЕМЬЯНОВ
В. Н. МАЛОЗЕМОВ
Введение
в минимакс


ОПТИМИЗАЦИЯ И ИССЛЕДОВАНИЕ ОПЕРАЦИЙ Редактор серии И. И. МОИСЕЕВ ИЗДАТЕЛЬСТВО «НАУКА» ГЛАВНАЯ РЕДАКЦИЯ ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ МОСКВА 1972
Β. Φ. ДЕМЬЯНОВ, В. Η. МАЛОЗЕМОВ ВВЕДЕНИЕ В МИНИМАКС ИЗДАТЕЛЬСТВО «НАУКА» ГЛАВНАЯ РЕДАКЦИЯ ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ МОСКВА 1972
Б17.2 ДЗО УДК 517^5 Введение в минимакс. В. Ф. Демьянов, В. Η. Μ а л о з е м о в, Главная редакция физико-математической литературы изд-ва «Наука», 1972, стр. 368. Минимакс (минимизация максимального уклонения) — принцип оптимального выбора параметров. В первых двух главах книги рассматривается простейшая (и исторически первая) линейная минимаксная задача — построение алгебраического полинома наилучшего приближения. В остальных четырех главах развивается общая теория нелинейных минимаксных задач. Отдельно рассматриваются дискретный и непрерывный случаи, отсутствие и наличие ограничений на параметры. Основные вопросы: дифференцируе- мость функции максимума по направлениям, необходимые условия минимакса, достаточные условия локального минимакса, методы последовательных приближений для нахождения стационарных точек. Большое количество примеров и рисунков иллюстрируют основные результаты теории. Книга рассчитана на студентов и аспирантов физико-математических факультетов и широкий круг научных работников и инженеров, интересующихся экстремальными задачами. Библ. 86 назв. Илл. 37. Владимир Федорович Демьянов, Василий Николаевич Малоземов ВВЕДЕНИЕ В МИНИМАКС М., 1972 г., 368 стр. с илл. Редакторы Я. /С. Даугавет и Λί. Λί. Горячая Техн. редактор Я. Ш. Аксельрод Корректоры О. А. Сигал, Л. Я. Боровика Сдано в набор 6/ΙΧ 1971 г. Подписано к печати 2/11 1972 г. Бумага 84Х I08'/s2, тип. № 2. Физ. печ. л. 11,5. Условн. печ. л. 19,32. Уч.-изд. л. 18,26. Тираж 15 000. Т-01537. Цена книги I р. 35 к. Заказ № 1319. Издательство «Наука» Главная редакция физико-математической литературы. Москва, В-71, Ленинский проспект, 15. Ордена Трудового Красного Знамени Ленинградская типография № 2 имени Евгении Соколовой Главполиграфпрома Комитета по печати при Совете Министров СССР. Измайловский проспект, 2Э, 2-2-3 160-72
ОГЛАВЛЕНИЕ Предисловие - 7 Глава I. Дискретная задача наилучшего приближения функций алгебраическими полиномами 13 § 1. Постановка задачи 13 § 2. Чебышевская интерполяция 14 § 3. Общая дискретная задача. Алгоритм Валле-Пуссена 26 § 4. /^-алгоритм 34 § 5. Сведение к задаче линейного программирования ... 38 Глава П. Непрерывная задача наилучшего приближения функций алгебраическими полиномами 45 § 1. Постановка задачи 45 § 2. Теорема Чебышева. Полиномы Чебышева 46 § 3. Предельные теоремы 52 § 4. Метод последовательных чебышевских интерполяций Ремеза 55 § 5. Метод сеток 60 § 6*. О поведении коэффициентов полиномов наилучшего приближения 63 Глава III. Дискретная минимаксная задача 68 § 1. Постановка задачи 68 § 2. Свойства функции максимума 69 § 3. Необходимые условия минимакса 77 § 4. Достаточные условия локального минимакса. Некоторые оценки 86 § 5. Метод покоординатного спуска. Метод наискорейшего спуска. Отрицательные примеры 94 § 6. Первый метод последовательных приближений ... 106 § 7. ε-стационарные точки. Второй метод последовательных приближений 117 § 8. D-функция. Третий метод последовательных приближений 126 § 9. Заключительные замечания 137 Глава IV. Дискретная минимаксная задача с ограничениями на параметры 144 § 1. Постановка задачи 144 § 2. Необходимые условия минимакса 145 § 3. Геометрическая интерпретация необходимых условий 149 § 4. Достаточные условия локального минимакса при наличии ограничений 156 § 5. Некоторые оценки 160 § 6. Метод последовательных приближений для нахождения стационарных точек . . ·. 164
6 ОГЛАВЛЕНИЕ Глава V. Обобщенная задача нелинейного программирования 172 § 1. Постановка задачи 172 § 2. Свойства множеств, определяемых неравенствами . . 172 § 3. Необходимые условия минимакса 183 § 4*. Зависимость направления спуска от способа задания множества Ω 188 § 5. Множители Лагранжа и теорема Куна — Таккера . . 194 § 6. Первый метод последовательных приближений ... 199 § 7. Нахождение (е, ц)-квазистационарных точек. Второй метод последовательных приближений 210 § 8. Метод наискорейшего спуска. Случай линейных ограничений 214 § 9. Случай нелинейных ограничений. Способы корректировки направлений 220 § 10. Метод штрафных функций 225 § 11. Заключительные замечания 229 Глава VI. Непрерывная минимаксная задача 232 § 1. Постановка задачи 232 § 2. Основные теоремы 232 § 3. Геометрическая интерпретация необходимого условия минимакса. Некоторые следствия 241 § 4. О сходимости сеточного метода 253 § 5. Частный случай теоремы о минимаксе 267 § 6*. Разыскание седловых точек на многогранниках .-. . 273 § 7. Наилучшее приближение функций нескольких аргументов обобщенными полиномами 283 § 8. Наилучшее приближение функций, заданных на отрезке, алгебраическими полиномами 291 Приложение I. Алгебраическая интерполяция 297 § 1. Разделенные разности 297 § 2. Интерполяционные полиномы . 300 Приложение II. Выпуклые множества и выпуклые функции 304 § 1. Выпуклые оболочки. Теорема' отделимости 304 § 2. Выпуклые конусы 311 § 3. Выпуклые функции 319 Приложение III. Непрерывные и непрерывно дифференцируемые функции 322 § 1. Непрерывные функции 322 § 2. Некоторые равенства и неравенства для непрерывных функций 323 § 3. Непрерывно дифференцируемые функции 327 Приложение IV. Нахождение ближайшей к началу координат точки многогранника. Итеративные методы .... 335 Добавление. О задаче Мандельштама . 357 Комментарии и библиография 361 Литература . 364
ПРЕДИСЛОВИЕ 1. Минимакс — это один из принципов оптимального выбора параметров. Сущность этого принципа легко объяснить на примере обработки эмпирических-данных. Пусть задана таблица значений некоторой функции: %-*(<*). ks[0iN]. (1) Требуется выбрать среди всех алгебраических полиномов - η Рп{А, /) —2а/, где Л = (а0, ..., ап), такой алгебраи- ческий полином Рп(А*> t), который достаточно хорошо аппроксимирует таблицу (1). Понятие «достаточно хоро- шо» требует уточнения. Будем искать полином Рп (Л*, tj, у которого максимальное уклонение max \Ук — рп(А\ tk)\ k<=[0:N) минимально среди максимальных уклонений всех других алгебраических полиномов Рп{А, /): max \yk — Pn(A\tk)\ = m\n max \ук — Рп(А, tk)\. k&[Q:N] {A} k<s[0;N] Полином Рп(А*, t) называется полиномом наилучшего приближения таблицы (1) в чебышевском. смысле. Инаяе можно сказать, что А* есть решение следующей минимаксной задачи: max \ук — Рп(А, ^)|-*min. k^[0:N) {A} Разумеется, вместо Рп{А> t) можно взять любое другое параметрическое семейство функций Q(X, t), где ^ = (^ι> ...» хп)> причем на вектор параметров X может быть наложено ограничение: Χ <ξ Ω, где U — множество в Еп. Тогда, решая минимаксную задачу max \yb — Q(X,tk)\-+min,
В ПРЕДИСЛОВИЕ найдем вектор Χ*^Ω такой, что Q(X*, t) наилучшим (в чебышевском смысле) образом аппроксимирует таблицу (1) среди всех других функций Q(J, /)> ΛΓ^Ω. Минимакс — не единственный принцип оптимального выбора параметров. В той же задаче об обработке эмпирических данных наилучшим полиномом можно считать полином Рп{А, /), у которого минимальна сумма квадратов уклонений, т. е. ■ S (yk - Рп (Л, tk)f = min Σ iyk - Ρ η (Λ tk)f. *=0 {A} A=0 Вопрос о выборе принципа оптимизации зависит от характера задачи и требований, предъявляемых к ее решению. Оставляя этот вопрос в стороне, заметим лишь, что минимаксное решение в некоторых случаях обладает замечательным характеристическим свойством — наличием альтернанса. В задаче об аппроксимации это означает, что существуют (п + 2) узла ίίο<ίί{< ... <tin+l (их количество на единицу больше, чем размерность вектора параметров А), в которых разность yik — Рп(А*, tik) достигает максимального по абсолютной величине значения с последовательной переменой знака. Приведем еще два примера минимаксных задач. ЗадачаМандельштама. Пусть X = (х{,..., хп) и F(X,t) = 2 cos (kt + **) Среди всех X s En требуется найти вектор X* такой, что max F{X\ t) = min max F{X, t). *e[0, 2π1 {Χ} <s[0, 2π] Эта задача возникает в теории электрических цепей. Матричные игры. Пусть задана вещественная /ηχη-матрица А = {а,7}, i е [1 :/п],/е=[1 :я]. Пусть, далее, Тя=*{х=*(х{, ..., xn)\xt>0, 2^==lj,
ПРЕДИСЛОВИЕ 9 Требуется найти векторы ГеГ„иУ*е Gm, для которых max {ΑΧ*, Y) = min max (ЛJ, У), min (AX, Г) = max min (ЛХ, У). В книге рассматривается минимаксная задача общего вида maxF(X, У)-*min, (2) где Ω — выпуклое замкнутое множество в Eni a G — ограниченное замкнутое множество в Ет. Если функция F(X, Y) линейна по X при каждом фиксированнОхМ Υ е G, а множество Ω задается с помощью линейных равенств и неравенств, то исходная задача (2) называется линейной минимаксной задачей. В противном случае задача называется нелинейной. В зависимости от того, будет ли ΩΦΕη или Ω=£η, говорят о минимаксной задаче с ограничениями или без ограничений. Переменная X называется параметром. Имеются три основные идеи, которые могут быть использованы для решения минимаксных задач. I. Поиск экстремального базиса. Пусть функция F(X, Y) выпукла по X на Ω при каждом фиксированном FeG. Тогда на G можно найти г точек Y{,..., Кг, где 1^г^^+1> таких, что исходная минимаксная задача (2) равносильна следующей задаче: max F (Χ, Υ) -> min, (3) где Gr = {Y{, ·.., Yr}. Множество Gr называется экстремальным базисом. Если экстремальный базис известен, то, решая обычно простую задачу (3), получим решение и исходной задачи (2). II. Минимизация функции максимума. Положим y(X) = maxF (J, Y). ysG Тогда исходная задача (2) равносильна задаче минимизации функции φ(Χ) на Ω. III. Нахождение седловой точки. Точка [Χ*, Υ*] называется седловой точкой функции F(X, Y) на множестве
К) ПРЕДИСЛОВИЕ QXG, если F(X\ Y)^F(X\ Г) </?(*, Г) для всех ΙεΩ и FeG. Допустив, что у функции/7^, Y) существует седловая точка [Х*9 Y*] на Ω Χ G, будем иметь min maxF{X> Y) = F{X\ Г) = тах minF(X9 Y). Таким образом, в рассматриваемом случае минимаксная задача (2), а также двойственная к ней задача min/7^, У)-*тах, сводятся к задаче об отыскании седловой точки. Первая идея принадлежит П. Л. Чебышеву. В настоящее время она наиболее полно разработана для одномерных задач аппроксимации. Вторая идея очень проста. В. последние года она получила значительное развитие благодаря установлению при естественных предположениях дифференцируемое™ функции максимума по всем возможным направлениям. Третью идею естественно связывать с именем Дж. фон Неймана. Она используется для решения игровых задач. 2. Переходим к изложению содержания книги по главам. Первые две главы посвящены задаче наилучшего в чебышевском смысле приближения функций алгебраическими полиномами (глава I—дискретный случай, глава II —* непрерывный случай). Изложение строится на основе чебышевской интерполяции. Это дает возможность весьма быстро получить все основные результаты чебышевской теории и попутно — методы для нахожде^ ния полиномов наилучшего приближения. Трудности, связанные с переходом от дискретного случая к непрерывному, весьма незначительны. Задача наилучшего равномерного приближения функций является простейшей (и исторически первой) линейной минимаксной задачей. В третьей главе рассмотрена нелинейная минимаксная задача без ограничений на параметры (дискретный случай). В простейшей ситуации устанавливаются основные результаты минимаксной теории: дифференцируе- мость функции максимума по направлению, необходимые условия минимакса, достаточные условия локальногр
Прёдислоёйё И минимакса. Много внимания уделяется методам последовательных приближений для нахождения стационарных точек функции максимума φ(Χ). Те же вопросы, но при наличии выпуклых ограничений рассмотрены в главах IV и V (дискретный случай). В шестой главе осуществляется переход от дискретного случая к непрерывному. Следует отметить, что наиболее принципиальной является третья глава. В книге имеются четыре приложения, содержащие весь вспомогательный материал. Ссылки на литературу в основном тексте отсутствуют. В конце книги помещен раздел «Комментарии и библиография», в котором даются исторические справки и литературные ссылки. 3. Авторы пользуются индуктивным методом изложения (вначале рассматриваются частные случаи минимаксных задач, а . потом — более общие). На это есть две причины. Во-первых, книга предназначена для первоначального знакомства с предметом. Во-вторых, некоторые частные случаи имеют специфику, которая при изложении требует больше места, чем то, что рледует из общих теорем. Так обстоит дело с полиномиальной аппроксимацией и с методами решения дискретных минимаксных задач. Поэтому мы предпочли вначале рассмотреть частные случаи вместе со всей их спецификой, а затем уже перейти к общей теории. 4. Книга состоит из трех практически независимых частей: главы I и II — полиномиальная аппроксимация; главы III — V — дискретные минимаксные задачи и нелинейное программирование; глава VI —основные результаты минимаксной теории в общей формулировке и их приложения. Звездочкой отмечены те параграфы и пункты в параграфах, которые при первом чтении можно опустить. Параграфы нумеруются независимо внутри каждой главы. При ссылках на формулы, леммы и теоремы внутри главы номер главы не указывается. Поясним, наконец, смысл двух обозначений: = —равно по определению, [О : Ν] — множество целых чисел от нуля до N включительно.
12 ПРЕДИСЛОВИЕ 5*. Эта книга является результатом четырехлетней работы авторов. Отметим, что все главы и параграфы писались авторами совместно. Сейчас, когда работа над книгой закончена, мы благодарим всех, кто оказал нам дружескую поддержку и помощь. Прежде всего мы благодарны Η. Η. Моисееву, который поддержал идею написания книги, проявил исключительное внимание к нашей работе и много сделал для того, чтобы книга быстро увидела свет. Ю. Б. Гер- мейер, И. К. Даугавет и Б. Н. Пшеничный внимательно прочитали рукопись и сделали ряд тонких и остроумных замечаний, которые были с благодарностью приняты и учтены. Весьма плодотворным было для нас многолетнее сотрудничество с Ε. Φ. Войтоном, который предложил ряд практических нелинейных минимаксных задач, возникающих в радиотехнике, и во многом стимулировал работу авторов. Мы имели счастливую возможность обсудить отдельные результаты с А. М. Вершиком, М. К- Гавуриным, Э. Г. Гильбертом, Д. М. Данскином, В. И. Зубовым, И. П. Мысовских, Л. В. Ньюстадом, Э. Полаком, И. В. Романовским, А. М. Рубиновым и В. А. Якубовичем. Всем им мы выражаем глубокую признательность. В настоящее время у авторов имеется некоторый практический опыт решения минимаксных задач. В этом большую помощь нам оказали М. С. Альтмарк, В. М. Белых, Т. К. Виноградова, В. А. Даугавет, Б. Ф. Митчелл, А. Б. Певный, А. Л. Фрадков и В. И. Шушков. Мы искренне благодарны Э. В. Артемьевой, Л. К. Никитиной, В. И. Савченко и В. С. Филимоновой, помощь которых в оформлении рукописи трудно переоценить. Основные результаты книги были изложены в лекциях, прочитанных в III Всесоюзной летней математической школе по методам оптимизации, проходившей в августе 1969 года в г. Тирасполе. Ленинград Ноябрь, 1970 г. Авторы
ГЛАВА t ДИСКРЕТНАЯ ЗАДАЧА НАИЛУЧШЕГО ПРИБЛИЖЕНИЯ ФУНКЦИИ АЛГЕБРАИЧЕСКИМИ ПОЛИНОМАМИ § 1. Постановка задачи Пусть задана таблица значений некоторой функции: ~yk = y{tk), fte[0:Af]. Ι / у Ό Уо Ί У\ *г н ... ... *Ν Ι У N J Всюду в этой главе предполагается, что значения аргумента (узлы) упорядочены по возрастанию to<ti<t2< .·· <h. Каждый алгебраический полином Pn(A,t) степени не выше η (η^Ν) Рп{А, t) = a0 + ait+ ... +antn, A = (aQ, α„ ...,aft),. имеет по отношению к исходной таблице естественную характеристику — максимальное уклонение: max \yk — Pn{A,tk)\. *е(0:Л/) Положим при фиксированном η ρ —inf max \yh — Pn{A9tk)\. {A} k^[0:N\ Полином Рп{А*> /), для которого максимальное уклонение минимально max \yk-Pn(A\tk)\ = p, к β (0: Ν\
14 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I называется полиномом наилучшего приближения исходной таблицы. Задача, которая будет рассматриваться в этой главе, заключается в фактическом построении полинома наилучшего приближения. Решение этой задачи существенно зависит от соотношения между η и N. Так, если η = Ν (количество коэффициентов искомого полинома совпадает с количеством узлов в исходной таблице), то полиномом наилучшего приближения будет, очевидно, интерполяционный полином (см. Приложение I, § 2). В этом случае р = 0. Первым нетривиальным (и, как будет показано, основным) случаем является случай Ν = η-\- 1. Он приводит к так называемой чебышевской интерполяции. С помощью чебышевской-интерполяции можно строить полином наилучшего приближения и в самом общем случае Ν> п + 1. § 2. Чебышевская интерполяция Г. Сохраняя обозначения предыдущего параграфа и полагая N = /z-f 1> сформулируем и докажем следующую теорему. Теорема 2.1. Пусть p = inf max \yk — Pn(A,tk)\. {A} fee[0:rt + l) В этом случае полином наилучшего приближения существует и единствен. Для того чтобы полином Рп (А*, /) был полиномом наилучшего приближения, необходимо и достаточно, чтобы при некотором h выполнялись соотношения (-\fh + Pn(A\tk)~yk, fts[0 :л+1]. (2.1) Наконец, имеет место равенство ρ = | h |. Доказательство будем проводить в следующей последовательности: достаточность — существование — необходимость — единственность. Достаточность. Пусть для полинома Рп(А*91) при некотором h справедливы соотношения (2.1). Докажем, что Рп (Л*, /) — полином наилучшего приближения·
§2] ЧЕБЫШЕВСКАЯ ИНТЕРПОЛЯЦИЯ 15 Допустим, что это не так, т. е. пусть р< max \yk-Pn(A\tk)\£\h\. fce[0:n+lj Тогда в силу определения ρ найдется полином Рп(Alt t) такой, что max \yh-Pn(Ax>tk)\<\h\, (2.2) fte=[0:n+l] Рассмотрим полином Qn{t)~Рп(А{, t) — Рп(А\ t) и найдем его значения в узлах tk, έ g [0 : « + 1]: Qn (tk) - {Pn (Αϊ9 tk) - yk) + {yk - Pn (A\ tk)) - -(-1)*Α-&Α-ΡΛΜι.α. В силу (2.2) Qn(tk) имеет тот же знак, что и (— 1)*й. Учитывая, что узлы tk9 k е [0 : я + 1], упорядочены по возрастанию, получим, что Qn(t) последовательно п + 1 раз меняет знак и, значит, имеет η + 1 нуль. Но полином /t-й степени, имеющий η + 1 нуль, может быть только тождественным нулем. Значит, Qrt(/)s=0, т. е. Рп(А{, t)^=Pn(A\ t), но это противоречит (2.2). Достаточность доказана. При этом установлено, что р = |А|. Существование. Теперь вопрос о существовании полинома наилучшего приближения сведен к вопросу о разрешимости системы (2.1), которая является системой (п + 2)-х линейных уравнений с {п + 2)-мя неизвестными: Α, α0, β], ..., ап: Α + αο + αι*ο + — Α+ 0ο + αιίι + + anto — у0, + anti=yi, (— 1)п+] Α + α0 + αιίη+ι+ ... + ап&+\ — Уп+\· Определитель этой системы Δ равен (2.10 Δίο (-!> п+1 1 in + 1 in ... <? ... й л+1-
1 ζ, ..f. г» 1 Ζ Zn 1 л2 · 2 1 2„ ··· *2 /ι л = Π (г*-г,) 16 дискретная задача приближения функции [гл. i Положим v(zlt ζ2, ..., zrt) = Если определитель Δ разложить по элементам первого столбца, то получим л+1 Δ = 2j ν (ίο> t\> · · · > 'v-i» *ν+ι> · · ·» 'n+i)· Поскольку узлы tk упорядочены по возрастанию, то все слагаемые, входящие в последнюю сумму, положительны. Отсюда следует, что Δ>0. Итак, система (2. Г) всегда имеет решение и это решение единственно. Вместе с тем положительно решен вопрос о существовании полинома наилучшего приближения. Необходимость. Прежде всего получим явное выражение для А. Для этого при всех k е [0 : η + 1] положим Ы1! η — (h-O)-.-( ).--(**-*»+ι) ak — —{ : , V (=!£ ν=0 0)...( )...('ν-'η+ι) где η+1 (tk-t0)...( )... (ί*-/„+,)- Π (<*■ ·*<). Числа α^ обладают следующими свойствами: а) αΛ>0, k^[0:n+ I]; n+l б) Σα»-1; в) для любого полинома Рп (Л, t) степени не выше η Σ(-1)*αΛΜ,/*)=0. /ε=0 (Относительно этих свойств см. Приложение I, § 1.)
§ 2] ЧЕБЫШЕВСКАЯ ИНТЕРПОЛЯЦИЯ 17 Теперь запишем очевидное в силу (2.1) равенство Σ (-1)* «* [(- U* h + pn (a; tk)) = Σ (-i)ft wk. Отсюда следует, что n+l Λ = Σ(-1)4^· (2.3) Переходим к доказательству необходимости. Пусть Рп (Л*, /) — некоторый полином наилучшего приближения. Нужно доказать, что он удовлетворяет соотношениям (2.1), где h определяется из (2.3). Поскольку р —|А|, то max \yk-Pn(A\tk)\ = \h\. (2.4) *е=10:я+1] Покажем, что на самом деле Ун - Рп (А\ tk) - (- 1)4 * е [0 : η + 1]. (2.5) Доказательство следует проводить отдельно для случаев А = 0, А>0, А<0. Если й = 0, то выполнение соотношений (2.5) очевидно в силу (2.4). Пусть А<0 (случай А>0 рассматривается аналогично), и пусть нарушено хотя бы одно из равенств (2.5). Тогда, во-первых, в силу (2.4) (-1)*[ft-РяИ*, f*)]>A, ft€=[0:*+l], и, во-вторых, при некотором ft0 Пользуясь равенством (2.3) и свойствами а) — в) чисел ak, получим п+1 - п+\ h = Σ (- \)k «kyk = Σ (- D* Ч [yk - Pn (A\ tk)] = /г-И /г-И = 2«4 {(- 0* [yk - ρ η (α; /*)]} > л 2 α,=h, что невозможно. Необходимость доказана.
38 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I Единственность полинома наилучшего приближения следует теперь из однозначной разрешимости системы (2.1)— (2.1')· Теорема доказана полностью. 2. Определение. Построение полинома, удовлетворяющего соотношениям (2.1), называется чебышев- ской интерполяцией) полином, удовлетворяющий соотношениям (2.1), называется интерполяционным по Че· бышеву полиномом* В предыдущем пункте по существу доказано, что построение полинома наилучшего приближения в случае # = λ+1 сводится к чебышевской интерполяции. При этом значение h уже найдено (2.3). Нам понадобится другое выражение для А. Для того чтобы получить его, зададим в узлах tk функцию χ следующим образом: %к'- ■Х0*) ~(-D*. *е[0:я+-1]. Тогда, вспоминая формулу для разделенных разностей (Приложение I, § 1) и определение чисел акУ перепишем равенство (2.3) в виде (2.6) Это и есть требуемое выражение для А. Переходя к построению полинома наилучшего приближения, введем вначале интерполяционный полином Ln+i(t) степени не выше л+1, который однозначно определяется соотношениями L„+1 (4) = wk\ wk = yk- h%k, к €= [0 : η + 1]. (2. Г) Представим Lft+1 (t) в форме Ньютона Ln+i{t) = w0 + rt+l + Σ«Φο. <ι, ...» W-'o)('-*i)-..(*-^-i) и обратим внимание на последний коэффициент:
§2] ЧЕБЫШЕВСКАЯ ИНТЕРПОЛЯЦИЯ Id В силу (2.6) w[t0, t{, ..., tn+l] = 0y так что на самом деле Ln+i{t) является полиномом степени не выше и, который, кроме того, удовлетворяет соотношениям (2.1) — (2.1"). Значит, L„+l (/) = Р„ (Л*, ή, и мы получаем окончательную формулу для полинома наилучшего приближения Pn(A\f) = y0-h+ Σ Μ'ο. Ι...·.'*]- - Αχ [ίο, ίι..... tk)} (t - ίο) (/-/,)...(/- /*-!). (2 J) Практически для пользования этой формулой следует: I. Построить таблицы разделенных разностей функций у и χ. II. Найти значение h по формуле (2.6). III. Вычислить у0-~Н и и подставить их в выражение (2.7) для полинома наилучшего приближения Рп{А*> t). IV. Проверить выполнение соотношений yk-Pn{A\th) = (-l)kht *е[0:я+1]. Пример. Рассмотрим функцию y{f) = \t\. На отрезке [—1, 1] зададим две системы узлов: l)f0 = —■ I, ^ass ——, t2 = -^y t$=l; Построим полиномы наилучшего приближения функции |ί| для этих систем узлов, считая, что N = n-\-l; в первом случае это будет полином степени не выше 2, во втором — степени не выше 3. Дальнейшие вычисления проведены согласно рекомендациям I — IV.
2д ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. t / -1 1 2 1 2 1 У 1 1 2 1 2 1 Разделенные разности I -1 0 1 π 2 3 2 3 III 0 В данном случае не надо составлять таблицу разностей для функции χ, ибо y[t0f ti9 /2» *з]==0 и, значит, Л=0. Сразу выписываем выражение для полинома наилучшего приближения: Ρ2(0 = ι-(/+ΐ) + |(ί+ΐ)(ί+{) = |-(2/2+ΐ). Нетрудно проверить справедливость равенств 1**1-*.(**)=* О, *е[0:3]. ' -1 1 2 0 1 2 1 У 1 1 2 0 1 2 1 Разделенные разности I -1 -1 1 1 II 0 2 0 III 4 3 4 3 IV 4 3
§2] ЧЕВЫШЕВСКАЯ ИНТЕРПОЛЯЦИЯ 21 t -1 1 2 0 1 2· 1 χ 1 1 -1 I Разделенные разности I -4 4 -4 4 Η 00 III 32 3 32 3 IV 32 3 " 32/3 8 » + 0(/+1)(/+1)/ = *2+1. Нетрудно проверить справедливость равенств |ί*Ι--Ρ8«*)-(-ΐ)*+ϊ··ΐ· *е10:4]. 3*. В заключение этого параграфа рассмотрим один частный случай расположения узлов: h- cos&±ffiZ-. *«[0:я+1]; В этом случае удается получить более простые, чем (2.6) и (2.7), формулы для h и для полинома наилучшего приближения Рп{А*> /).
йй ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. t Теорема 2.2. Пусть tk = cos {п \ι+ ,*)π, ук=у (ik), Ае[0:я+ 1]; тогда справедливы равенства 5«1 л+! ^(^.0 = 7qrrS^^ (2.8) (2.9) s=0 еде x.W- /)„(*-я) = 1 + 2(-1Г^(0 при s = 0; Dn(x + xs) + Dn(x-xs) = П = l + 22(-l)vcos^fr7'v(0 при se[l:n]i v«l при $ = л + 1. v=l 3d£C6 Ζ)Λ (*) = γ + cos χ + cos 2л: + ... + cos шс — ядро Дирихле; * = arccos/; xs = *п п ~s)π > sefl^]; Γν (/) = cos ν arccos /, v = 0, 1, 2, .,· Доказательство. Достаточно проверить справедливость соотношений (-l)kh + Pn(A\tk) = yk, k&lOin+i]. Предварительно докажем две леммы. . Лемма 2.1. ФунщияТ γ(ί)—ζο$ ν arccos/, — 1</<1, является алгебраическим полиномом степени ν со старшим коэффициентом 2V~\ ν —L, 2, ...
§ 2] ЧЕБЫШЕВСКЛЯ ИНТЕРПОЛЯЦИЯ 23 Доказательство. Прежде всего заметим, что Го (0-1. Tx(t) = t. Далее, поскольку cos (ν + 2) χ + cos vx — 2 cos (v + 1) л: cos x> то, полагая в этом тождестве Je = arccos/, получим для функций Tv(t) рекуррентное соотношение rv+2(0 = 2<rv+1(0-rv(0» v = 0, I, 2, .,., из которого очевидным образом следует утверждение леммы. В частности, T2(t) = 2ί2 - 1, Г3(0 = 4/3-3t и т. д. Полиномы Tv(t) называются полиномами Чебышева. Следствие. Функции τβψ), ίε[0:«+1], определенные выше, являются алгебраическими полиномами степени п. Таким образом, и все выражение, стоящее в правой части равенства (2.9), является алгебраическим полиномом степени </ι. Лемма 2.2. Для ядра Дирихле Dn{x) при /1 = 0, 1, 2, ... справедливы равенства п+~2> если s = 0; γ(-1)5+1, если 5 —±1,..., ±(2/ι+1). Доказательство. По определению ядра Дирихле Dn (0) == η + -г-. Для того чтобы найтд значения Dn (x) в точках χ = *?. , $ = ± 1, ·.., ± (2/ι + 1), заметим, Ζ) (-*М =
24 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I ЧТО . 2п + 1 1 sin 9— Х -г- + COS X + COS 2Х + ... + COS ШС = 24» f Поэтому η ( » \ .... тТ-\ТТт) ._ Sinr-1^+2J _ "U + 1J 2sinTi5r? 2si„TiiT 2n + 2 2n + 2 (_ i)^-H sin SK °"^~ = ~(-l)s+1, s = ±l,..., ±(2л+1). 2sm^T+T Лемма доказана. Возвращаясь к доказательству теоремы, выпишем выражение для Рп(А*, t) в узлах tk, &е=[0:я + 1]: rt+l Пусть & = 0. Тогда, учитывая, что (—1)ν = (—1)~ν при любом целом ν, получим + 2л^[(-1)'+1 + (-1)'+1]1-
§ 2] ЧЕБЫШЕВСКАЯ ИНТЕРПОЛЯЦИЯ 25 Если k — n+ 1, то = 7ГТТ { У° Ί ("1)" + Уп+i (" + τ) + Σ ί" ^+ί4 "" I S==l J Пусть, наконец, &е[1:я]. В этом случае \S + k+\ s—1 ^ ^ - &Й { ^o + (- 1Γ+Ι Уп-ы + 2 ]£ (- 1)^Л = -Λ-(-1)*Λ. Теорема доказана. Следствие. Пусть tk=cos[n ~ ·π> &е[0 : n+lj· Гогда для любого алгебраического полинома Qn(t) степени ^.п справедливо равенство η Qn Но) + (- 1)"+' Qn (/»+«) + 2 ^ (- l)s Q„ (*,) = 0. (2.10) Доказательство. Положим^ ==Qn(^), 6e[0 : /ι-f l]. Осуществляя чебышевскую интерполяцию в этом случае, получим, согласно (2.6) и свойству 4 разделенных разностей (см. Приложение I, § 1): Формула (2.10) следует теперь из (2.8).
26 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ.1 § 3, Общая дискретная задача. Алгоритм Валле-Пуссена 1. Рассмотрим общий случай дискретной задачи N->n+l. Положим Ун = УЦк)> ke[0:N]\ tQ<Ji< ... <tN; p = inf max \yh — P(At th)\. {A} k&[Q:N] ~ Требуется построить полином наилучшего приближения Ρη{Ά*> ί): max \yk — Pn(A\th)\ = p. В этом параграфе будет показано, что общая дискретная задача допускает точное решение. Оно может быть получено с помощью конечного числа чебы- шевских интерполяций. 2, Введем следующее Определение. Базисом а называется любая (п + 2)-точечная подсистема узлов *efo<'*,< ·■··<<*,,+,}· Μ Множество базисов {σ} будем обозначать через В. На каждом базисе σ вида (3.1) можно осуществить чебышевскую интерполяцию, т. е. построить алгебраический полином Pn{A{a).ft), удовлетворяющий соотношениям (-1)*А(а) + Ря(А(а),/|А)-.ЛА, "*€=[<>:«+11 где Α(σ)-Σ(-1)*α/Λ(σ)ΛΑ (3.2) (-0* β ^ _. ыг ft е [0 : η + 1].
§ 3] АЛГОРИТМ ВАЛЛЕ-ПУССЕНА 27 Пусть ρ(σ) есть наилучшее приближение на базисе σ: ρ (σ) = inf max I yt - Pn (Л, tt) I. Напомним, что тогда справедливы следующие равенства: ρ (σ) = max | yt - Рп (Α (σ), ttJ | = | h (σ) |. Положим, наконец, φ(Λ(σ))= max | yk - Pn {A (a), tk) |, fc s [0 : N] так что φ (А (а)) есть максимальное уклонение полинома Pn{A(a)f t) уже на всей системе узлов. Очевидно, что для любого базиса cgS φ(Λ(σ))>ρ(σ). Лемма 3.1. Если для некоторого базиса а* σ* = {/; </;<... </; ι оказалось, что φ (Л (σ*)) — ρ (σ*), το φ(Λ(σ*)) = max |ft-P„^(al,4)hp, τ, е. полином Ρη(Α(σ*)> t) является искомым полиномом наилучшего приближения. Доказательство. В силу определения ρ(σ*) имеем для любого полинома Рп{А, /) k Тем более max \y\ -PJA, /:\|>ρ(σ·). max \yk-Pn(A,tk)\>p(o*). (3.3) k €= [0 : Ν) Поскольку по условию леммы ρ(σ*) = φ(Α(σ*))- max \yk-Ρη(Α(σ*), tk)\, (3.4) k €= [0 : N\ то в силу (3.3) и (3.4) получим для любого полинома P*(A>t): max \Ук-Рп(А, ffc)|> max Iу* — Ря(Λ(σ*). ^)Ι- k e {0 : Μ fc e [0 : tf J
28 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I Последнее неравенство по определению и означает, что Ρη(Α{σ*)> t) является полиномом наилучшего приближения на всей системе узлов. Лемма доказана. 3, Итак, если для некоторого базиса σ оказалось, что φ (Л (σ)) = ρ(σ), то Ρη{Α{σ), t) является полиномом наилучшего приближения в общей дискретной задаче. Теперь обратимся к тем базисам aeS вида (3.1), для которых Φ(Α(σ))>ρ(σ). (3.5) Опишем некоторое стандартное преобразование 5, которое переводит всякий базис σ, удовлетворяющий неравенству (3.5), в новый базис σι = 5σ а,-{й;<4?<...<с,}. обладающий следующим свойством: Ρ(σ,)>ρ(σ). (3.6) Преобразования такого рода в дальнейшем будут играть основную роль. Итак, переходим к описанию преобразования S. Пусть Δσ (/*) - Ун - Ρ η (Λ (σ), tk)9 fee[0: Ν], и tk — узел, в котором |Δσ(^ο)[ = φ(Λ(σ)) (если таких узлов несколько, берем любой из них). Возможны три случая: 2) **,</»,; 3) 4>'w В каждом из этих случаев преобразование S определяется по-своему. Первый случай. Характерная ситуация изображена на рис. 1. Пусть целое число ν таково, что 'ίν<ί*ο</'ν+ι·
}3] АЛГОРИТМ ВАЛЛЕ-ПУССЕНА 29 Тогда сразу полагаем #/ = ^, /¥=v, v+1; /е=[0:л+1]. Если sign Δσ(40) = sign Δσ(/ίν), то Если же последнее условие не выполняется, то Таким образом, базис c^Sor в рассматриваемом случае полностью определен. В ситуации, изображенной о Рис. 1. на рис. 1, базис а{ получается из базиса σ заменой узла /lf на tkQ. Второй случай. Если signΔσ(^ο) = signΔσ(/ίο), то полагаем Если же последнее условие не выполняется, то (из базиса а выбрасывается узел *|л+|). Третий случай. Если signΔσ(^ο) = signΔσ('*Λ+1)> то Ι χ Γ 1 ι ι ι ι ι ι ft ! Τ ι ι . -U - ι ι *0 ι ι ^ ι f ι 1 - -»- f 7. π* ι
ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИИ [ГЛ. I В противном случае V I е= [0 : я]; /У :(0 _ (из базиса а выбрасывается узел tiQ). Теперь преобразование S описано полностью. Из построения и из неравенства (3.5) вытекают следующие свойства базиса σ{ = 5σ в случае, если ρ(σ)>0: I. sign Δ«$ϊ) = - sign Δσ (ίζ+ι), *s[0:n]. II. Если обозначить через /(^ узел базиса σι, соответствующий 40, то ΙΔσ №) Ι=ρ (σ) для всех k ^s* |Δσ(^)|>ρ(σ). Теперь мы имеем возможность доказать основное свойство базиса σ^· рЫ>р(а). Доказательство. В силу (3.2) и свойства 4 разделенных разностей (см. Приложение I, § 1) Ρ Μ = я+1 2(-1)*а,Ла,Ы! r(0 fe=0 ft=0 n+i 2 «,» {(-1)*AoW)} Пусть вначале ρ(σ)>0. Так как aj (σ!)>0, 6e[0: д+1], и Σ a*. (aj)== 1, λ+1 fc=0 то в силу I и II получим ρ (σ,) - Σ α,Α (σι) | Δα (ЭД | > ρ (σ) Σ α,Λ (σ,) = ρ (σ). fc=0 Если же ρ(σ) = 0, то ρ(βΓι)-α,#(σι)|Δα(4;)|>0.
§3} АЛГОРИТМ ВАЛЛЕ-ПУССЕНА 31 Итак, во всех случаях ρ(σ!)>ρ(σ). Утверждение доказано. Полученный результат подытожим в следующей лемме. Лемма 3.2. Если для базиса aeS выполняется неравенство φ (Α (σ)) > ρ (σ), то найдется новый базис 0l = Sa, для которого ρ(<Τι)>ρ(σ). 4. Положим ρ — max ρ (σ). Определение. Базис σ*, для которого р (О —р. называется экстремальным базисом. Поскольку множество базисов S конечно, то, очевидно, экстремальный базис существует, хотя в общем случае он может быть не единственным. Теорема 3.1. В общей дискретной задаче полином наилучшего приближения существует и единствен. Для того чтобы полином Рп (А*, /) был полиномом наилучшего приближения, необходимо и достаточно, чтобы он осуществлял чебышевскую интерполяцию на некотором экстремальном базисе а*, г. е. чтобы Pn(A\t)^Pn(A(o*),t). Наконец, р = р, так что inf max \yk — Рп(А, /*)| = maxp(a). (3.7) {A} k^lO:N] σεΞ Доказательство. Достаточность. Пусть σ* — некоторый экстремальный, базис. Это значит, что для любого σεΞ ρ(σ*)>ρ(σ). (3.8) Нужно доказать, что полином Ρη(Α(σ*), t) является полиномом наилучшего приближения, т. е. что φ(Α(σ'))Μ: max \ук-Ρη(Α(ο'), tk)\ = P. В силу леммы 3.1 для этого достаточно проверить справедливость равенства φ (Л (σ*)) = ρ (σ*).
32 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. ! Предположим, что последнее равенство не выполняется. Тогда φ (Α (σ*)) > ρ (σ*). В силу леммы 3.2 найдется новый базис Qj = So*j для которого Ρ(*ι)>Ρ(0» что противоречит (3.8). Достаточность доказана. Вместе с тем доказана справедливость равенства (3.7), поскольку ρ«φ(Λ(σ·))-ρ(σ·) = ρ. (3.9) Существование полинома наилучшего приближения следует из существования экстремального базиса. Необходимость. Зафиксируем экстремальный базис σ*: * г * * * ·\ 0-fo.<''.< ... <0· и пусть Рп(А*, /) — некоторый полином наилучшего приближения. Поскольку ρ(σ*)< max \y\ ~PJA\ t])\ < < max \Vt — Pn(A\ *г) | = p = p = p (σ*), /e[0:JV] TO max '*e[0 :я+1]1 * ^ */l Значит, Рп{А*> f) есть полином наилучшего приближения на базисе σ*. Учитывая, что полином наилучшего приближения на базисе σ* единствен, заключаем, что Pn(A\t)**Pn(A(o*),t). Отсюда следует и необходимость и единственность. Теорема доказана. Следствие. Для того чтобы базис σ-{*,,<*,,< ... <hn+i} был экстремальным, необходимо и достаточно, чтобы выполнялось равенство φ(Λ(σ))=ρ(σ),
§3] АЛГОРИТМ ВАЛЛЕ-ПУССЕНА 33 или, что то же самое, max |Δσ(/ί)1= max |Δσ(^)|. 5. Основная теорема дает возможность описать некоторый метод для построения полинома наилучшего приближения в общей дискретной задаче. Метод заключается в том, что нужно перебрать все базисы и остановиться на том базисе σ*, для которого величина ρ(σ*) максимальна. Интерполяционный по Чебышеву полином Рп(А (<**)> t) и будет искомым полиномом наилучшего приближения. Трудность состоит в том, чтобы-организовать перебор базисов наиболее разумным образом. Это особенно важно, если число N велико. Поскольку мы ищем базис с максимальной величиной наилучшего приближения, то следует подчинить перебор следующему естественному требованию: переход от базиса ak к базису σ^+1 должен осуществляться таким образом, чтобы выполнялось неравенство Ρ (**+ι)> Ρ (**). (ЗЛО) Выполнение последнего неравенства на каждом шаге гарантирует вдобавок то, что один базис при переборе не может встретиться дважды. Опишем алгоритм Валле-Пуссена для построения полинома наилучшего приближения, который реализует идею поиска экстремального базиса. В этом алгоритме используется преобразование базисов 5, которое уже встречалось в п. 3. Выбираем произвольным образом начальный базис σ, и строим полином Рл(Л(а,), t). Если у{А{о{))=*()(а{), то в силу леммы 3.1 полином Рп{А(а{), t) есть полином наилучшего приближения. Если же φ(Λ(<τ,))>ρ(σ,)ι то переходим к базису <s2:=zSa{. В этом случае, согласно лемме 3.2, ρ(σ2)>ρ(σ1).
34 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I Пусть уже построен базис ak. Находим полином Pn(A{oh)9t). Если φ(Λ(σΛ)) = ρ(σ*). го Pn(A{ak), t) является искомым полиномом наилучшего приближения. Если же ф(4Ы)>р(а*), то переходим к базису ok+l = Sak. Описанный процесс за конечное число шагов приводит к экстремальному базису и к полиному наилучшего приближения. Конечность алгоритма следует из того, что конечно число базисов и при переборе, в силу (ЗЛО), один базис не может встретиться дважды. § 4· ^-алгоритм 1. В алгоритме Валле-Пуссена построения алгебраического полинома наилучшего приближения используется 5-преобразование базисов. Это простейшее преобразование приводит по существу к смене одной точки старого базиса σ. При этом в новый базис g{=Sg привлекается узел, в котором |Δσ(/Α)| достигает наибольшего значения. При использовании S-преобразования приходится на каждом шаге вычислять все Δσ(^), k^[0 : Af]. Алгоритм Валле-Пуссена имеет тот недостаток, что информация от вычисления всех отклонений Δσ(/*) используется минимальным образом, лишь для нахождения наибольшего по абсолютной величине отклонения. В этом параграфе будет описано новое преобразование базисов /?, которое приводит, вообще говоря, к смене нескольких (и, может быть, всех) узлов-старого базиса и к большему возрастанию по сравнению с p(So) величины ρ(/?σ). 2. ^-преобразование определяется только для тех базисов σ, у которых ρ(σ)>0. Положим β-1''.<^<···<Όί К(**) = Уь-Рп(Л(a), tk), k<= [0 :Ν].
§ 4] R-АЛГОРИТМ 35 Будем строить базис σ} = /?σ: заботясь о том, чтобы выполнялись следующие условия: I. sign Δα (4J) — - sign Δα (/£+1), ft s [0 : λ]. II. |Δσ(^)|>Ρ(σ), *e=[0:/i+l]. III. В базис а{ включается хотя бы один узел, в котором достигается max | Δσ (tk) | = φ (Α (σ)). Так же, как и для S-преобразования, выполнение этих условий гарантирует неравенство ρΜ>ρ(σ) (4.1) в случае, если φ (Α (α)) > ρ (σ). Преобразование базисов R осуществляется в /1+1 шаг. Первый шаг. Рассмотрим узлы, содержащиеся в отрезке [/о, /*,]. Выберем из них два узла ίΌ{ и /ш1 так, чтобы tOl <twX ив одном из этих узлов достигалось бы наибольшее, а в другом наименьшее значение Δσ(4), Ае[0:*,]. Положим Второй шаг. Рассмотрим узлы из отрезка [/*,, ftj. Выберем два узла /о2 и *w2 из условий: tO2<tw2\ в одном из них достигается наибольшее, а в другом наименьшее значение Δσ {tk)> k s [/1: ί2]. Пусть sign Δσ (tf?) = sign Δσ (/ϋ2). Тогда полагаем $ = tW2. Если к тому же | Δσ (й?) | < < | Δσ(ίϋ2) Ι, то переопределяем ί^: #/ = /02· Запоминаем г2 = 0. Пусть sign Δα (//!*) = — sign Δσ (/й). Тогда полагаем ύ\) = ίΌ2· Запоминаем tz2*=ztW2 и ^2*=» *=Δσ(42)· (ν + 1)-й шаг. Пусть уже построены узлы
36 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I При этом от последнего шага осталось значение zv. Кроме того, если ζν φ О, то имеется еще узел fzv. Рассмотрим узлы на отрезке [// , */ν+1]· Выберем два узла f0iV+1 и tWtV+l из условий: f0>v+i<'«,v+i; B одном из них достигается наибольшее, а в другом наименьшее значение Δσ(^), ft е [ίν : /v+1]. Пусть sign Аа(/^) = sign Δσ (tO, v+i). Тогда, во-первых, запоминаем 2V+1=0. Если | Δσ (tfj) I > Ι Δσ (tO, ν+ι) Ι» то полагаем (1) _ί *w,v+i> если ΙΔσ(^,ν+ΐ)Ι>Ι^νΙ; Ч+ι — [ tzv в противном случае. Если |Δσ($^|<|Δσ(ίσ,ν+ι)Ι. то полагаем /(^+1 = ί»,ν+ι. Далее переопределяем ί^:/^) = ^,ν+ι. Наконец, если 12ν Ι>| Δσ (tfj.,) |, то переопределяем еще и /|^1 : $*_==*&. Пусть теперь sign Δσ (tf*) = — sign Δσ (tOt v+i). Тогда полагаем если |Δβ(ίΓ>ν+Ι)|>|*ν|, Μ) ί 't>>V+l> 1 противном случае. Запоминаем ίΛν+ι = 'ι»ν+ι» *ν+ι ==:=:M<z,v+i)· Сделаем два замечания, после которых преобразование базисов R будет полностью описано. Во-первых, на последнем (п+ 1)-м шаге надо рассматривать узлы не из отрезка [ttn, йл+1]> а из отрезка[/*л, <#]. Во-вторых, на последнем шаге появится гп+1, и если *»+ι =^ °> е^е ^. η+ι· Если окажется, что | ζη+11 > | Δσ (й*) |> то производим сдвиг: t{Pk присваивается значение ^+1> ft s [0 : «]; '{я+1=='г.я+1- В противном случае никаких изменений не производим. Теперь /^-преобразование базисов описано полностью. Надо доказать, что выполняются условия I, II и III. Заметим, что на каждом шаге среди рассматриваемых узлов были два соседних узла старого базиса. Поэтому при ft е[1 : л+ 1] sign Δσ (tgk) = - sign Δσ (twh)
§4] Д-АЛГОРИТМ 37 и ΙΜ*ϋ*)Ι>Ρ(*). |Δσ(ωΐ>ρ(σ). Отсюда и из построения следует выполнение условий I и II. Нетрудно также показать, что в новый базис войдет один из узлов, в котором достигается max Δσ(^). Таким образом, /^-преобразование удовлетворяет всем поставленным условиям. 3. Опишем теперь /^-алгоритм построения алгебраического полинома наилучшего приближения, использующий /^-преобразование базисов. Берем произвольным образом начальный базис а{, ρ{ο{)>09 строим полином Рп{А(а{)91) и базис a2 = Ra{. Если оказалось, что ρ(σ2)=ρ(σ,), (4.2) то процесс закончен и Рп {Α (σχ), t) — полином наилучшего приближения. Действительно, в силу (4.1) равенство (4.2) возможно только тогда, когда φ(Α(σ1)) = ρ(σΙ), а этого достаточно, чтобы Рп(А(о{), ή был полиномом наилучшего приближения. Если ρ (ог2) > ρ (σι), то строим полином Рп(А{а2), t) и базис σ3 = /?σ2. Пусть уже построен полином Рп (Α (σν), /) и базис σν+,=-'/?σν. Если оказалось, что ρ(σν+1) = ρ(σν), то процесс закончен и Рп {Α (σν), t) — полином наилучшего приближения. В противном случае строим Рп{А (σν+ι)> /) и σν+2 = /?σν+1. Этот процесс за конечное число шагов приводит к экстремальному базису и, значит, к полиному наилучшего приближения. Конечность процесса следует из того, что конечно число базисов и при переборе в силу (4.1) один базис не может встретиться дважды. Достигнув экстремального базиса σ*, на следующем шаге получим: ρ(/?σ*) —ρ(σ*), а это и есть условие конца процесса. Замечание. В /?-алгоритме начальный базиса! подчинен условию: p(tfi)>0, в то время как в алгоритме Валле-Пуссена в качестве начального базиса может быть взят любой базис.
38 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I 4. Пример. На отрезке [—1, 1] введем сетку Г100о» состоящую из точек b-^ + W· *е[°:100°]· Найдем полином наилучшего приближения седьмой степени P7(t) функции |/| на сетке Tim· Решение задачи проводилось с помощью /^-алгоритма. Результаты вычислений сведены в табл. 1. Таблица 1 п. и. J Ρ(σ) I -1,000 -0,750' -0,500 -0,250 0,000 0,250 0,500 0,750 1,000 0,0390625 II -1,000 -0,876 -0,538 -0,184 0,000 0,184 0,538 0,876 1,000 0,0455908 III -1,000 -0,884 -0,572 -0,194 0,000 0,194 0,572 0,884 1,000 0,0459271 IV -1,000 -0,884 -0,572 -0,196 0,000 0,196 0,572 0,884 1,000 0,0459284 В столбце I стоят компоненты начального базиса и величина наилучшего приближения на этом базисе, в столбце IV — компоненты экстремального базиса и величина наилучшего приближения на экстремальном базисе, полученные после трех шагов. Полином наилучшего приближения Р7 (ί) функции | /1 на сетке / юоо равен р7 (ή = 2,31(Ш6 - 4,17842*4 + 2,86804/2 + 0,0459284. § 5. Сведение к задаче линейного программирования 1. Дискретная задача наилучшего приближения функции алгебраическими полиномами заключается в .нахождении величины ρ и вектора А* коэффициентов полинома наилучшего приближения*
§ 5] СВЕДЕНИЕ К ЛИНЕЙНОМУ ПРОГРАММИРОВАНИЮ 39 В этом параграфе мы сформулируем две задачи, эквивалентные задаче наилучшего приближения. 2. Будем использовать прежние обозначения: Л —(oq, Яр ..., ап); p = inf max , {A) k&iO-.N] - 2 afo Положим γ^ = ί|, /е[0:Л], *е[0:ЛП; Yiv+i+s,* = — γ,„ y^+i+5 = — Уз Для s €= [0 : AT]. В этом случае, ввиду равенства | ξ | = max {ξ, — |}, получим I п max \yk — Pn{A, tk)I = max k € [О: ЛП fc s [0 : Ν] Σ У*Л — Uk 1^0 = max ι 2 \hfii — Ук)= max lyk — 2 γ^α,Ι . *€=[0:2AT+1J \*=0 / fc€=[0:2N+l] \ /=0 / (5.1) Β (η + 2)-мерном евклидовом пространстве векторов V, V ~(а0, аи ..., ап, ζ), рассмотрим полупространства Обозначим через G пересечение этих полупространств (рис. 2) 2ЛГ+1 о- П^ Справедлива Теорема 5.1. Для того чтобы Л*=(а*, а*, ..., а*) ббм вектором коэффициентов полинома наилучшего приближения up — величиной наилучшего приближения, необходимо и достаточно, чтобы точка V*> Г = (а;, а\, ...9 а\, р),
40 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ, I принадлежала G и имела наименьшую последнюю координату среди всех точек множества G. Доказательство. Необходимость. Поскольку р = max \уь-Рп(А\ tk)\9 то в силу (5.1) точка V* принадлежит всем Hk, k e e[0:2W+l], и, значит, G. Рис. 2, Предположим теперь, что существует точка V0 <= G, VQ = (a$\ α<°\ ..., α<°\ г<°>), у которой ζ<°> < р. Тогда, полагая AQ = (a$\ af\ ..., af), получим в силу определения G и (5.1) max \yk-Pn{A0, /*)|<z«»<p, /г€=[0:ЛГ] что противоречит определению р. Необходимость доказана. Достаточность. Пусть У0===(а$\ af\ ..., а®\ ζ<°>)— точка из G, имеющая наименьшую последнюю координату. В этом случае, очевидно, max \ук-Ря{Ао, /*)1 = *(0\ (5.2) где А0 — (ag», af\ ..., α(^). Докажем, что А0 — вектор коэффициентов полинома наилучшего приближения и г<о) _ величина наилучшего приближения.
§5] СВЕДЕНИЕ К ЛИНЕЙНОМУ ПРОГРАММИРОВАНИЮ 41 Пусть А — произвольный {п + 1)-мерный вектор. Тогда в силу определения VQ max \yh-Pn{A, tk)\>z«>\ Учитывая (5.2), получим требуемое. Теорема доказана. Замечание. Точка (α*, α\, ..., α*, ζ*) из G с наименьшей последней координатой может быть определена как решение следующей задачи линейного программирования: найти minz при ограничениях η Σ \kfii - * <Ук> k<=[0:2N+ 1]. Таким образом, решение этой задачи линейного программирования дает решение дискретной задачи наилучшего приближения. Рис. 3. 3. В {п + 2)-мерном евклидовом пространстве векторов W = (lQ, |i, ..., ln, у) рассмотрим точки Wk = (γ*,, ,.., γ*„, yk), ke~[0:2N + 1]. Заметим, что множество {Wk} состоит из пар симметричных относительно начала координат точек: WN+x+h — — Wh, k&[0:N]. Обозначим через D
42 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. I выпуклую оболочку, натянутую на {Wk}> т. е. множество векторов вида 2W-H 2W-M W - Σ aftrft; afe > О, 2 a* - 1. (5.3) Ζ) содержит начало координат. Рассмотрим точку выхода луча № = (0, ..., 0, у), г/^0, из множества D (рис. 3). Обозначим ее через W*: 1Г = (0, ..., 0, у*). Лемма 5.1. Справедливо равенство У* = Р· Доказательство. Точка ИГ является точкой из JD с первыми η + 1 нулевыми координатами и максимальной последней координатой. Таким образом, в силу (5.3) 2ΛΜ-1 #* = тах 2 akyk при условии, что ak удовлетворяют соотношениям 2N+1 Σ «αΥαι — Ο, /е[0:л], <**>о, Σα* = ΐ· (5.4) Докажем, что г/*<р. Действительно, для любого вектора Л = (а0, al9 ... ..., ап) и любого набора чисел akf k e [0 : 2N + 1], удовлетворяющего ограничениям (5.4), имеем 2ЛН-1 2iV+l / /г \ 2вдй= 2 aJi/A — Σ ΥαΛ]< #*<min max (yk - 2 γ«α,) Др. < max &€=Г0:2ЛГ+1] Отсюда получаем
§ 51 СВЕДЕНИЕ К ЛИНЕЙНОМУ ПРОГРАММИРОВАНИЮ 43 Для доказательства обратного неравенства достаточно установить существование такого набора чисел ak, k&[0:2N + 1], для которого выполняются условия (5.4) и 2N+1 2 ад^=р. Для этого обратимся к основной теореме 3.1 дискретных приближений. Возьмем экстремальный базис а °={<*о<Ь|< ··· <4h-i}· Тогда на основании (3.7) и (3.2) Р = |/ф)| = Σ'(-1)'αΛ#(σ)Λί s=0 5 s n+l причем aks (σ) > 0, 2 <**5 (σ) = 1, Σ(-1)Χ(σ)γν^Σ (-1)4, (Ή-0, is[0:«]. Если Λ(σ)^0, то полагаем: ал5 = %(^) для четных s, ujv+i+£ = α*5(σ) Для нечетных 5, ак = 0 для всех остальных £ ^ [0 : 2iV + 1]. Если h (σ) < 0, то полагаем: aks s= α^ (σ) для нечетных 5, aN+l+ks^aks(a) для четных s, άΛ==0 для всех остальных k е[0 : 2N + 1]. В этом случае, как нетрудно проверить, 2ЛГ+1 2ЛГ+1 ά*>0, Σδ*=1; Σα*γ««0, /е=[0:л]; 2N-H Σ δΑ& = ρ. *=0 Лемма доказана. Теорема 5.2. Для того чтобы A* = (a*Qy α*, ...» а*) был вектором коэффициентов полинома наилучшего
44 ДИСКРЕТНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. t приближения up — величиной наилучшего приближения, необходимо и достаточно чтобы гиперплоскость была опорной к множеству D в точке W* (см. рис. 3), г. е. чтобы £ΌΓ) = 0 и #(Гл)«>, ke[0:2N+l]. Доказательство. Необходимость. В силу (5.1) и определения полинома наилучшего приближения получаем η т. е. ^(Н^)<0, *e[0:2iV+l]. Остается заметить, что в силу леммы 5.1 3?{W*) = 0. Достаточность. Пусть гиперплоскость является опорной к множеству D в точке W*. Тогда из равенства i?0(UP*) —0 и леммы 5.1 следует, что р(0) а р, т. е. р(0) является величиной наилучшего приближения. Далее, поскольку 2Ό(^)<0, А>е=[0:2ЛГ + 1], то в силу (5.1) получаем max \yh — Pn{K 4)Кр» Л б (0: ЛЛ] где i40==(a^, af\ ..., α^0)). Обратное неравенство очевидно в силу определения р. Значит, А0 является вектором коэффициентов полинома наилучшего приближения. Теорема доказана.
ГЛАВА II НЕПРЕРЫВНАЯ ЗАДАЧА НАИЛУЧШЕГО ПРИБЛИЖЕНИЯ ФУНКЦИЙ АЛГЕБРАИЧЕСКИМИ ПОЛИНОМАМИ § 1. Постановка задачи Пусть /(/) —непрерывная функция, заданная на отрезке [с, d]. Положим 9п (ϊί с, d) = ря (/) - inf max | / 0) - Рп (Л, ή |. {А} с<*<<* Полином Рп(А*У /), для которого max Ι/(0-Λ»(Λ·. Ol-Pntf). называется полиномом наилучшего приближения функции f(t) на отрезке [c9.d] или просто полиномом наилучшего приближения. Задача заключается в фактическом построении полинома наилучшего приближения. По-прежнему базисом σ будем называть любую упорядоченную по возрастанию систему из (я + 2)-х точек, принадлежащих отрезку [с, d], σ = {/0</1< ... <frt+I}. Множество базисов {σ}, которое будем обозначать через 3, бесконечно (даже несчетно). Тем не менее, как и в дискретном случае, оказывается справедливым основное равенство inf max \f{t) ·— Рп (Л, t) |= sup ρ(σ), {А} с<t<d asS где ρ (σ) — наилучшее приближение функции /(/) на базисе σ. В дальнейшем на основе этого равенства развивается метод последовательных чебышевских интерполяций Е. Я. Ремеза для построения полинома наилучшего приближения.
46 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ, II Рассматривается и другой — сеточный — подход к задаче построения полинома наилучшего приближения. Для этого на отрезке [с, d] вводится равномерная сетка 4 = c + k^\ wk = f(zk)t kea[0:N]. На этой сетке известными методами может быть решена дискретная задача наилучшего приближения. Оказывается, что при Af->oo полиномы наилучшего приближения дискретной задачи равномерно сходятся к полиному наилучшего приближения непрерывной задачи. В конце главы изучается поведение коэффициентов полиномов наилучшего приближения при п->оо. § 2. Теорема Чебышева. Полиномы Чебышева 1. Положим ρ = sup ρ (σ). Величина ρ конечна. Действительно, если Λί= max | / {ή j, то для любого базиса σ=={/0</1< ... <tn+x} будет p(a)-inf max \f(th)-Pn{A9tk)\< {A} kez[Q:n+\\ < max \f(tk)-Pn(0, /4)|=» max 1/(f4)|<Af. k e= |0:n+l) k&lQ:n+l} Значит, ρ<Λί. Базис σ* е Ξ, для которого ρ (σ*) = ρ, называется экстремальным базисом. Нашей ближайшей целью является доказательство того, что экстремальный базис существует. 2. Определение. Будем говорить, что последовательность базисов {oj, 5=1, 2, ..., сходится к базису σ, <* —{/0<<1< ■·· <W» и писать as д^те-> σ, если при каждом k е [0 : п + 1] As) . ι
§ 2] ТЕОРЕМА ЧЕБЫШЕВА. ПОЛИНОМЫ ЧЕБЫШЕВА 47 Лемма 2.1. Если gs s^oq> σ, то Доказательство. Напомним, что Α(σ.) = Σ(-1)4(σ.)/(ά·'). Доказательство леммы сводится к установлению следующего факта: при s-~>oo α*(*,)-*αΛ(σ), А е [0 : я+ 1]. (2.1) Вспоминая выражение для α^(σ5) и α^(σ), заключаем, что для доказательства (2.1) достаточно проверить, что при s-> оо ιΛί^ΓΤ' /¥=Α; /, *e[0:/i+l]. Последнее же предельное соотношение очевидным образом следует из сходимости базисов. Лемма доказана. Следствие. Если as 5->00>σ, то рЮ-т^рМ· Надо учесть, что ρ (as) = | h (as) | и ρ (σ) = | h (σ) |. Лемма 2.2. Пусть последовательность базисов {σJ g$ = uo < t\s < ... <//f+i}, такова, что ρ(σ5)>β>0, s=l, 2,..., ы существуют конечные пределы limtf^fc, fte[0:«+l]. Гогда справедливы неравенства toK.ii < · · · <ίΛ+ι> г. г. последовательность базисов {as} сходится к базису at
48 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Доказательство. Очевидно, что Ό ^ h ^Ξ · · · ^ '«+!· Допустим, что хотя бы одно из последних.неравенств обращается в равенство. Тогда среди точек {tk} не более (/1+1) различных. Значит, можно построить интерполяционный полином Ln(t), удовлетворяющий соотношениям MW-fftk). *е[0:я+1]. Функция Δ (0 = f (0 "" ^л (0 непрерывна на отрезке [Су d]. Следовательно, по ε = β>0 найдется такое 6>0, что как только | t'k — tk \ < δ, тотчас | Δ (tk) \ < β. Выберем индекс s0 столь большим, чтобы выполнялись неравенства |tfe)-k|<6, *s[0:»+l]. Тогда ρ (σ50) - inf max | / (#e)) - M^ #φ)) | < {A} fes[0:n+l] < max l/OT-I-nOTI- max |Δ(#Ό|<β. fee I0:n+1] fts[0:«+U что противоречит условию. Лемма доказана. Лемма 2.3. Экстремальный базис существует. Доказательство. Если р = 0, то любой базис является экстремальным. Поэтому будем считать, что р>0. По определению р. найдется последовательность базисов {σ5}, s=l, 2, ..., такая, что р(<0-тг=*Р· (2·2) Выберем индекс 5 столь большим, чтобы при s>s ρ(σ5)>|>0. Поскольку при всех &е[0:я+1] и s>s то в силу леммы 2.2 найдется подпоследовательность базисов [о* А, сходящаяся к некоторому базису σ*.
§2] ТЕОРЕМА ЧЕБЫШЕВА- ПОЛИНОМЫ ЧЕБЫШЕВА 49 В силу следствия из леммы 2.1 Учитывая (2.2), получим ρ(σ*) = ρ. Таким образом, σ* — экстремальный базис. Лемма доказана. 3. Введем обозначения: Ф(Л) = max \f(t)-Pn(A,t)\; Δ(Λ,0-/(/)--ΡΛ(Λ,0· Без каких-либо изменений по сравнению со случаем общей дискретной задачи (см. § 3 гл. I) доказываются следующие утверждения. I. Если φ (Л {а)) = ρ (σ), то Рп (Л (σ), ί) —полином наилучшего приближения непрерывной задачи. И. Если <р(Л (σ))>ρ(σ), то можно построить новый базис σ! = 5σ такой, что ρ(σι)>ρ(σ). Преобразование S описывается дословно так же, как в дискретном случае; в новый басис а{ вместо одного из узлов старого базиса σ привлекается точка, в которой |Л(Л(а), t)\ достигает наибольшего значения φ (А (а)). Теперь можно сформулировать основную теорему. Теорема 2Л (П. Л. Чебышева). Полином наилучшего приближения функции f(t) на отрезке [с, d] существует и единствен. Для того чтобы полином Рп (Л*, /) был полиномом наилучшего приближения^ необходимо и достаточно, чтобы он осуществлял чебышевскую интерполяцию на некотором экстремальном базисе. Наконец, ρ = р„ (/), г. е. inf max | Δ (Л, 01= sup ρ (σ). (2.3) {A} c<t<d ass Доказательство этой теоремы дословно повторяет доказательство теоремы 3.1 в дискретном случае. Различие по существу лишь в том, что в непрерывной задаче множество базисов бесконечно. Однако эта трудность уже преодолена в лемме 2.3, где доказано существование экстремального базиса»
50 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Следствие. Для того чтобы базис аеВ, <* = {'ο<Ί< ... <W, был экстремальным, и, значит, полином Ρη (Α (а), <)— полиномом наилучшего приближения, необходимо и достаточно, чтобы выполнялось равенство <Ρ(Λ(σ)) = ρ(σ), (2.4) или, что то же самое, max | Δ {Α (σ), ί)\= max | Δ (Α (σ), tk) |. На рис. 4 изображен характерный вид функции Δ(Λ(σ*), t) в случае, когда σ* — экстремальный базис. . Δ Рис. 4. 4. Рассмотрим на отрезке [с, d] функцию f(t) = tn+l. Найдем для нее полином наилучшего приближения степени < η и величину наилучшего приближения р„ (/). Для этого положим где rrt+i(tt)-~ полином Чебышева: Tn+i(u) = cos(n+ l)arccostt, — 1 <и<1. Нетрудно проверить (см. лемму 2.1 гл. I), что Рп(А, t) действительно является алгебраическим полиномом степени <я·
§ 2] ТЕОРЕМА ЧЁБЫШЁВЛ. ПОЛИНОМЫ ЧЁБЫШЕ&А 51 Имеем MA,t)4=in+i-Pu(A,t) = откуда следует, что φ{Α)£ max |Δ(Λ0Ι--5τ(-ίτ£)ΙΙ+Ι. Введем базис σ*=={ί0</1< ... </„+ib гДе Найдем значения Δ (Л, t) в узлах базиса σ*: м я η 1 (d-c\n+l r Ι (n+l-k)n\ ΔΜ.'*)—2^1-5-) Ta+1[cos" д+1 )~ - ^ (^τΤ' cos (« + 1) arc cos cos {n\^{k)n = -<-*[(-ι>"'±(^Π· Получили, что Рп (Ay t) осуществляет чебышевскую интерполяцию на базисе σ*: Pn(A,t)^Pn(A(o*),t), причем • ρ (σ*) = I (- 1Γ+Ι ^г (-1Т£)П+' I - <Ρ (Α (σ·)). Значит, σ* —экстремальный базис и Р„(Л, /) —искомый полином наилучшего приближения. В частности, 1 (d-c\n+x Pn(tn+l;c,d)=±(*^)" Полученный результат можно сформулировать иначе: для всякого алгебраического полинома Ря+1 (ί) степени я-fl со старшим коэффициентом, равным единице, выполняется неравенство max |Рд+1(/)|>^(1^£Г+1;
52 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II при этом знак равенства достигается только для полинома Полином Pn+\(t) называется полиномом, наименее уклоняющимся от нуля на отрезке [с, d] среди всех полиномов степени η + 1 со старшим -коэффициентом, равным единице. § 3. Предельные теоремы 1. Пусть А(а) обозначает вектор коэффициентов полинома наилучшего приближения функции / на базисе σ. Лемма 3.1. Если последовательность базисов asy s=l, 2, ..., сходится к базису σ0, то A{<3s)-7^;*A{a0) (сходимость векторов понимается как покоординатная — см. Приложение I, § 2). Доказательство. Во-первых, в силу леммы 2.1 h(*s)-^>h(a0). (3.1) Далее заметим, что полиномы Ρη{Α(σ0), t) и Pn{A(as), t) удовлетворяют соотношениям Μ* Ы·'«-*?■ \ (ч„ где J^ = W)-(-l)*Mao). &е=[0: n]9 s ==1, 2, ... (равенства (3.2) справедливы и при А==я+1, однако сейчас это не важно). Таким образом, полином Рп (Α (σ0), /) и последовательность полиномов Рп [Α (σ5),t), s = 1, 2, ..., являются интерполяционными. Поскольку по условию 4f} g>»00> А°\ k e [0 : п]9 и в силу непрерывности /(/) и предельного
§ 3] Предельные Теоремы S3 соотношения (3.1) у$ s^QO>y^K то по лемме о непрерывной зависимости интерполяционного полинома (см· Приложение I, § 2) Λ(σ5)-τ^Λ(σο)· Лемма доказана. Положим Ф(Л) = max |/(/) - Рп (Л, t) |. Лемма 3.2. Если последовательность векторов Asi s = l, 2, ..., сходится к вектору Л*, то Доказательство. Воспользуемся следующим неравенством, справедливым для любых непрерывных на отрезке [с, d] функций F{{t) и F2(t) (см. Приложение III, § 2): | max \Fx{t)\ — max |F2(/)||< max | f, (/) — F2{t)\. c<t<d c<t<d c<t<d Получим |Ф(Л5)-ф(Л*)|< max | Pn (Л\ 0 - РЙ(А„ t) | - = max Σ (αϊ-«</>)*' / = 0 η (*)| Остается перейти к пределу при s->oo. Лемма доказана. 2. Теорема 3.1. Если последовательность алгебраических полиномов Pn{As> t)> se 1,2, ...ι такова, что при s-* <х> . ф(Л)-Рл(/), (3.3) го Л5->Л*, где Л* — вектор коэффициентов полинома наилучшего приближения. Доказательство. Нужно доказать, что при всех k е [0 : п]
54 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Предположим, что при k — kQ предельное соотношение (3.4) не выполняется. Тогда найдутся ε0 > 0 и последовательность индексов {$J, ./=1, 2, ..., такие, что \а\· I *о 4ΐι)-αΙ\>% (3-5) Подпоследовательность полиномов [Рп(А$1> /)}, /=1,2,..., ограничена на [с, d] равномерно по L Действительно, в силу (3.3) φ(Λ,)<Αί1β Отсюда cmaxjPn(^0l< < max \Pa{A , t)-f{t)\+ max |/"СОI — = <f>(AS{) + max |/(/)|<Λί2. В силу леммы о компактности (см. Приложение I, § 2) найдется подпоследовательность векторов {Л5/ } и вектор Л0 такие, что }ia. основании леммы 3.2 при г->оо Ф(Л^)-><р(Л0). Учитывая (3.3), получим, что ер(Л0) = рл(/)> т. е. полином Рп (Л0, /) есть полином наилучшего приближения. В силу единственности полинома наилучшего приближения А0 = А*> так что Но это противоречит (3.5). Теорема доказана. Теорема 3.2. Если последовательность базисов {σ5}, s=l, 2, ,.., такова, что при $->оо то Α (σ5) -* Л*, где Л* — вектор коэффициентов полинома наилучшего приближения»
§ 4] МЕТОД РЕМЕЗА 55 Доказательство. Если рЛ(/) = 0, то утверждение теоремы очевидно. Поэтому пусть ря (/) > 0. В силу теоремы 3.1 достаточно доказать, что Допустим противное, т. е. что для некоторого ε0 > 0 найдется подпоследовательность базисов {σ^}, г = 1, 2, ..., такая, что φ(Λ(σ5,))-ρΛ(/)>ε0. (3.6) Поскольку для достаточно больших номеров st рЫ>трЛ/)>о, то в силу леммы 2.2 найдется подпоследовательность базисов [ОЪЛ» г=»1, 2, ...» сходящаяся к некоторому базису σ0: 4-7^**0- (3.7) Но тогда ρ(σ^ )->р(сг0) (следствие из леммы 2.1) и, значит, ρ (σ0) = рЛ (/). Получили, что σα есть экстремальный базис, так что ф(ЛЫ) = рЫ = рЛ/)· Кроме того, из (3.7) на основании леммы 3.1 следует, что л(Ч)~^*Л((То)' Теперь воспользуемся леммой 3.2. Это дает ф(Л(а%))->Ф(Л(а0)) = рй(0, что противоречит (З.б). Теорема доказана. § 4. Метод последовательных чебышевских интерполяций Ремеза 1, Пусть на отрезке [с, d] задана непрерывная функция /(/). Опишем в самом общем виде метод последовательных чебышевских интерполяций для нахождения полинома наилучшего приближения функции /(/),
56 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Произвольным образом выбираем начальный базис σ} и осуществляем на нем чебышевскую интерполяцию, т. е. строим полином Рл(Л(а,),/)· Предполагается, что ρ(σι)>0. Пусть уже построены базис os и полином Рп (A (as), t). Если φ {A {as)) — ρ (σ5), το Ρη {Α (as)9 t) — искомый полином наилучшего приближения, и процесс на этом заканчивается. Пусть φ (A (as)) > ρ (as). Тогда строим новый базис σ5+ι так, чтобы выполнялись следующие три условия: I. тЛ min |аД4*+,))|>Р(<0 = Р„ к е (0 : п+ 1] гдеМ0«/(0-Л|И(<О.0. II. signA^4s+10 = -signAs(№), *е[0:л]. III. ls= max M#+,))l > Р.. £е(0:я+1] На базисе σ5+1 осуществляем чебышевскую интерполяцию, т. е. строим полином Pn(A{as+{), t). Продолжая аналогично, получим последовательность Ρ η (Л fa), t)9 Рп (Α (σ2), t)9...9 Ptl (Α {as)9 /),... Если эта последовательность конечна, то последний ее элемент по построению является полиномом наилучшего приближения функции / {t) на отрезке [с, d]. Рассмотрим случай, когда последовательность {Рп (Α (σ5), /)} бесконечна. Введем обозначение φ5= max |Δβ(0Ι· Справедлива Теорема 4.1. Если lim^^->0, (4.1) το A(as)-+A*9 еде А* —вектор коэффициентов полинома наилучшего приближения. При этом при некотором Θ, 0 < θ < 1, ρ-(/)-ρ,<ΜΘ*. (4.2)
§ 4] МЕТОД РЕМЕЗА 57 Константа Μ не зависит от s. 2. Предварительно докажем одну лемму. Лемма 4.1. Если для последовательности бази· сов {as}> s=l, 2, ..., отрезка [с, d] выполняется нера· венство Ρ(σ5)>β>0, то существует такое η > 0, что при любых kx Φ ft2 (ftp ft2e[0 : n+ 1]) и 5 = 1, 2, ... будет |4?-*ϊ?Ι>η- (4.3) Кроме тогоу QX = M min M*s)>—to ί^1— Γ+1. (4.4) Доказательство. Предположим противное, т. е. что требуемого η не существует. Тогда найдутся индексы Щ и ft°, к\Фк\> и подпоследовательность индексов {sr}> r=l, 2, ..., такие, что ^-'ί^-Τ^Ο (4.5) (пользуемся конечностью значений индексов kx и ft2, ftp ft2e[0: я + 1]). Из подпоследовательности {sr} можно выделить такую подпоследовательность {$Г/П}> /я = 1, 2, ..., что будут существовать конечные пределы- lim t['r*n)=*tf>9 fte[0:n+l]. При этом в силу (4.5) ^°о = ^°о. Учитывая, что по- прежнему ρΚ,)>β>°· приходим к противоречию с леммой 2.2. Таким образом, доказано существование требуемого η. Неравенство (4.4) легко следует из (4.3).
58 Непрерывная задача приближения функции [гл. и Действительно, . (-0* ак (os) = — - = \W-W\...i )...Ke)-«li 2i Ι Λ»> — j 1 ί η \"+1 n + 2\d-c) ' ^oltf-'fl-i )...|4"-«lil Лемма доказана. 3. Доказательство теоремы. Условие (4.1) означает, что найдется такое ε,, О <С ех < 1» что начиная с некоторого номера s, будет 1$ — 9s ^ г или φ* — Ps /* — Ρ* > ει (Φβ — Ps)· (4.6) В силу III можно считать, что неравенство (4.6) выполняется для всех натуральных s. Положим θ{ = inf min at. (as). {s} Jfee[0:n+IJ По определению Ο^Θ^Ι. Справедливо следующее неравенство: Ρ,+ι>Ρ, + Μ/,-ρ,). (4.7) Действительно, пусть /5 = |Δβ(/£+1)Η Учитывая I — III, будем иметь |Vi)4(*s+,)/«s+,))| -^«*(σ.+ι)|Δ.(ΟΙ> л+1 > Σ «ft (».+,)Ps + afc(σ,+1)(/, ~ Ρ,)> Ps + θ, (/, ~ Ps)· «=0 ^+1 =
§4] МЕТОД РЕМЕЗА 59 Из (4.7), в частности, следует, что p{as)^p(a{) при всех s. Поскольку, по предположению, ρ (σ^ > 0, то в силу леммы 4.1 0 < θ{ < 1. Заменив теперь в (4.7) s на s-Ι и учитывая (4.6), получим Ps — Ps-\ > θι (/«-ι — Ps-i) > > θιε, (φ^ί — ρ,.,) > Θ^ϊ (ρη (f) — p^j). Перепишем неравенство Ps - Ps-i > θιΜρ,ι (/) - Ρ*-ι) в другом виде: Ρ*(/)-ρ*<θ(Ρ„(/)-ρ*-ι), (4.8) где θ= 1 — θ^,, 0<θ < 1. Из (4.8) следует, что РЛ/) ~ Ρ* < Θ'-ЧрЛ) ~ Pi) =^ ΜΘ*. Тем самым доказано неравенство (4.2). Соотношение A(as)-j^>*A* следует теперь из (4.2) и теоремы 3.2. Теорема доказана. Замечание. Условие (4.1) наверняка выполняется, если /s = q>s при всех натуральных s. Это соответствует тому, что на каждом шаге в новый базис σ5+! включается узел, в котором достигается max |Δ5(0Ι (см. алгоритм Валле-Пуссена и ^-алгоритм). В общем случае для сходимости процесса достаточно заботиться лишь о том, чтобы отношение Is — 9s <Ps — | было ограничено снизу положительным числом равномерно по 5. 4. Остановимся на выборе начального базиса σ^ Нас интересует такой базис а{9 для которого величина ρ (σ^ была бы по возможности максимальной. Напомним, что рассматривается непрерывная на отрезке [с> d] функция f{t) и что Ρ(*ι) = ;<П Л1) /(1) 1 X I/q t *i $ ···> ^/i+lj
60 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Числитель этой дроби зависит от функции /, и добиться его увеличения за счет специального выбора базиса а{ сразу для всех непрерывных функций невозможно. Поэтому будем максимизировать величину Если обозначить Φ(/) = ίΛ+1, то в силу одного из свойств разделенных разностей (см. Приложение I, § 1) 1 * [4°. 4° С] х[<м> ад = рФК). IxfoMV-.tfiJI Однако и равенство достигается для экстремального базиса σ* задачи наилучшего приближения функции 0(t)=^tn+l на отрезке [с, d] полиномами степени ^.п. Учитывая результаты п. 4 § 2, получим I ^ J_ (d-c\n+l и равенство будет достигнуто, если в качестве компонент базиса а{ взять ,(i) d+c , d — c (я + 1 — k)η * ΓΛ. t11 Α —-γ- + —γ-cos д + ι ' * e= [0 : /ι + 1]. § 5. Метод сеток 1. На отрезке [с, d] по-прежнему рассматривается непрерывная функция f(t) и ищется ее полином наилучшего приближения Рп{А*> t). Положим zk = c + k^, wk = f(zk), ke[0:N]. Множество точек {zk} будем обозначать через TN. Методами главы I можно построить алгебраический полином Pn(AN, t), являющийся решением следующей дискретной задачи: max | wk - Рп (AN, zk) | = р„, (5.1)
§5] МЕТОД СЕТОК 61 где Рл, = inf max \wk — Pn(A9 гк)\. {A} k^lO:N) Теорема 5.1 (о сходи мости сеточного процесса). При N -> оо справедливо предельное соотношение Доказательство. Обозначим через сг* = {/*</[ < ... ♦ ♦· <C+i} экстремальный базис в задаче наилучшего приближения на всем отрезке [с, d] (в силу леммы 2.3 такой экстремальный базис существует). При достаточно больших N рассмотрим базисы σ^ = [г\ю < ζψ) < ... • ♦· <гпЦ\}> гАе 2JM — ближайший к /* узел сетки TN, fee=[0:n+lj. Очевидно, σΝ->α* при Ν-*οο, так что РЫ->Р(4 (5.2) Пусть α*Ν есть экстремальный базис сетки ΤΝ. Тогда (см. (5.1)) Поскольку σΝ — один из возможных базисов сетки ΤΝ, то рЫ<рК)· (5-3) С другой стороны, ρ(σ;)<ρ(σ·), (5.4) ибо σ^ есть один из возможных базисов отрезка [с, d]. Учитывая (5.3), (5.4) и (5.2), получим ρ(σ;)-*ρ(σ*) = Ρ/ι(/), откуда на основании теоремы 3.2 следует, что ΑΝ-*Α\ Теорема доказана. Заметим, что неравенство (5.4) равносильно следующему неравенству: P*<P«tf)· (5.5)
62 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II 2. В этом пункте будет получена оценка скорости сходимости сеточного процесса. Теорема 5.2. Пусть функция f(t) имеет непрерывную вторую производную на отрезке [с, d]. Тогда, если AN есть вектор коэффициентов полинома наилучшего приближения на сетке TN9 то ψ(ΑΝ)-ρη(ί)<Μ(^)2, (5.6) еде Ф(Л„)= m*x\f(t)-Pn(AN,t)\ c<t<d и Μ —константа, не зависящая от N. Доказательство. Положим Δ* (/) = /(/)-ЛДЛ^О· Учитывая (5.5), будем иметь <Р (An) - Рп (!) < Φ {ΑΝ) — Рлг — = max IАд,(/)|- max \bN(zk)\. Обозначим через tN e [c> d] точку, для которой Ι Δ* fa) I- max ΙΔ^ίΟΙ. (5.7) c<t<td Если Atf(/tf) = 0 или tN совпадает с одним из узлов сетки TN, то φ(Λ*)-~Ρ*(/) = 0, и неравенство (5.6) выполняется при любом Λί^Ο. Поэтому будем считать, что Δ,ν (ίΜ) Φ 0 и что tN не совпадает ни с одним из узлов сетки ΤΝ. В частности, tN лежит внутри отрезка [с, d], и в силу (5.7) АЖ) = 0. (5.8) Обозначим через zs ближайший к tN узел сетки TN* Учитывая формулу Тейлора, будем иметь Δ„(ζ*) = Μ^) +
§ 6] О ПОВЕДЕНИИ КОЭФФИЦИЕНТОВ ПОЛИНОМОВ бз где 0<θ<1. Отсюда и из (5.8) следует неравенство где Мт= max |Δ#(/)|. Тем более Д| / d —. с \ 2 max | Ajy (/) | — max |Δ„(ζ*)Ι<ηΡ (srl · Осталось доказать, что последовательность {ΛΤ#2} ограничена равномерно по N. Для этого воспользуемся теоремой 5.1 и леммой 2.3 Приложения I. В силу теоремы 5.1 ΑΝ Ν^Ο0^ΑΛ9 поэтому max \Pn(ANt t)\^M{. c<t^d Отсюда на основании леммы 2.3 Приложения I следует, что max \P'n(AN,t)\<M?\ c<t^d Теперь имеем Λί„2< max |Г(0|+ max \Ρ*ϋ(ΑΝ, f)|< < max |Γ(/)| + Λίί2)=£ΛΓ2. Теорема доказана. § 6*. О поведении коэффициентов полиномов наилучшего приближения 1. В силу известной теоремы Вейерштрасса всякая непрерывная на отрезке [с, d] функция /(/) допускает равномерную аппроксимацию с любой степенью точности алгебраическими полиномами. Это означает, что по любому ε>0 найдется такой алгебраический полином P(t), что max |/(0 —ЖОКв. Дополнением к этому классическому результату является следующая
64 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. II Теорема 6.1. Для того чтобы непрерывная на отрезке [—1, 1] функция f(t) допускала равномерную аппроксимацию с любой степенью точности алгебраическими полиномами Qn{t), с равномерно ограниченными коэффициентами Krt)|<Af, kez[0:n], необходимо и достаточно, чтобы для /е(— 1, 1) имело место представление оо f(t)= ΣαΑ |α*Ι<Λί, * = 0, 1, 2, ..· (6.1) Доказательство. Достаточность. Пусть функция f(t) непрерывна на отрезке [—1, 1] и для |е(—1, 1) имеет место представление (6.1)· Положим По ε > 0 выберем такое г, 0 < г < 1, чтобы для всех /е[—1, 1] выполнялось неравенство 1/(0-/ИК|- Поскольку ряд в (6Л) равномерно сходится на отрезке [—г, г], то найдется натуральное п, при котором \f(rt)-Fn(rt)\<j равномерно по t&[—-1, 1]. Имеем для /е[—1, \] \f(t)-Fn(rt)\<e. Остается заметить, что коэффициенты алгебраического полинома Fn{rt) не превосходят по модулю Λί. Необходимость. Выделим последовательность полиномов Qn(0-J3flin)<\ |4Λ)|<Λί,
§ 6] О ПОВЕДЕНИИ КОЭФФИЦИЕНТОВ ПОЛИНОМОВ 65 равномерно сходящуюся при я-»оо к /(/) на отрезке [— 1, 1]. Докажем, что при каждом k числовые последовательности [а^Л сходятся. Действительно, <)==<?» (0)^^/(0). Предположим, что сходятся последовательности {а^Н при fe е [0 : ν — 1J. Докажем, что сходимость имеет место и при k = v. Положим для n^v По определению Qn{t) и индукционному предположению последовательность {^v) (/)} сходится для любого /^[—1, 1], отличного от нуля. Докажем, что сходимость имеет место и при /==0. Для этого заметим, что при /е=(— 1, 1) / 2 aft*-*- fe-V-l <. *Π'Ι i-Ш |^(0-^(0)|- Далее, Kv) (0) - е. (θ) Ι < f^w +1 tf» (0 - С (01· (6-2) Возьмем ε > 0. Выберем такое t Φ 0, чтобы первое слагаемое в правой части неравенства (6.2) было меньше ε/2. После этого, учитывая, что последовательность {^ν)(0} сходится, выберем такое п, чтобы для всех натуральных т второе слагаемое было меньше ε/2. Тогда для всех натуральных т получим кГ(о)-<#и°)|<е· Отсюда следует, что последовательность {^ν)(0)} сходится. Учитывая равенство а^ — qW (0), заключаем, что сходится и последовательность [аЩ. Итак, а[£] п^^ak для всех &-~0, 1, 2, ..., причем оо Ι^Ι^Λί. Рассмотрим ряд ^aktk. fc=0
66 НЕПРЕРЫВНАЯ ЗАДАЧА ПРИБЛИЖЕНИЯ ФУНКЦИЙ [ГЛ. И Докажем, что при — 1 < / < 1 имеет место равенство оо /(*)= Σ aktk. (6.3) fe=0 Зафиксируем /, |/|< 1, и возьмем произвольное ε >0. Выберем N так, чтобы Μ\ί\Ν+χ ^ β 1-1*1 ^ 4 и 1тобы для п> N Ι/(0-<Μ0Ι<|. Теперь найдем п> Ν> при котором il«f-«,l<T· В этом случае получим 2a*<*-f(0< Σ****"""^ Ν fc=0 + IQ*(0-f(OI< Σι*-.ι+«+^ Отсюда ввиду произвольности ε следует (6.3). Теорема доказана. 2. Обозначим через РЛ(ЛЯ, /), Ап=(а{<?\ ..., а%\ полином наилучшего приближения степени <я непрерывной на отрезке [—1, 1] функции /(/). В силу теоремы Вейерштрасса последовательность {Рп(Ап, t)} при я->оо равномерно на [—1, 1] сходится к f{t). Положим \АJ== max |fl(«)|. Для того чтобы последовательность {| Л„ |} была ограничена, необходимо в силу теоремы 6.1, чтобы для функции / (/) при —■ 1 < / < 1 имело место представление (6.1). В противном случае \Ап\ > оо.
§ 6] О ПОВЕДЕНИИ КОЭФФИЦИЕНТОВ ПОЛИНОМОВ 67 Положим °» max |РЯ(ЛЯ, ί)|· При я->т» max |РЙ(ЛИ,01-* max |/(/)|. Поэтому, если \Ап\~+оо, то δ„->οο. При больших 6п говорят о плохой обусловленности полинома Рп{Ап, t). В качестве примера плохо обусловленного полинома приведем полином наилучшего приближения 14-й степени Ри(0 функции М| на [—1, 1]: ρ (Α = 198,46ί14 — 714,90/12 + 1022,98*10 - 739,9 И8 + + 285,33/6 - 57,607/4 + 6,6443/2 + 0,019949· В этом случае δ14 «* 103. Заметим, что на практике редко используются полиномы наилучшего приближения степени, большей чем 10, а плохая обусловленность появляется лишь при больших степенях я.
ГЛАВА III ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА § 1. Постановка задачи Пусть fi{X), i s [0 : /V], Χ = (χ{, χ2, ..., хп)—функции, заданные на всем «-мерном евклидовом пространстве Еп. Положим μ = inf max ft{X). Ш /g[0: Ν] Задача заключается в нахождении точки X*, для которой max /^(Ζ*) = μ. 1<=[0:Ν] Введем обозначение φ(Χ) = max ft(X). Поскольку μ= inf φ (Λ'), то исходную минимаксную задачу можно рассматривать как задачу минимизации функции φ(Χ) на Еп. В связи с этим в дальнейшем подробно изучаются свойства функции максимума <р(Х). Устанавливается, в частности, что при естественных предположениях функция φ (Χ) дифференцируема по всем направлениям. Получены необходимые условия минимума функции φ (Χ) и дана их геометрическая интерпретация. Много внимания уделяется методам последовательных приближений для нахождения стационарных точек функции φ(Χ), τ. е. точек, удовлетворяющих необходимому условию минимума. Приводится, в частности, пример, показывающий, что метод наискорейшего спуска может сходиться к точке, не являющейся стационарной. Один параграф посвящен выяснению достаточных условий локального минимума функции φ{Χ).
§2] СВОЙСТВА ФУНКЦИИ МАКСИМУМА 69 Все необходимые понятия, обозначения и свойства, относящиеся к n-мерному евклидову пространству и функциям η переменных, можно найти в Приложениях II и III. § 2, Свойства функции максимума 1. Рассмотрим функции fi(X), ί^[0:Ν], Х^Еп, и пусть φ(Χ)= max ft(X). Отметим простейшие свойства функции φ(Χ). I. Если все функции fi(X), i&,[0:N], непрерывны в точке Х0, то и функция ср(Х) непрерывна в той же точке. Справедливость этого утверждения следует из неравенства (см. Приложение III, § 2) |φ(Χ)-φ(*α)Ι-Ι max ff(JT) — max ft(XQ)\< < max \ft(X)-f,(X0)\. ί<=[0:ΛΠ II. Если все функции fi{X), i^.[Q:N], непрерывны на Еп и при некотором XQ e Еп множество Μ(Χ0) = {Χ^Εη\φ(Χ)<:φ(Χο)} ограничено, то существует точка X*, в которой функция φ(ΛΓ) достигает своего минимального значения. Доказательство. В силу свойства I функция φ(Χ) непрерывна на Еп. Отсюда, в частности, следует, что множество М(Х0) замкнуто. Поскольку по предположению Μ {Х0) — ограниченное множество, то найдется точка Х*> для которой (р(Г)= лип φ(Χ). Осталось заметить, что min φ(Χ) = inf φ (J), Х^М(Х0) Хе=Еп
70 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. ЦТ поэтому Ф(Г)= inf φ (Ζ). Х*Еп Утверждение доказано. III. Пусть ЙсΕ'—некоторое выпуклое множество. Если все функции fi{X), ί^[0:Ν], выпуклы на Ω, то функция φ(Χ) также выпукла на Ω. Доказательство. Пусть Хи X2^Q и aG[0, 1]. Тогда П {аХг + (1 - а) Х2) < aft (Хг) + (1 - а) /, (Х2) < <αφ(Ζ1) + (1-α)φ(Χ2). (2.1) Поскольку эти неравенства выполняются для всех /g[0;#], то (ρ(αΧι + (1-α)Χ2)^αφ(Χι) + (1-~α)φ(Χ2), (2.2) что и требовалось доказать. 2, При фиксированном X рассмотрим множество индексов R{X): R(X)^{i^[0:N]\fi(X)-4>(X)b Таким образом, в R {X) входят те индексы ί, при которых fi{X) достигает максимального значения, равного φ (Χ). Лемма 2.1. Если функции f{{X), / е[0 : /V], непрерывны в точке Х0, то найдется число а0 > 0 такое, что для ае[0, а0] и g^En, ||g||== 1, будет выполняться равенство df Φ (Χο + ag)= max ft {XQ + ag)= max ft (XQ+ag). (2.3) i&\0:N] i&R(X9) Доказательство. Достаточно рассмотреть случай, когда R{X0)^[0:N]. Положим β-φ№>)- max ^(J0). Ясно, что β>0. По непрерывности функций fi(X) в точке Х0 найдется такое а0 > 0, что для всех g e Еп> llgll—1, при ае[0, а0] будет fi(Xo + *g)><P(Xa-jl· Для te=R(X0)t /ι(^ο + αί)<φ(^α)-|β для /0/?(*о)·
§ 2] СВОЙСТВА ФУНКЦИИ МАКСИМУМА 7ΐ Отсюда очевидным образом следует (2.3). Лемма доказана. 3. Определение. Функция φ (Я), ίεξ, называется дифференцируемой в точке Х0 по направлению g^En, || g ||=1, если существует конечный предел цт φ (Хо + <*g) - φ (До) и α-*+0 α Этот предел называется производной функции φ(Χ) в точке Х0 по направлению g и обозначается -~г-— · Теорема 2.1. Пусть функции ft(X)t /g[0: Ν], являются непрерывно дифференцируемыми в некоторой окрестности S6(X0) точки Х0, S6(J0)=={*lll*--*oll<6}> δ>0. Тогда функция максимума φ(Χ) дифференцируема в точке Х0 по любому направлению g, ||g|| = 1, причем ША^ тах (ШМ9 \ {2Л) (внешние круглые скобки в правой части равенства обозначают скалярное произведение в Еп). Доказательство. Для любого te[0 : JV], ае(0, б) и g, II g 11=1» имеем (см. Приложение III, § 3) ft (Хо + ОД) = ft (Хо) + « (^Ж1' g) + ot (g\ а), (2.5) где Oi(g\ а) — величина, удовлетворяющая соотношению ot(g\ α) α-»0 ~>0 равномерно по g, ||g||=l. В силу леммы 2.1 найдется такое α0>0, α0<δ, что для α s (0, а0) будет φ {Хо + ОД) = max { ft (X0) + α №^> g) + о, (g; а) } < <ф(*о) + а max (dfiS o), g)+ max ог(#; а).
72 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. И! Воспользуемся теперь следующим числовым неравенством (см. Приложение III, § 2): max (β*+Υ/)> max β, + max γ*, (2.6) *e=[0:JV] ί€ΞΐΟ:ΛΓ] i&R где /?=={/1 βί == max β J. k s [0: Ν) Получим, учитывая (2.5), ф№) + <*£)>ф(*о)+ max {α(^^, g) + oi(g;a)L· >ф(^о) + «тах f dfi}vo) » g) + minora). Итак, для cg(0, a0) и любого g, ||g||=l> справедливы неравенства min ot{g\ a)< <φ№ + α?)-φ(Ι0)-α max (Щ^9 g) < < max ot(g; a). i s (0: ATJ Деля эти неравенства на a>0 и переходя к пределу при α-ν + 0, получим требуемое. Более того, можно считать доказанным следующее равенство: Φ (*о + ag) - φ (Jo) + a -^g2*- +-o (gr; a), (2.7) где o(g\ a) —величина, удовлетворяющая соотношению ο(ς\ α) α-»+0 + 0 равномерно по g, ||g||=l. 4. Пример. Пусть (см. рис. 5) /0 (*) = sin χ, fx (x) = cos x, <p"(x)==max{sinjt, cos .ν}.
§2] СВОЙСТВА ФУНКЦИИ лиКСЙМУМА 73 Поскольку функция φ{χ) 2л-периодична, будем рассматривать χ е [0, 2π]. Заметим, во-первых, что R(x) = {1}, если χ е JO, ~] {О, 1}, если χ = -т- {0}, если*е=(^-, -^-). или или (τ·*ф * 4 · Функция φ (л:) непрерывна, однако она не является непрерывно дифференцируемой. Первая производная функции φ(χ) терпит разрыв в точках # = -j- и # = -£. Ряс. 5. Тем не менее даже в этих точках φ (л;) имеет производные по двум возможным направлениям g —(+1) и Возьмем, например, х = ^г· При g = (— 1) получим на основании (2.4) *(т) Ит) —-—-— max 1 х '«(τ) dg dx f * = max < — cos~|-i Аналогично при g = (+l) д*(т) _ V2 sin V2 π 1\ V2 4Γ 2 dg
74 ДИСКРЕТНА£ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Заметим, что в точке jc ="-4" Функция φ (л;) возрастает в обоих возможных направлениях. Легко проверить, что в общем случае для g = (+l) - g sin χ, если χ s 10, —■] или χ s (-—> 2π 1; д(р(х) \ f . ■ -ι π 5я ψν —-1 max{g cosx, —gsmx}y если * = -|- или x = -j-'> (Jt 5jc \ T' ~T~)" 5*. В заключение этого параграфа получим обобщение формулы (2.7). Пусть функции fi(X), it=[0:N]f X=r-(xu χ2ί ..., χη), непрерывны и имеют непрерывные производные до 1-го порядка включительно в некоторой окрестности Sb(X0), δ>0, точки J0- Заметим, что в этом случае для любого ае=(0, б) и g = (gx> g2> · ·> gn)> IIST 11=1, справедливо равенство (см. Приложение III, § 3) П (Хо + *8) = П (Хо) + Σ 77 ^ΤΙΤ1 + °' & Л (2-8) где dkh(X0) _ γ dkh(X0) h 'к"1 β o{(g;a') _>o α-»0 равномерно по g, ||g||=l. Введем обозначения: 1ЩР- = Ш), i<B[0:N}; dg° Ro(X. g) = [0:N]; Rk(X, g)={i\i^Rk-i(X, g), j—i—= max r—;—}, ie 1: .
§ 2] СВОЙСТВА ФУНКЦИИ МАКСИМУМА 75 Так как R0{X, g) не зависит от X и g, a R{ {X, g) не зависит от g, то будем писать *о(*. £) = #<» «i№ *)«/?(*). Очевидно, /?0=>#(J)=>/?2(J, g)zD ... Теорема 2.2. Пусть функции fi(X), / е [0 : ДО], «£- прерывны и имеют непрерывные производные до 1-го порядка включительно в некоторой окрестности S6(X0) точки Х0. Тогда справедливо следующее представление функции максимума φ{Χ) в окрестности точки Х0 в направлении g, Hi||= 1, где 7 Шал . o(g; а') _ а-»+0 J2i£«iL _*0 равномерно по g, \\g\\=s\. Доказательство. Так же, как при доказательстве теоремы 2.1, найдем число α0>0, α0<ό, такое, что для α е (0, а0) в силу (2.8) Нетрудно показать, что существует столь малое aj>0, a!<a0, что для a e (0, а^) будет V1 a* **fi Wo) ] max 1 У— " " *""' \ 1 Д dft (Xq) , у α* d*h (X0) 1 = | II ^ Si*1 *** j = max
76 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III „ max U^lHoI + V^UMmL =_L max Й1Ш+ max jy^U^il 1! ie/Шо) ^ ie^(x0, g) [£" «I <?£* J Продолжая аналогично, найдем такое α^Χ), α/.ι^α/.2> что Для as (0, α^) max < >.— " '"Ι-'^^ — max ^Ψ1 Отсюда и из (2.9) следует ι ■* „,„„ . a*f<(jr0) φ^ο + αίΧφί^ + Σττ max . + maxOj(g; a')· С другой стороны, применяя последовательно неравенство (2.6), получим <ptfo + «g)>q>(*o) + max y^itelL + minOi(g; α')>φ(Λ"0) + + Σττ max ^тг + ^^(?;4 fe=l Итак, для α^ (0, a^) и любого g, ||g||==l, справедливы неравенства min Oi(g, a')< Отсюда очевидным образом следует утверждение теоремы. Теорема доказана.
§ 3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА γγ § 3. Необходимые условия минимакса 1. В дальнейшем будем предполагать, что функции fi(X), t€=[0:N]y непрерывно дифференцируемы на Еп и что при некотором Х0 множество Μ(Χο) = {Χ&Εη\φ{Χ)<φ(Χ0)} ограничено. Пусть, как и раньше, φ(Ζ)= max ft(X). i e [0 : Ν] Теорема 3.1. Для того чтобы точка X* была точкой минимума функции φ (Χ) на Еп, необходимо, а в случае выпуклости φ(Χ) и достаточно, чтобы выполнялось неравенство inf max №jP-. g)>0, (3.1) или, что то же самое (см. (2.4)), lnf Ml^O. (3.2) Доказательство. Необходимость. Предположим, что точка X* есть точка минимума функции φ(Ζ), однако неравенство (3.2) не выполняется. Тогда найдется такой вектор g\^En, ||gill=l, что Μρ = --α<0. (3.3) В силу (2.7) 4{r + ag{) = V(X*) + a2ffi + o(gl; α), (3.4) где o(gu «) .л α α-^+ο * υ· Зафиксируем достаточно малое а{ > 0, при котором I о (if, <*ι)Ι<7αι' Тогда, учитывая (3.4) и (3.3), получим
78 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III что противоречит предположению о том, что X* — точка минимума функции φ(^). Достаточность. Пусть φ (Χ) — выпуклая функция и в точке X* выполняется неравенство (3.2). Покажем, что в этом случае X* — точка минимума функции φ(Ζ) на Еп. Предположим противное. Тогда найдется точка Х0, в которой φ(Χ0) <φ(Χ*). В силу выпуклости φ(Χ) имеем для α е [0, 1] ф(Г + а(^о-Л) = ф((1-а)^ + аДГ0)< <(1-а)Ф(Г) + аФ(Х0). (3.5) Положим gi= [|Jf _д«ц » II ίι 11=1. и найдем - ' \ ■*ЧР ~JimJ [' (г+та^пг ('· - г>) -»<г >] · Учитывая (3.5), получим для 0 < α < || Х0 — Jf* || <il ~ \\Χ0-ΧΊ\)^Γ)+ II W1 Ф(*о)-Ф(Г)- = IVri^W-f(r)). Отсюда что противоречит (3.2). Теорема доказана. Точка Х*у для которой выполняются неравенства (3.1) и (3.2), называется стационарной тонкой функции максимума φ(^) на Еп. 2. Дадим геометрическую интерпретацию необходимого условия минимакса (3.1). Для этого при фиксированном ie£n образуем множество H(X) = {ze=EJZ = lbJ£L, /€=*(*)}.
§ 3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА 79 Обозначим через L(X) выпуклую оболочку множества Н(Х) (см. Приложение II, § 1) iw-fz- Σ «<τ|α'>0·· Σ °'-1)· Заметим, что L(X) является ограниченным замкнутым выпуклым множеством. Теорема 3.2. Нерлвенство (ЗА) равносильно включению OgL (Г). (3.6) Доказательство. Покажем вначале, что из (3.1) следует (3.6). Допустим противное: 0 φ L (X*). Тогда по теореме отделимости (см. Приложение II, § 1) найдутся вектор g0, ||g0H=l» и число а>0 такие, что для всех Ζ е L (X*) будет (2, gQ) < - а < 0. Так как Η (X*) cz L (Х*)у то из последнего неравенства получаем max (Щ-1, W)<-a<0, i е R (Χ*) \ 0Λ Ι что противоречит (3.1). Покажем теперь, что из (3.6) следует (3.1). Допустим противное. Тогда найдется вектор g0, II go II—Ь и число а > 0 такие, что для всех i ^ R (X*) (ЩР-,§о)<~а<0. (3.7) Возьмем произвольный вектор ZeL(I*). В силу (3.7) и определения множества L(X*) получим <*.*»>-( Σ *^.*>)- \i^R(X*) I - Σ «'f^^-io^-e Σ «*—β<ο. is=R(X*) \ / isi?(r) Но тогда точка Z = 0 не может принадлежать L{X*), что противоречит (3.6). Теорема доказана,
80 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Следствие. Для того чтобы функция φ (Χ) до- стагала минимума в точке Х*9 необходимо, а в случае выпуклости φ(Χ) и достаточно, чтобы OgL (X*). Замечание. Условие (3.6) является обобщением классического необходимого условия минимума непрерывно дифференцируемой функции. Последнее получается из (3.6), если положить N = 0. Действительно, в этом случае <p(J) = M*)· Множества Η (X) и L(X) состоят из единственной точки! °дх [.Включение (3.6) заменяется равенством -^Р=0. (3.8) Таким образом, для того чтобы непрерывно дифференцируемая функция %{Х) достигала минимума на Еп в точке X*, необходимо, а в случае выпуклости f0{X) ή достаточно, чтобы выполнялось равенство (3.8). 3. При фиксированном X е Еп введем функцию X(S)=max(^a,g). В силу общих свойств функции максимума (см. § 2, п. 1) %(g) является непрерывной и выпуклой функцией на всем пространстве Еп. Кроме того, очевидно, что для любого λ^Ο χ(λ^ = λχ(^). (3.9) Нас интересует χ(^) при jgS°, где S»=-.{g<=En\\\g\\^l}. Поскольку S0 — ограниченное замкнутое множество, то %(g) достигает минимума на S0. Отсюда, в частности, следует, что инфимум, стоящий в левой части неравенства (3.1), достигается, и поэтому неравенство (3.1) можно переписать в виде min max (ЩР-, g)^0. (3.10
§ 3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНЙМАКСА 81 Лемма 3.1. Справедливо равенство %(g) = max (Ζ, g), Z^L(X) где L (X) — множество, определенное в предыдущем пункте. Доказательство. Очевидно, что X(g) = max (Ζ, g). (3.10) Z<zzff(X) Поскольку H(X)cz L (X), то χ(£)< max (Ζ, g). (3.11) Z<=L(X) С другой стороны, любая точка Z' €= L (X) может быть представлена в виде Z'= 2 αίΖ£; г,е=Н(Х); α'>0; 2 α', = 1. Поэтому (Ζ;,ί)= 2 ai(Z|fir)< max (Ζ, ff) Σ aj- = max (Z, g). Так как это неравенство справедливо для произвольного Z'e=L(X), то max (Z, g) ^ max (Z, g). ZezL(X) Z^H(X) Учитывая (ЗЛО), получим max (Z, я) < χ (ff). (3.12) Утверждение леммы следует теперь из (3.11) и (3.12). Лемма доказана. 4. Введем функцию ψ(*)= min max (_^ΐΜ) \ Ifβ-H —I *«**<*) \ dX бГ С помощью функции ψ (Ζ) необходимое условие мини- макса (3.1) можно переписать в виде Ψ(χ·)>ο. (з.1")
82 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Пусть %(Ху g) = %(g)· В силу леммы 3.1 получим ψ(*)== min χ (J, g) = min max (Z, g). (3.13) ||g 11=1 lie 11=1 Zsi(X) Лемма 3.2. £сла ψ(Χ*)^0, г. е. X* является стационарной точкой функции максимума φ(Χ), то ψ (Л-г (Г), где г (X*) — радиус максимального шара с центром в начале координату который можно вписать в L(X*)(pnc. 6). Доказательство. Обозначим через 56 шар радиуса 6^0 с центром в начале координат: S0 = {Ze=£J||Z||<6}. Если S6czL(X*)> то для любого g, ||g ||=1, получим Рис 6. б = max(Z, g)< max (Z, g). Отсюда и из (3.13) следует, что б<г|;(Х*). В частности, г(Г)<ф(Г). (3.14) Докажем теперь, что S^aLiF). J3.15) Допустим противное. Тогда найдется точка Z0 e 5ψ(;Π) II ζ01|< ψ (Л. (3.16) не принадлежащая L(X*). По теореме отделимости (см. Приложение II, § 1) существуют вектор gQt ||g0ll— Ь и число а>0 такие, что для любого Z^L(X*) (Z-Z09 go)<-fl· Отсюда, учитывая (3.16), получим \{ZQ, go)-a^(X*)-a, max (Z, g0); что противоречит (3.13). Итак, соотношение (3.15), а с ним и неравенство д|>(Г)<г(Г), (3.17)
§ 3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНЙМАКСА 83 установлены. Утверждение леммы следует теперь из (3.1.4) и (3.17). Лемма доказана. 5. Обратимся к тем iein, для которых ψ(Χ)<0. В этом случае X не является стационарной точкой, и по теореме 3.2 О φ L (X). Лемма 3.3. Если ψ(Χ)<0, то где Z* есть ближайшая к началу координат тонка множества L{X). Доказательство. Для любого Z^L{X) справедливо неравенство (см. Приложение II, лемма 1.3) (Z, Г)>(Г, Z*). Z* Положим g = frf9 'Ш—1· Имеем для любого Z^L{X) (ζ, g) = -1^T (ζ, D^-^i?, г)— ι г ||. Отсюда следует, что max (Z, £)=--! Ζ·|. (3.18) ZeL {X) Далее, для любого g, ||g||=l, -1|ΖΊ|<(Г, g)< max (Z, g). Z^L(X) Значит, для любого g, ||g||=l, в силу (3.18) max (Ζ, g)< max (Z, g), Z^L(X) Ze=L(X) T. e. max (Z, g) = min max (Z, g)==t|)(X). (3.19) Z<sL{X) ||*IM Z^L{X) Объединяя (3.18) и (3.19) и учитывая определение вектора gy получим требуемое. Лемма доказана. Равенство (3.19) можно понимать следующим образом (см. (3.13)): функция %(ХУ g) при фиксированном X €= Еп, ψ(Χ)<0, достигает минимума на единичной сфере S° при g = g« Ниже это утверждение уточняется.
84 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ш Лемма 3.4. Если ψ(Χ)<0, то функция %(X, g) достигает минимума по g e 5° в единственной точке. Доказательство. Поскольку X фиксировано, будем писать χ(Χ, g) = x(g). Предположим, что существуют два вектора gx Φ g2, \\g\ W = \\g2\\—l> такие, что % (sfi) = x Ы = mjn χ (g) = Ψ (*). Заметим, что в этом случае (ffi.&Xl. (3.20) В силу выпуклости функции x(g) на всем Еп (см. п. 3) имеем для любого α е (0, 1) 0С(а^ + (1-а)^)<ахЫ + (1-а)хЫ=*(^). (3.21) Зафиксируем а0е(0, 1) так, чтобы β^Ι|αοβτ1 + (1—Оо)йГ2И>0. Имеем в силу (3.20) β2 = Μι + (1~αο)^212 = < + Ч (1 - α0) (g{, g2) + + (1-α0)2<α20 + 2α0(1~-α0)+(1-α0)2=1. Итак, 0<β<1. Положим go = j («offι + (1 - Oq) ft), || g0 II =■ 1 · Поскольку -g- > 1 и ψ (Χ) < 0, то получим в силу 3.9) и (3.21) x(ffo) = jX(c^i + (l-cOff2)<j*W<*W. что невозможно. Лемма доказана.^ _ 6. Определение. Вектор g(X), \\g{X)\\ — 1, булем называть направлением наискорейшего спуска функции максимума φ{Χ) в точке X, если дер (Г) . ду(Х) ψ ~ = mm ψν
§3i НЕОБХОДИМЫЕ УСЛОВИЯ МЙНИМАКСА 85 Вектор g{ {Х)у || g{ {X) || = 1, будем называть направлением наискорейшего подъема функции максимума φ{Χ) в точке X, если дер (Χ) δφ (Γ) т _ =тах ^ι № ΙΙίΙΜ ^ Теорема 3.3. £сла ψ(Χ)<0, то функция максимума φ(Λ') имеет в точке_Х единственное направление наискорейшего спуска g(X)> ||g(X)||=l. При этом £(*)___£_, ^!£Й1=^ || г ||, *ν ; И г И dg(X) где Z* — ближайшая к началу координат точка множества L(X). Эта теорема по существу уже доказана. Нужно заметить, что ду(Х) dg *x(X,g), и воспользоваться результатами лемм 3.3 и 3.4. Замечание. Пусть N = 0, т. е. <f(X)=f0(X). В этом случае при всех ie£fl Если ψ(Χ)<0, т. е. у^ =т^0, то направлением наискорейшего спуска функции f0(X) в точке X по теореме 3.3 будет вектор дХ 1\\ дХ V Очевидно, что направлением наискорейшего подъема функции fQ(X) в точке X является вектор ьМ-ψ-Λ dfo (X) дХ
£6 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Таким образом, для непрерывно дифференцируемой функции /0 {X) во всякой точке Ху в которой °^ ^ О, выполняется соотношение §ЛХ) = -8(Х)· (3.22) Заметим, что в общем случае при Ν>0 равенство (3.22) может нарушаться. Более того, в общем случае направление наискорейшего подъема может быть не единственным. В ситуации, изображенной на рис._ 7, направление наискорейшего спуска, g^]{X) и - направления наискорейшего подъема. Рис. 7. § 4. Достаточные условия локального минимакса. Некоторые оценки 1. В предыдущем параграфе было показано, что если функция максимума φ(Χ) выпукла, то стационарная точка X* является в то же время точкой минимума функции φ(Χ) на Еп. Теперь нас интересуют условия, при выполнении которых стационарная точка X* является точкой локального минимума функции φ(Χ). Как и раньше, считаем, что функции ft (Χ), ι е [0 : N], непрерывно дифференцируемы на Еп\ пусть : max fi{X), i€=[0: N] min max W4· 2. Определение. Точка X*^En называется тонкой строгого локального минимума функции φ(ΛΓ), если существует окрестность S6(X*), ό>0, точки X* St{r) = {XeEn\\\X-r\\<l
§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 87 такая, что для всех: XeeS6(X*), ХфХ\ выполняется неравенство ф(*)>ср(Г). Теорема 4.1. Если i|)(J*) = r>0, то X* является точкой строгого локального минимума функции φ(Ζ). Доказательство. Как известно (см. (2.7)), 9(r + ag) = V{r) + a^^ + o(gi а), (4.1) где °(^;а) -^·+ο>0 равномерно по g, \\g\\=l. По определению ψ(Χ) имеем для всех g, ||g|| = l, дя> (Г) >г dg ^ Выберем столь малое а! > 0, чтоб ы для всех а е (0, ах) и всех g, ||g||=1, выполнялось неравенство \o(g; α)|<^α. Получим в силу (4.1) для любого X ^ Sai{X*)t ХфХ\ Ф(Х) = Ф(Г + а^)>ф(Г)+усх>Ф(Г). Теорема доказана. Замечание. Если ψ(Χ*)==Γ>0, то найдется α0>0 такое, что для всех X е Stt0 (Χ*), Χ Φ Χ*> индексное множество R(X) строго включается в R{X): R(X)<=R(X*)> Я(Х)ФЯ{Г). Действительно, в силу леммы 2.1 найдется такое ctjX), что для всех X <= Sai{X*) будет R (X) с: R (X*). Заметим далее, что для любого g, ||g||= 1, найдется индекс ix {g) €= R (X*) такой, что Положим i2 (g) = ix (— g) e R {X*). В этом случае (**&*■.*)<-'■ (4.3)
88 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Выпишем теперь соотношение ' dfi (X*) ft (Г + ag) = ft (Г) + α (i^P- ,g) + ot (g; a). (4.4) Требуемое a0, 0<a0<a!, выберем так, чтобы для αε(0, α0) выполнялось неравенство |ο,(ί;α)Ι<|α (4.5) равномерно по /е[0:М] и g, ||g||=l. В этом случае для любого X^Sao(X*)> X — X* + ag, Χ Φ Χ\ имеем в силу (4.4), (4.2), (4.3) и (4.5) /,.te,W<ffccrt(^·)—^га-Ф(Г)-1га. Таким образом, fii{g)(X)>fi2(g)(X)- Отсюда следует, что i2{g)&R(X), хотя i2(g)^R{X*)- Утверждение доказано. 3*. Теорема 4.2. Пусть X* — стационарная точка функции φ(Χ) на Еп, причем ψ(Χ*)==--0. Пусть далее функции ft (Х)у ί е [0: iV], дважды непрерывно дифференцируемы в некоторой окрестности S6{X*)f δ > 0, точки X*. Положим д2П (X) d*ft(X) ^ ^ d*f,(X) dxi дх\ дх\ дх2 '" * дхх дхп d*ft(X) d*U(X) d*h(X) d2h (X) ^ дХ2 дх2 дх\ дх2 дх2 d2h(X) d2h(X) k дхп дх\ дхп дх2 Если при некотором у > О дх2 дхп d2fi(X) дхпдхп J где min max [ЩР-g, ё)^а(Г) > 0, (4.6) GT-{elBiB=-i.o<-2sg2.<Y}. д dft(X*) **(**, g)={i^R(Xl\(^P-, g) (д'П(Х') \_ γ d*f,(X·) a _ [ дХ2 g,g)- 2l «?*, дх, §l>gh> dtp(X') /.. W
§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 89 то X* является точкой строгого локального минимума функции φ(Ζ). Доказательство. Заметим, во-первых, что для всех i <= [0: N], любых g, || g || = 1, и α <= (0, б) справедливо равенство (см. Приложение III, § 3) l,ir + ag)=f,(n + <'{si$P-. s) + где θ* e= (0, α). Далее из (4.6) следует, что для любого g g(Jv (множество GY не пусто, поскольку по условию ψ (X*) = 0) найдется индекс i{g)^ R2(X*> g) такой, что (^4(^1,„)>.(п Так как функция ( ^2 g, g) непрерывна по X в точке X* равномерно по g,\\g\\=l, и /e[0:Af], то найдется такое а0, 0 < а0 < о, что для всех а е (0, а0) и всех g <ξ= GY будет Кроме того, из определения /?2(Х*, g) и из того, что ф(Я*) = 0, следует №м>г Теперь имеем в силу (4.7) для любого J = J*-f ag, а <= (0, а0), g <= GY, f * («> (*) > ft (g) (Χ*) +.{ <*2я (Г) - φ (Χ*) + 1 α2α (Ζ*). Тем более φ(Χ)>φ(Χ*). Введем обозначение от»{«111«0-1. i^P>v}.
9Э ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. 111 Поскольку ψ (X*) = 0, т. е. . ду (X*) Л min —^—- =0, то GYU Gy = S» ^telllffll=l}. Легко показать на основании (4.7), что найдется столь малое аи 0 < а! < а0, что для всех X = X* + ag, ае(0, а^, g^Gy, и любого i^R2(X*t g) будет М*)>«р(Г) + |ау. Тем более φ {Χ) > φ (Ζ*). Итак, установлено, что для любого X е Sa, №*)> Х=ФХ*, выполняется неравенство φ(Ζ)>φ(Ζ*). Теорема доказана. Замечание 1. Неравенство (4.6) выполняется, например, если для всех / е R (X*) матрицы —^L ' являются строго положительно определенными, т. е. если для всех / е R (X*) и V е £rt где m^ > 0 не зависят от V. Замечание 2. Теорема 4.2, разумеется, остается справедливой, если вместо (4.6) потребовать выполнения более сильного неравенства (d2fi(X*) \ ^ Λ mm max f" g, g>0. HglMie*2(X*,g)V αΛ / Замечание З. Приведем пример, показывающий, что условие γ > 0 в теореме 4.2 существенно, т. е. что выполнение неравенства min max (^iP-g, g) > 0, (4.8) где G0 = {g |||g||=l, ^* } = 0}, может оказаться недостаточным для того, чтобы точка X* являлась точкой строгого локального минимума функции φ(Χ).
§ 41 ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 91 Пример. Пусть /0 (X) = - *, - х% f{ (X) = 3*, + х\ + 4 Рассмотрим точку X* = (0, 0). Ясно, что Ф(Г)= max /,(Г) = 0, /?(Г) = {о" 1}, Я(Г) = {(-1, 0), (3, 0)}, L(r) = {ZJZa = (3-4a, 0), 0<α<1}. Поскольку 0 = Zs(i e L (X*), то J* является стационарной точкой функции φ{Χ); при этом ψ(Χ*)=πιίη max (Ζ, g) = 0. Легко усмотреть, что множество OoA{ffl0il-l.*jP-o} состоит из двух векторов: gi = (0, 1) и g2 = (0> ~1)> и что #2 (**, £ΐ) = *2(**, £2)={0, 1}. Далее ^0(Г) /0 0\ d*M**) /2 0\ -с -")· Μ» V0 —2) дХг \0 2, Поскольку \ дХ2 gu 8\) — {—Ж* &» 82)— А то получаем min max ( ^'ЙР g, g)=2>0. Итак, неравенство (4.8) выполнено. Покажем, что, несмотря на это, точка X* не является точкой локального минимума функции ψ(Χ)· Пусть Ve — {— е, 1), е>0. Имеем при <х>0 /0(νΓ + α^) = αε-α2, /, {X* + αΚβ) — -Зое + oV + α2.
92 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Рассмотрим, как ведет себя функция максимума φ (Г + aVB) = max {/0 (Г + at%), f, (Г + aVe)}. Нетрудно проверить, что (рис. 8) [МГ + aig при ае[0,^], 4ε <р(Г + аУг)=- Если обозначить ц лучим /,(Г + аКе) при а> 4ε 2 + ε< 4ε2 (-2 + ε2) 2 +ε2 ' j-, то при 0 <ε < Ι πο- Ф (Χ* + %V&) = "{l +%y '■ < 0 = φ (Г) Остается заметить, что aftVft ;>0. Λε" ε ε->+0 4· Переходим к получению некоторых оценок для величины μ, μ = min max fi{X)= min φ(Χ). X^En i<=[0:N} X^E» Функции fi(X), ie[0:W], по-прежнему считаются непрерывно дифференцируемыми на всем Еп. *»ас Рис. 8. Теорема 4.3. Предположим, что для % некоторой точки Xq е= Εη нашлось такое множество индексов Qcz[Q:N], что min max №£^, g)>0. (4.9) Hell—ι i^Q { dJi j Если функции ft(X) для всех i gQ выпуклы, то справедливы неравенства min М*о)<1*< Φ (*<>)·
§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 93 Доказательство. Неравенство μ<|φ(ΧΌ) очевидно в силу определения μ. Докажем второе неравенство. Для этого введем функции ft(X) = fi(X)-fi(Xo)> *e=Q, φ (Χ) = max MX). Очевидно, dfj(X) _ dfi(X) ~,yv_n и R (Х0) ^ {i e QI f£ (X0) = φ (Χ0)} = Q. (4.10) Поскольку функции fi(X) при всех /gQ выпуклые, то заключаем в силу (4.9), (4.10) и теоремы 3.1, что Х0 есть точка минимума функции ф(Х) на Еп. Теперь имеем для всех X е Еп: 0 = φ (XQ) < φ (X) = max (/,· (Χ) - ft (X0)) < < max fiW-mmfiiXo), (4.11) * <= [0 : W] isQ откуда и следует требуемое неравенство . min ft {XQ) < μ. Теорема доказана. 5. Теорема 4.4. Пусть для некоторой точки Х0& Еп нашлось множество Q cr [0: Ν] такое, что minmaxfiMM , g) Ж _ 8 < о. (4.12) Пусть далее функции ft {X) для всех i e=Q являются дважды непрерывно дифференцируемыми на Еп, причем для всех ieQ, X ^Еп и V еЕп (ШР-V, v)^m\\V\f, (4.13) еде т> 0 не зависит от /, X и V. Тогда πύηΜ*0)-^-<μ<φ(Χ0).
94 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Доказательство. Для любых /e[0:JV], ae €=(—оо, оо) и g, 11^11=1, имеет место равенство +τ^Γ'&!·'Μ«·«)· <4|4> где θ< е (0, а). Для любого g, ||g||=l, найдется в силу (4Л2) индекс i(g)^Q такой, что (ulflg*. ,)>_.. (4.,5) На основании (4.14), (4.15) и (4.13) получим U (8) (Хо + *ё) > fi («) (*о) - « +1 «An > > min // (Я0) — αε + -r- a2m. Гак как для любого α^(·—со, оо) ТО Окончательно имеем ε2 μ^πιΐη/,ί^ο)—«S"· Неравенство φ(Χ0)^μ очевидно в силу определения μ. Теорема доказана. Следствие. Если в условиях теоремы Qcz R(Х0), то § 5. Метод покоординатного спуска. Метод наискорейшего спуска. Отрицательные примеры 1. В этом параграфе мы обратимся к методам минимизации функции максимума <р(Х). Начнем с простейшего из них — с метода покоординатного спуска.
§ 5] МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ 93 Положим <?i = (l, 0, ..., 0), е2 = (0, 1, 0, ..., 0), ... ..., еп = {0, ..., 0, 1). Произвольным образом выберем начальное приближение Х0^Еп. Допустим, что множество м(*0) = {Лф(*)<ф№))} ограничено. В силу непрерывности φ(Χ) множество М(Х0) является к тому же замкнутым. Пусть уже найдено k-e приближение Xk<^M(X0). Опишем построение Xk+\· Рассмотрим прямую X = Xkl {а)£хк + аеи - оо < α < оо, и найдем а-г1е(—со, со) такое, что Ф(^*|(а*1))= min Φ№ι(ο))· ое(-оо, оо) Поскольку М(Х0) — ограниченное замкнутое множество, минимум здесь достигается, при этом Xki{akl)^ М(Х0). Рассмотрим далее прямую X = Xk2(a) = Xk\(<*k\) + ае2, — оо <а< оо, и найдем ak2^(— оо, со) такое, что Φ (Xk2 (^2)) = min φ (Хк2 (α)). ае(-оо, оо) Очевидно, Xk2(αΛ2) s Αί (Ζ0). Продолжая аналогично, придем к прямой X = Xkn(<*) = Xk,n-i(<*ktn--i) + <*en> — оо <α< оо. Найдем аАпе(—со, со), при котором Φ №« (а*я)) = min φ {Xkn (а)). ае(-оо, оо) Положим Xk+x = Xkn(akn). Ясно, что Zfe+I <=M(X0) и φ(^+1)<Φ№). Продолжая описанный процесс, получим последовательность точек Xk^M{X0)> & = 0, 1, 2, ..., причем ф№)>ф№)> ... >ф(**)>... Можно было ожидать, что предельная точка последовательности {Xk} является точкой локального минимума
96 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ill функции φ(Χ). Однако в общем случае это не так. Более того, предельная точка люследовательности {Хк} может не быть даже стационарной точкой функции φ(Χ). Пример 1. Пусть * = (*!> *2); *1=0. 0), е2 = (0, 1). /, {X) = 2jc, + *2; /2 (X) = - Χι - 2*2; f3(JT) = — Χ! + х2 — 3. <p(J)= max ft (X). *e[l :3] В качестве начального приближения для метода покоординатного спуска возьмем точку Х0 = (0, 0). Заметим, что φ (Х0 + ае{) = max {2α, — α, — α — 3} = ί 2α, если aj>0, 1 — α, если a ^ 0. Отсюда aol = 0, X0l (aoi) = Χ0· Далее Φ №1 (aoi) + ae2) — max ία> — 2α, α — 3} = ί α, если α^Ο, 1 — 2α, если α<!0. Отсюда α02 = 0, Χ, £, Χ02 (α02) = Χ0- Продолжая аналогично, получим Xk~X0> k — U 2, ..., так что в данном случае единственной предельной точкой последовательности {Xk} является Х0. Проверим точку Х0 на стационарность. Имеем №о) = {1, 2}, #(J0)={(2, 1), (-1, -2)}, L(Xa = {Za\Za = {3a-l9 3α-2), 0<α<1}. Очевидно, 0 φ. L (Χ0). Значит, Х0 не является стационарной точкой функции φ (ΛΓ). Замечание. Легко показать, что ближайшей к началу координат точкой множества L (Х0) будет Ζν2==ίγ, —-j") (рис. 9). Пользуясь теоремой 3.3, заключаем, что функция φ{Χ), не убывающая в точке XQ
§ 51 МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ 97 по каждой координате в отдельности, имеет следующее направление наискорейшего спуска: « = (■ 2. Переходим к описанию метода наискорейшего спуска минимизации функции максимума φ(Χ). В основе этого метода лежит то обстоятельство, что если точка X не является стационарной точкой функции φ(Ζ), τ. е. если ψ(Χ)<0, то существует единственное направление наискорейшего спуска g(X) функции φ(Ζ) в точке X (см. теорему 3.3). Возьмем начальное приближение Х0 ^ Еп. Предположим, что множество Μ(Х0) = {X |φ(Ι)<φ(Х0)} ограничено. В силу непрерывности φ(Χ) множество М(Х0) является, кроме того, замкнутым. Пусть уже найдено k-e приближение Xk е Μ (Х0). Если ψ(Λ^)Ξ>0, то Xk — стационарная .точка,.и процесс на этом заканчивается. В противном случае строим вектор gk = g{Xk)- Рассмотрим луч X = Xk(a)£Lxk + agk, α>0, и найдем ak e [0, оо), при котором ф№Ы)= min q>(Xk{a)) α€=[0, оо) - (минимум здесь достигается в силу ограниченности и замкнутости М{Х0)). Положим Хк+х = Хк{ак). Ясно, что Хк+х^М{Х0) и φ(ίΗι)<φ(^). Продолжая описанный процесс, получим последовательность {Xk}} причем IfeeM(Z0), £s=0, 1,2,..., φ(Χ0)>φ(Χι)> ... >φ№)> .··,
ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Щ- и если последовательность {Хк} конечна, то последний ее элемент по построению является стационарной точкой функции φ(Χ). Применим метод наискорейшего спуска к минимизации функции φ (ЛГ), рассмотренной в примере 1. В качестве начального приближения возьмем точку J0=(0,0). Как уже отмечалось, направлением наискорейшего спуска в этом случае будет Имеем ( V2 VT /- 1 ф(Х0 + а£0) = тах[ ^-а, j-a, ]/2α — 3j = = ¥γ· max {— α, 2α — 3 уТ}. Очевидно, α0 = "/2 и X{£LxQ +a0g0 = {— l, 1). Далее Μ*ι)»Μ*ι)«Μ*ι)«-1. Л(ДГ,)-{1, 2, 3}, Я№) = {(2, 1), (-1, -2), (-1, 1)}. Начало координат принадлежит треугольнику L{X{) (рис. 10). Значит, Х{ — стационарная точка. Более того, Хх является точкой минимума функции φ (Χ), ибо в данном случае φ {X) — выпуклая функция. Наконец, отметим, что φ(Ζ1) = —1. Метод наискорейшего спуска является более гибким методом, чем метод покоординатного спуска. Однако и он в общем случае не обладает основным свойством — сходимостью. Это означает, что при минимизации функции максимума φ(Χ) предельная точка последовательности {Xk}> построенной по методу наискорейшего спуска, может не быть стационарной точкой функции φ(Ι). Причина здесь кроется в том, что функция максимума φ {Χ) не является гладкой (непрерывно дифференцируемой) функцией. -/ L(Xf) 1 0 / . -2 2 Рис. 10.
§5] МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ 99 Ниже приводится пример возможного в рассматриваемом методе эффекта «заедания». 3*· Пример 2. Пусть a=(atj, лг2); fx (X) = -б*, + х2; f2 (X) = 4х2 + я* + 4; f3{X) = 5x{ + x2\ φ(*) = max/,(*). /е[1:3] Поскольку функции fi{X), /e.[l:3], выпуклы, то выпуклой будет и функция φ(Χ). Рис. И. Введем обозначения: c^tfif.w-Mfl)- Нетрудно проверить, что (рис. 11) /j {X), если X лежит внутри Сх и левее С, /з(-Х"). если Ζ лежит внутри С2 и правее С, [ f2{X), если Ζ лежит вне С, и С2. φ(Ζ) =
100 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III В точках Х = (0, 0) и Х*=^(0, —3) имеем f{(X) = f2(X) = h(X) = 09 ^Покажем, что X* является стационарной точкой, а X не является стационарной точкой функции φ(Χ). Для этого заметим, что дП (X) _ / кП af, (ΛΓ) дХ = (2хи 4 + 2*2), дХ —53Г- —УМ)· Далее /? (Г) = {1,2,3}, Я (Г) = {(-5, 1), (0, -2), (5, 1)}. Начало координат принадлежит треугольнику L {X*) (рис. 12). Значит, Х* = (0, —3) является стационарной J .\ -5 \. г» / 0 Z.iX*j >^. У^ 5 -г • о -5 4 \ <3(Х) 5 х, Рис. 12. Рис. 13. точкой. Поскольку функция φ (Χ) выпукла, то X* является точкой минимума функции φ(Χ). Отметим, что φ(Ζ*) = Теперь обратимся к точке X. Имеем R(X) = {1,2,3}, Я (*)={(-5, 1), (0,4), (5, 1)}. Начало координатные принадлежит треугольнику L(X) (рис. 13), значит, Х = (0, 0) не является стационарной точкой функции φ{Χ). Наша цель будет заключаться в построении методом наискорейшего _спуска последовательности {Хк}, сходящейся к точке X.
§ δ] МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ 101 Основная трудность при этом сводится к выбору начального приближения Х0. Рис. 14. —х. Введем обозначения (рис. 14): G1 = i— γ, -—jj —центр окружности С{; G = (0, —2) — точка минимума функции f2(X)l Z{ = (—5, 1) — градиент функции fx {X); Z{X)£L{2xl9 4 + 2*2) = 2 (J-G)-градиент функции /2(1) (точку мы воспринимаем и как вектор, компоненты которого совпадают с координатами этой точки); #«{*«(*!, *2)|*еС„ -4<*i<0, *2>0}; А — точка, принадлежащая С[ и удовлетворяющая условию {А — Gu Zj)==0 (отрезок AGx перпендикулярен отрезку OZ{)\ В — точка, принадлежащая С\ и удовлетворяющая следующему условию: если Ρ — первая точка пересечения касательной к окружности Сх в точке В с окружностью С2, то (Р — β, P — G) = 0; С! — множество точек окружности С1э расположенных правее точек А и θ и левее точки О.
102 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. UX Утверждается, что если взять Х0^С{ и построить методом наискорейшего спуска последовательность {Xk}> то эта последовательность будет сходиться к J = (0, 0). Доказательство разбивается на три этапа. На первом этапе будет показано, что направлением наискорейшего спуска функции φ(Χ) в точке Х0 является направление по касательной к окружности С{ в точке Х0 в сторону окружности С2. На втором этапе устанавливается, что минимум функции φ{Χ) в направлении наискорейшего спуска достигается в первой точке пересечения рассматриваемой касательной с окружностью С2. Таким образом, Х{ есть первая-точка пересечения касательной к окружности С{ в точке Х0 с окружностью С2. Теперь понятно, какой будет вся последовательность {Xk}. На третьем этапе показывается, что Xk fe_>oo> X. Переходим к подробному проведению всего доказательства. Первый этап. Пусть X0 = (xf\ xfjeCj, В этом случае ОД) = {1,2}, tf(*o)-{Zlf гад- Множество L(X0) есть отрезок, соединяющий точки Ζχ и Ζ(Χ0). Легко проверить, что вектор "-(-'■ *&) (5·° перпендикулярен к прямой, проходящей через точки Ζχ и Ζ(Χό), τ. е. что (Zj — Z(X0), V0) = 0. С другой стороны, тот же вектор VQ перпендикулярен к радиусу — вектору точки XQ9 проведенному из точки G, : (JT0 — Gi, K0) = 0. Итак, вектор V0> перпендикулярный к прямой, проходящей через точки Zx и Z(X0)t является касательным к окружности С\ в точке Х0. Учитывая, что Х0 лежит на Cj правее Л, заключаем, что вектор V0 направлен на ближайшую к началу координат точку множества L(X0) (рис. 15, где векторы Z„ Z(X0)M=2 {X0— G) и V0 проведены из· точки Х0). Таким образом, направлением
§ 5] МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ ЮЗ наискорейшего спуска функции φ (Я) в точке Х0 является вектор «W—тйг (5·2) Это есть направление по касательной к окружности С{ в точке Х0 в сторону окружности С2. Рис. 15. Рис. 16. Второй этап. Положим g0 = g(X0) и рассмотрим функцию φ{Χ) на луче X = X0(a)£:Xo + (xgQ> α>0. Введем обозначение Ь(а)**Ш0 + аЯо)9 /€=[1:3]. Очевидно, Φ (Xq + ago) = max A, (a). ί«[1:3] После несложных вычислений, учитывая (5.1) и (5.2), получим (рис. 16) hl(a)^fl(Xo) + 2a(XQ-Gt g0), h2 (α) = h(X0) + 2α (Χ0 - G, g0) + α2(g0, go)> h (α) - /з (*ο) - 2α (*0 - G3, £0)> где G3«(0,-1).
104 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Заметим, что прямая y = h{(a) касается параболы y = h2(a) в точке а = 0, ибо М*0) = /2(*о) и ^ (0) —Аг(0). Далее h2(a) достигает минимума при № „ Q> go) (go, ίο) ■ Обозначим через α* первую точку пересечения прямой y = h3(a) с параболой y = h2(a) (соответствующая точка Х0 (а*) = J0 + a*g0 лежит на пересечении касательной к окружности Сх в точке Х0 с окружностью С2). Если мы докажем, что а* < а, (5.3) то это будет означать, что φ(Χ) достигает минимума на луче-J=?Xa(a) в точке Х0{а*). Неравенство (5.3) следует из того, что Х0. лежит на С{ правее β. Действительно, легко проверить; что (X0 + a>gQ — G, g0) = 0. Это означает, что радиус-вектор точки Х0(а), проведенный из точки G, перпендикулярен к касательной к окружности С, в точке Х0. Таким образом, получаем простое правило для нахождения Х0(а): нужно из точки G опустить перпендикуляр на касательную к окружности С{ в точке Х0\ основание этого перпендикуляра и есть Х0(а). Точка В обладает тем свойством, что если взять Χ0 = β, то соответствующее α будет совпадать с а*. Так как Х0 лежит на С{ правее β, то а* < а. Итак, доказано, что минимум функции φ{Χ) на луче Хо(а) достигается в точке Х0{а*). Это означает, что Хх есть первая точка пересечения касательной к окружности С{ в точке Х0 с окружностью С2. Проводя аналогичные рассуждения для Хи получим, что метод наискорейшего спуска приводит нас к точке Х2, являющейся первой точкой пересечения касательной к окружности С2 в точке Х{ с окружностью С{ и т. д. (рис. 17). Таким образом, можно считать построенной всю последовательность {А*}. Осталось доказать, что
§ 5] МЕТОД СПУСКА. ОТРИЦАТЕЛЬНЫЕ ПРИМЕРЫ Ю5 Третий этап. Введем точки Р0, Pl9 Р2, Р3, как это показано на рис. 18. Обозначим 2 J^ J0P0 = а0, ΖΧ0Ο^3 = β. Очевидно, ||Х, ΙΚΙΙΛ II и где β0 — острый угол между касательной к окружности Сг в точке О с осью *j = 0. Положив I — tga0tgp0 = <7, 0<<7<Ь получим II У. II ^У' Аналогично показывается, что для любого нату- рального* li^ii ^, Uk-Λ ^q' Отсюда || Xk ||< q" \\X01|, 0<?<1. Значит, jrA-j—*.<), или, что то же самое, 1*~"*^ =**.
106 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Остается напомнить, что X не является стационарной точкой функции φ(Χ). Замечание. В рассмотренном примере функция ψ(Χ) терпит разрыв во всех точках Х = Х + а{Х* — X), Ο^α^Ι. Доказательство этого утверждения, опирающееся на лемму 3.3, предоставляется читателю. § в. Первый метод последовательных приближений 1. Для дальнейшего нам понадобятся некоторые новые понятия. Как и раньше, будем считать, что функции fi{X), I е [0 : N]t непрерывно дифференцируемы на всем Еп\ пусть φ(*) = max ft{X). Положим при фиксированном Х^Еп «•W-Pl9W-fiW<e}f e>0. Очевидно, R0{X) = R{X), и если ε'>ε, то Rz>{X)zzRt{X). (6.1) Опишем^более подробно зависимость множества Rz (X) от ε. Для этого перенумеруем числа fi = fi{X) (X у нас фиксировано) в порядке убывания: //οι= ··· s==1fhj0>fhi= ··· Очевидно, 0<m<Af, причем т — т{Х) зависит от X Обозначим h{X) — [tkl9 ..., iklk}9 k &[0 : m]; a* (*)-Φ (*)-/*(*). i^Jk(X). Ясно, что α0(Χ) = 0 и (рис. 19) 0=а0(Х)<а{(Х)< ... <ат(Х). По определению будем "считать, что ат+1{Х) = оо,
§ 6j ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ \Q7 Введем индексные множества *'№-U'*(*)· se[0:m]. Имеем R°(X) = R(X), Rm{X) = [0:N]. Теперь можно записать основное представление для Re{X): ReiX) = Rs{X)> если as{X)^B<as+l{Xy, se[0:m]. (6.2) В частности, Я. W - Я (*). если 0 < ε < α, (Ζ); /?.W —[0:JV], если α„(Χ)<ε<οο. Лемма 6.1. Для произвольного Х0 s £n существуют числа Vo > 0 м δ0 > 0 такие, что для любых ε е [0, Υο] м I'sf, ||*'-*οΐί<*ο Λβ(*') с=Д(*0). Доказательство. Если R{X0) = [0:N], то в качестве γ0 и ό0 можно взять любые положительные числа. Пусть R(X0)¥*[0:N]. Тогда положим γ0 = «γα^ΑΌ), а б0>0 выберем таким, чтобы из неравенства \\Х' — Х01|< δ0 следовало |/г(Г)-Ы*о)КтМ*о) Рис. 19. равномерно по /' е [0: JV]. Заметим, что в этом случае выполняется также неравенство |φ(Χ')-φ(*ο)Ι<ί-Μ*ο)· : [О, vo] и || X' - Х0II < б0. Для i e Rt (X') Пусть теперь е < имеем φ (Хо) - ft Wo) = [φ (Хо) - φ (Χ')] + [φ (*') + [/, (Л - U (Хо)} < τ «ι (Хо) + ε + j а, (Х0) f,(X')] + щ (Х0).
108 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. UI Итак, φ {Х0) — fi{X0) < ах (Х0), что возможно лишь тогда, когда i^R(X0). Лемма доказана. 2. Введем функцию iM*)«min ™ах (ibHL>fir), ε>0. Очевидно, ψ0(Χ) = ψ(Χ"). В силу (6.1) и (6.2) при фиксированном X функция ψβ(Λ) как функция от ε, 0<ε<οο, является 1 /7 и φ(χ) 1 β/ (X) аг(Х) а3(Х) 1 5 rsW Рис. 20. неубывающей и кусочно-постоянной, причем (рис. 20) *.(*)«♦. да(*). если as(X)<e<ai+I(X), se[0.:m]. (6.3) Заметим, в^ частности, что ψε(Χ) = <ψ(Χ), если 0*ζε<α{(Χ). (6.4) Определение 1. Точку Х*^Еп, для которой выполняется неравенство *.(Л>о, будем называть г-стационарной точкой функции φ(Χ). Определение 2. Вектор g8(J), HgeC?)||=l, называется направлением ε-наискорейшего спуска функции φ{Χ) в точке X, если
§ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ Ю9 Положим Через Le{X) будем обозначать выпуклую оболочку, натянутую на точки множества Нг(Х)> Справедливы следующие два утверждения. I. Для того чтобы точка X* была г-стационарной точкой функции φ(Χ), необходимо и достаточно, чтобы начало координат принадлежало Le{X*): О el, (Г). II. Если X не является е-стационарной точкой функции φ{Χ),_τ. е. если ψε(Ζ)<0, то функция φ{Χ) имеет в точке X ^единственное направление е-наискорейшего спуска g&{X). При этом ,(*)«=- ζ: КГ где Zs — ближайшая к началу координат точка множества Le(X) и ψβ(Γ) = -|ζ;|. Доказательство этих утверждений вполне аналогично доказательству теорем 3.2 и 3.3. — 3. Теперь можно перейти к описанию первого метода последовательных приближений для нахождения стационарных точек функции φ(Χ). Зафиксируем прежде всего два параметра ε0 > 0 и р0 > 0. Возьмем начальное приближение Х0 е Еп. Предположим, что множество М(Х0) = {Х\ φ(Χ)^φ(Χ0)} ограничено. В силу непрерывности φ{Χ) множество М{Х0) является к тому же замкнутым. Пусть уже найдено k-e приближение Xk е Μ (Χ0). Если ψ(Ζ^)>0, то Х^—стационарная точка, и процесс на этом заканчивается. Предположим, что ф(^)<0. Тогда перебираем числовую последовательность εν = ε0/2ν, ν = 0, 1, 2, ..., до тех пор, пока не выполнится неравенство (рис. 21)
ПО ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ш (в частности, это может случиться и при v = 0). Первое ν, при котором выполняется неравенство (6.5), обозначим через ν*. Заметим, что ν* — конечное число. Это У I 0 φΟ Рис. 21. следует из того, что правая часть неравенства (6.5) стремится к нулю при ν-*<χ>, а левая в силу (6.4)—· к№)<0. Итак, и если vk > 0, то В дальнейшем для простоты будем использовать обозначение Положим gft— gu (Xk), где gu (Xk) — направление ^-наискорейшего спуска функции φ(Χ) в точке Xk, и рассмотрим луч X = Xk {a) = Xk + agk, a > 0. Найдем ak e [0, оо), при котором Φ (**(<**)) = min φ(Χ*(α)) α s [0, ©о) ] I о
$ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 111 (инфимум здесь достигается в силу ограниченности и замкнутости М{Х0)). В качестве (k + 1)-го приближения Хк+1 возьмем Xk + l ==-Xfe (α*)· Ясно, что Xk+i s Μ (Χ0). Нетрудно показать, что φ(**+ι)<φ(**). (6.6) Действительно, для достаточно малых α имеем = max {/,(^) + e(i^,ft) + ol(firk;o)}< i*R(xk) ι \ ал j j Отсюда очевидным образом следует неравенство (6.6). Итак, можно считать построенной последовательность {Хк} и связанные с ней последовательности {чЬ Ы» {«*}. причем XheM(X0), k = Qt 1, 2, ..., φ(*ο)>φ(*ι)> ... >ΦΛ)> .... (6.7) и если последовательность {Хк} конечна, то последний ее элемент по построению является стационарной точкой функции <р(Х). Рассмотрим случай, когда последовательность {Хк} бесконечна. Лемма 6.2. При k -> оо выполняется предельное соотношение ε*->0. Доказательство. Предположим противное. Тогда найдутся число ε*>0 и подпоследовательность [ε*Л такие, что ikj > β\
112 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Учитывая, что Re*(Xkt)czRtb (Xk)t получим для /еЯ,.(**у): U (^ + «*»,) < U (**,) + а\ (*·,) + о*, («) < где р*=-^е*. Поскольку АГц. eAi(ATo) и М{Хо) — огра- ничейное замкнутое множество, то в силу замечания 2 к лемме 3.1 Приложения III найдется а0>0, не зависящее от i и £/, такое, что для i^ RB*(Xkj) и ae[0,ao] будет /ι (**, + «*»,) <*№,)-Т °Р'· (6'8> Теперь положим С,- max max \Щ^\. ЛГеШ(ЛГв) /e[0:JV]ll σΛ И Для t&Rz*(Xkj) будем иметь /ι (**, + «**,) < ^ (**,) + аС' + Ч(а) < < φ (*4/) - е* + оС, + о<А/ (а). Найдется столь малое а,, 0<а,^а0> не зависящее от i и fe/, что для ίφ. Rt-(Xк.) и as[0, с^] будет Ъ(*»у+ <*»,)< φ (**,)-■£·'· <6·9> Зафиксировав теперь некоторое α', 0<α/^α1ι получим в силу (6.8) и (6.9) равномерно по kj φ(^ + α^)<φ(^)-β, (6.10) где p = min|yaV» γ8*}' Это неравенство немедленно приводит нас к противоречию. Действительно, в силу (6.7) вся последовательность {φ (Xk)}> ограниченная снизу числом φ = min φ (Χ), имеет предел
§6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ ИЗ причем при каждом fc = 0, 1, 2, ... ф(**)>Ф*. (6.11) Выберем kj столь большим, чтобы ф(^)<ф*+^· Получим в силу (6.10) что противоречит (6.11). Лемма доказана. 4. Если последовательность {Хк}, построенная в предыдущем пункте, бесконечна, то она имеет хотя бы одну предельную точку, поскольку все члены этой последовательности принадлежат ограниченному замкнутому множеству М(Х0). Теорема 6.1. Любая предельная тонка последовательности {Xk} является стационарной точкой функции Ф(*)- Доказательство. Пусть Ясно, что ГеМ(10). Требуется показать, что X* является стационарной точкой функции φ(Χ), τ. е. что ф(Г)>0. Предположим противное: AUnJLtnin max (ЩР-> *)--6<0. В силу леммы 6.1 найдется число γ*>0 такое, что для достаточно больших номеров k$>K\ и ее[0, γ*] будет Re(Xkj)<=:R(ry Отсюда следует, что для & е [0, γ*] и k}>K\ (dU(xk) \ ψε(Λν)<πιίη max I—jut2-* 8l·
mm max — mm U4 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Выберем столь большое натуральное К^К{, чтобы для kj>K выполнялось неравенство тах I—7ΠΓ~9 81 < — · Получим для &/># и ее[0, ν*] Положим e- = min{v.,i.4}. Через ε* обозначим наибольший из членов последовательности εν = ε0/2ν, ν = 0, 1, 2, ..., меньших ε'. В этом случае для всех k}>K будет ε \ kj) * εο ε0 Если вспомнить, что г. есть первый член последо- вательности {εν}, для которого выполняется аналогичное неравенство, то получим для всех kj>K *J что противоречит лемме 6.2. Теорема доказана. Замечание. На каждом шаге описанного метода последовательных приближений приходится находить ek, gk и ak. Наиболее трудоемкой задачей является выбор ίΛββν —первого члена'последовательности εν=ε0/2ν, ν = 0, 1, 2, ..., для которого выполняется неравенство (6.5). В силу леммы 6.2 ek ^^О. Отсюда следует, что с ростом k число испытаний (сравнений ψε {Χ^ с — — εν, ν = 0, 1,2, ...) для выбора гк возрастает. εο / Для нахождения ё^, /г == 1,2, ..., может быть использовано следующее соображение: испытания можно на·
§6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ Ц5 чинать не с ε0, а с &ь-и полученного на предыдущем шаге. Если то перебираем последовательность zk^l2vy v = 1, 2, ..., пока не дойдем до гк. Если же то найдем наибольшее ν ^ 0 : log2 ^ε° , при котором остается справедливым неравенство Соответствующее βΑϊ—ι2ν и есть ε*>. 5*. В связи с предыдущим замечанием опишем одну модификацию первого метода последовательных приближений. Пусть уже найдено 6-е приближение X'k, k = 0, 1,2,..., и ψ(Χ£)<0. Для построения X'k+\ предлагается перебирать последовательность εΛ_1/2ν,ν=0, 1,2, . ..;ε^1=εΰ. Через lk обозначается первый член этой последовательности, для которого В остальном построения такие же, как в основном методе: полагаем g£ = gg (X'k) и в качестве Х£+1 берем точку минимума функции φ(Ζ) на луче X — X'k + ag'kf α>0. Очевидно, гк^гк^ и φ(**+ι)<φ(ΛΓ*). Если последовательность {Χβ бесконечна, то βΛ->0 при &-*оо. (6.12) Доказательство этого утверждения дословно совпадает с доказательством леммы 6.2. Теорема 6.2. Пусть [X'k } — такая подпоследовательность последовательности {X'k} > что
116 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ill Если M(Xq) — ограниченное множество, то любая предельная тонка подпоследовательности [X'k } является стационарной тонкой функции cp(J). Доказательство. Заметим, во-первых, что неравенство (6.13) равносильно следующему неравенству: ν·(ζυ>-ΐ%- (6Л4) Далее в силу (6.12) подпоследовательность [X'k } бесконечна. Без ограничения общности будем считать, что вся подпоследовательность [X'k } сходится: Требуется доказать, что X* — стационарная точка функции φ{Χ)> Предположим противное; Пусть ф(Г) = -6<0. Повторяя рассуждения, приведенные при доказательстве теоремы 6.1, получим, что найдутся такие К>0 и γ*>0, что при kp>K и eG[0, f] будет *.W<-i· (6Л5> Из (6.12) и (6Л5) следует, что при достаточно больших kp справедливо неравенство \Ч0-\\ V. εο V"1 что, однако, противоречит (6.14). Теорема доказана. Следствие. Если функция максимума φ (Χ) выпукла, а множество М{Хо) ограничено, то любая предельная точка последовательности {X'k}, построенной модифицированным методом, является точкой минимума функции φ (Я). Действительно, последовательность {φ(Хи)} сходится: В силу теорем 6.2 и 3.1 некоторая подпоследовательность последовательности {Х$ сходится к точке ми-
§71 ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ П? нимума функции φ{Χ). Отсюда и из непрерывности φ{Χ) следует, что φ*= min ψ {X) ML μ. Итак, φ№)τ^>μ. Для любой предельной точки X* последовательности {X'k} имеем Φ (Г)-μ. Значит, X* является точкой минимума функции φ{Χ). Утверждение доказано. § 7. ε-стационарные точки. Второй метод последовательных приближений 1. Напомним, что точка X* е Еп называется г-ста* ционарной точкой функции φ(Χ), если или, что то же самое, min max ( *ί^£1, Λ > о. Off ||*-1 £е*е(**)\ ОЛ I Выясним смысл этого определения. Пусть X* — ε-стационарная точка и функции ft(X) выпуклы на Еп при /е/?е(Г). Тогда выполняются неравенства 0<φ(Χ*)-μ<ε, где μ== inf φ (X). Действительно, в силу теоремы 4.3 х^еп min Μ**)<μ<φ(*> Однако, для i e Rz (X*) Ф(Л-МЛ<в- Теперь имеем 0<φ(Χ*)-μ<φΟΓ)- min /г(Г)<е, что и требовалось доказать.
118 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ Ш Таким образом, если X* — ε-стационарная точка и fi (X), i e Re {X*)t — выпуклые функции, то φ (Χ*) есть приближенное значение для μ с абсолютной погрешностью, не превышающей ε. Зафиксируем ε > 0. Нашей ближайшей целью является описание метода последовательных приближений для нахождения ε-стационарных точек. В качестве начального приближения возьмем произвольную точку Х0^Еп, Предположим, что множество М(Х0) ограничено. Пусть уже найдено ft-e приближение Xk^M{X0). Если iMJ*)>0, то Xk — ε-стационарная точка, и процесс на этом заканчивается. Предположим, что ψε(Χ&)<0. Тогда полагаем gk — geiXk)* гДе geiXk) — направление ε-наискорейшего спуска функции Ц){Х) в точке Хк. На луче X = Xk(a) = Xk + agk, α>0, найдем точку Xk{ak)t для которой у(Хк(ак)) = ттч{Хк(а)). α>0 В качестве {k + 1)-го приближения Xk+{ возьмем точку Ясно, что Xk+l<=zM{X0) и что φ (**+,)< φ (*Л). Далее продолжаем аналогично. Если последовательность {Xk}, построенная описанным выше методом, конечна, то последний ее элемент по построению является ε-стационарной точкой функции φ(Χ). В противном случае справедлива Теорема 7.1. Любая предельная тонка последовательности {Xk} является е-стационарной точкой функции φ(Χ). Предварительно докажем две леммы. Лемма 7.1. Для произвольного X &Еп и произвольного ε>0 найдется такое δ>0, что из неравенства ||X' — Х\\<δ будет следовать R,{X')<=:RZ{X). Доказательство. В силу формулы (6.2) существует ε'>ε, при котором R*>{X) = R*(X). (7 А)
§7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ Ц9 Пусть 6>0 таково, что из неравенства \\Х'-~Х\\<6 следует равномерно по ί € [0 : Ν]. Для тех же X' будет выполняться неравенство 1ф(Л ~ф(*)1<4 (*'-*)· Возьмем 1"е#е(А/). Если \\Х'-~Х\\<Ь, то получим φ (X) - /, (*) - [φ (Χ) - φ (Г)] + [<Ρ (*') - U (*')] + + [^(^)-/ί(^)]<γ(ε,-ε) + ε + 1(ε^6) = ε'. Следовательно, /е^(А'), и в силу (7.1) isi?e(I). Лемма доказана. Лемма 7.2. Для построенной выше последовательности {Xk} выполняется предельное соотношение ϋϋ!Ψβ(**)>0. (7.2) Доказательство. Допустим противное. Тогда найдется подпоследовательность {Xk,} и число 6>0 такие, что Существует столь малое с^Х), что для i&Rt(XkX а е [0, а{] и всех kt будет, а для 1фКг{Хк^ as[0, aj и всех ft/ Μ**/+ «**/)< Φ (**/)" 7 е (см. доказательство леммы 6.2). Отсюда следует, что равномерно по kj Φ^, + α.ίί,Χφ^,)-?. (7.3) где p = min|-~a,6, ye}.
120 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Неравенство (7.3), так же, как в лемме 6.2, приводит нас к противоречию. Лемма доказана. Доказательство теоремы. Пусть Х*1 Ну^* Х** Требуется доказать, что ψβ(Χ*)>0. Предположим противное: ♦е(Г)«-6<0. В силу леммы 7.1 для достаточно больших номеров kj>K\ будет Теперь, так же как при доказательстве теоремы 6.1, устанавливаем, что найдется такое натуральное число Κ^Κι, что при kj>K Последнее неравенство, однако, противоречит (7.2). Теорема доказана. 2. Пример. Рассмотрим функцию F (X, t) = (cos t + cos (2* + хх) + cos (3ί + χ2))2, где Χ = (χ{, х2)> /ξξ[0, 2π]. Положим ίι—^, 'le[0lN]; fi(X) = F(X,ti). Пусть Λ/' ===== 100 и е ===== 0,001. Найдем ε-стационарную точку функции <р(Х)== max ft(X) i e [0 : JVJ методом, описанным в п. 1. В качестве начального приближения возьмем· точку Х.0 = (0,785; 0,785). Результаты вычислений приведены в табл. 2. Заметим, что rk есть расстояние от начала координат до многогранника Lb{XhY> sk — количество индексов /, входящих в R^{Xk)*
§ 7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 121 Таблица 2 к 0 1 ! 2 3 4 5 6 7 8 9 10 ч 0,7850 0,7850 2,1297 0,9347 2,1281 0,9359 2,1283 0,9358 2,1606 0,9837 2,8870 2,2443 2,8874 2,2441 2,8634 2,1713 2,8639 2,1712 2,8595 2,1495 2,8595 2,1491 Чхк) 8,5762 4,6316 4,6236 4,6228 4,6045 3,9573 3,9558 3,9215 3,9204 3,9120 3,9118 Tk 1,6419 4,8784 4,5216 0,2381 0,0989 3,9563 0,3282 3,8887 0,3377 0,4220 0 sk 1 1 ι 2 3 1 2 1 2 2 3 Ч 1,3530 0,0020 0,0002 0,0578 1,4549 0,0005 0,0766 0,0005 0,0221 0,0005 "^ 1 На десятом шаге последовательных приближений мы получили ε-стационарную точку X* — (2,8595; 2,1491), причем <p(J*) = 3,9118. У Рис. 22. На рис. 22 приводится вид функций F{Xk, f) при kt равном 0, 4'и "10.
122 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III 3*. Опишем одну модификацию изложенного выше метода последовательных приближений для нахождения ε-стационарных точек. При этом будем предполагать, что функции fi(X)i /e[0:tf], дважды непрерывно дифференцируемы на всем Еп, так что для любых Х^Еп uY&En справедливо равенство + ц*Ш+Шу^$ {7А) где Θ*г(0, 1) и /е[0: Щ. Зафиксируем ε>0. Возьмем начальное приближение Х'0^Еп. Будем предполагать, что множество Μ{ΧΌ) ограничено. Пусть α > 0 — некоторая константа, Ci= max max 1-А4Д 1, c2== max max |52tg+2ll XmM(xfo |T|<oC, '«В»:*]' М " где A" Нетрудно показать, пользуясь неравенством Коши— Буняковского, что для X € Λί (Zq) и II У IK α^ι |р^Г)У)|<С2||у|р> Отсюда и из (7.4) следует, что для всех i е[0: N], Х^М(Х'0), ||K||^oCi выполняется неравенство П (X + Y) < /, {X) + (М, у) + ^ С2|| К |р. (7.5) Положим . ί 2 - С, + Ϋ<ή + С2е 1
§ 7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 123 (если С2 = 0, то в качестве ά следует взять число 6=minh ι§[})· Зафиксируем некоторое α0 ^ (0, а). Пусть уже найдено k-e приближение Χί&Μ(Χ'0). Если ψε(Λ1)^0, то Χί — ε-стационарная точка, и процесс на этом заканчивается. Если ψ8(Χ£)<0, то полагаем g'k = gt(XQ и V=-*.№)>0· В качестве {к + 1)-го приближения возьмем точку Для того чтобы закончить описание метода, осталось доказать, что Χί+ι&Μ(Χο). Докажем более точное утверждение: φ (**+,)< φ (Г*). (7.6) Поскольку 6к^Сх и αο<α, то в силу (7.5) имеем для всех / е [0 : iV] /,(^+1)</.та+«о^(^-. «О+т.даг Пусть /ей№). Тогда /ι (*ί+ι) < /i №)' ~ «<$ + у <«C2 < <φ№)-|«οδ2Α(^-«ο)· (7-7) о Учитывая, что a0<-g-, получим для /e^ffi) Для i^i?e№) имеем ft (**+l) < Φ та - ε + a0C? + Τ «0^2· Поскольку cto< js-g , то la^C2 + a0Cf<i-e.
124 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Таким образом, для i&Re{X'k) Объединяя (7.7) и (7.8), получим (7.6). Утверждение доказано. Рассмотрим последовательность {X'k}> построенную модифицированным методом. Если эта последовательность конечна, то последний ее член по построению является ε-стационарной точкой функции φ(Χ). В противном случае справедлива Теорема 7.2. Любая предельная точка последовательности {X'k} является в-стационарной точкой функции Φ ДО- Доказательство теоремы проводится аналогично доказательству теоремы 7.1. Пусть ХК ν*00'Гу однако X* не является е-стационарной точкой функции φ (Я). Тогда Ъ(Г)--*<0. Для достаточно больших номеров kp>K будет Учитывая (7.7) и (7.8), получим для kp>K φ(«ρ+ι)<φ(^-β, где' β = min{ 1 α062 (-£■ - α0), j ε}". Последнее неравенство, так же как при доказательстве леммы 6.2, приводит нас к противоречию. Теорема доказана. 4. Покажем, как ε-алгоритм, описанный в п. 1, может быть использован для нахождения стационарных точек функции φ(Ζ). ^ Зафиксируем некоторые ε0>0 и р0>0. Возьмем начальное приближение Χω^Εη. Пусть Μ{Xqq) — ограниченное множество.
§7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 125 Применяя ε-алгоритм с ε —ε0, в конечное (в силу леммы 7.2) число шагов получим точку Χοι,^Μ(Χ00) такую, что Фе. (*«.)>-Ро· Положим ει = τε0, 9{^j9^ *io = *o/0< Взяв теперь в качестве начального приближения точку J10, снова применим ε-алгоритм с ε = ε1β В конечное число шагов получим точку Хих^М (Jio)crAf(Xoo) такую, что Продолжая описанный процесс, получим последовательность точек {Xktk}> причем для членов этой последовательности выполняется неравенство +·*(*«*) >-р» (7·9) гдее,--^. ρ,--*, *-0. 1,2,... Теорема 7.3. Любая предельная точка последовательности {Xkik} является стационарной точкой функции Доказательство. Будем для простоты считать, что сходится вся последовательность (^a/ft}.' ХЩ Т^ х*- Требуется доказать, что ψ(Χ*)^0. Предположим противное: $(Х*) — ~- Ь<0. В силу (6.4) найдется е'>0 такое, что %(Х*) = -Ь<0. Отсюда следует, что для достаточно больших номеров k будет выполняться неравенство что противоречит (7.9). Теорема доказана.
126 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА |ГЛ. III § 8. />-функция. Третий метод последовательных приближений 1. Зафиксируем ε>0 и положим для всех Хе=Еп D{X)= inf εψε(Ζ). (8.1) ее[0, ε] Напомним (см. § 6, п. 2), что Ψε W β *«, т W> если as W < ε < α5+ι W» причем 0 = α0^)<α1(Ι)< ... <am(X)<am+l(X) = oo. Обозначим через т{Х) наибольший из индексов sy se[0; m], для которых а,{Х)<г. Если ψ(Χ)<0, то получим следующее представление для D{X) (рис. 23): 2) (X) = min {αι*β0 (Χ), ... > α**^ (Ζ), βψβΛ (Χ)}9 (8.2) где α5 = as(Χ), se[0:m]; /η = т(X). * ♦ *W w *M ΤΤ ί r-fS) y-eftW Из (8.1) следует также, что для любого Ie£rt Ζ)(Ι)<0. (8.3) Лемма 8.1. Неравенство ψ(Ζ)^0 эквивалентно равенству D{X) = 0.
§ 8] ТРЕТИЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 127 Доказательство. Если ψ(Χ)^0, то, очевидно, инфимум в (8.1) достигается при е = 0. Следовательно, D{X) = 0. Пусть теперь D{X) = Q. Тогда при 0<6<ε *.(*)>0. Поскольку для 0<e<aj(.Y) ♦ (*)"♦.(*). то получаем, что ψ(Χ)^0. Лемма доказана. Теорема 8.1. Для того чтобы функция максимума φ{Χ) достигала минимума в точке X*, необходимо, а в случае выпуклости φ(Χ) и достаточно, чтобы выполнялось равенство £(Г) = 0. (8.4) Эта теорема является очевидным следствием теоремы 3.1 и предыдущей леммы. „ Учитывая (8.3) и лемму 8.1, заключаем, что задача отыскания стационарных точек функции φ(Χ) сведена к задаче максимизации функции D(X). 2. Нашей ближайшей целью является доказательство непрерывности функции D(X) на всем Еп. Возьмем любое γ, удовлетворяющее неравенствам 0<v<| min {α,+χ(Χ)-αβ(Χ)), (8.5) и пусть m Г; (X) = [0, оо) \ U (ak (X) - ν, ак {X) + γ). - Лемма 8.2. Для произвольного 1е£й и любого у» удовлетворяющего неравенствам (8.5), найдется такое б>0, что для любого X' ^Еп> \\Х' — Х\\<Ь, и любого е*=Ц(Х) будет Доказательство. Пусть для определенности
128 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ill Число δ > 0 выберем так, чтобы из неравенства \Х' — Х\\<Ь следовало \fi(X')-h(X)\<TV равномерно по /е[0: N]. В этом случае выполняется также неравенство |φ(Χ')-φ(*)Ι<τΥ· Пусть i<=Rt(X'), причем \\Х'-Х\\<6. Тогда y(X)-f{(X) = = [φ {Χ) - φ (Ζ')] + (Φ (Χ') - fi (Χ')\ + [ft (Χ') - ft (Χ)] < Замечая, что Ra. <χ)-γ2γ(Λ0 = #εΡ0, получим: /е fe + l Следовательно, R.{X')czRt(X). (8.6) Пусть теперь /e^g(I). Учитывая равенство Re W = ^ (X)+VaY W> получим для II Ζ' — Χ ||< б φ(Χ')-Μ*') = «[φ (*') - φ (Χ)] + [φ (J) - ft (X)) + \ft W - /, (Л] < Значит, i'^RziX'), так что /?e(J)c:/?e(r). (8.7) Объединяя (8.6) и (8.7), получим требуемое. Лемма доказана. Положим Γγ(*) —Ц(*)П[0, ε], где у удовлетворяет неравенствам (8.5) и γ < ε. Очевидно, Γγ(Χ) — непустое ограниченное замкнутое множество.
§ 8] ТРЕТИЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 129 Введем обозначение DAX, X')= inf βψ,(*')· eerYW Лемма 8.3. Для фиксированных X и у по любому г* > О найдется такое δ > 0, что для всех X' е Еп, \\Х'-Х\\<6, будет \Dy(X, X')-Dy(X, X)\<e\ Доказательство. Учитывая лемму 8.2, получим для X', || X' — X ||< б| (см. также неравенство VIII из § 2 Приложения III) \Dy(X, X')~Dy(X, J)|< sup ε|ψ8(*')-ψε(*)Ι< <ε sup min max ( X , g) — - min max [Щт~> s)\< <ε sup max max |(i^ _ «Ш1, ^|< eer..m нем iep (л1\ <,Λ °'Λ /Ι ε<=Γν(*) ||g!M ie^g(X)l ^ε max i€=[0:JV) Выберем теперь δ>0, δ^δ^ так, чтобы для X', ||X' — Χ||<δ, выполнялось неравенство g max \*№1_.ШХ1\<г. В этом случае для тех же X' будет |DY(Z, X')-Dy{X9 Х)\<*\ Лемма доказана. Лемма 8*4. Для произвольного X' е Еп справедливо неравенство О < DY (X, X') - D {X') < 3YCi (Х')> %(Г)|| где С{ (X') = max | ■ /е[0:ЛГ]И
130 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Доказательство. Для е<=Гу(Х) имеем εψβ(*')> inf s^(X')^Dy(X, *0· (8-8) ε<ΞΓγ«) Пусть теперь es[0, ё], но вфГу(Х), Рассмотрим вначале случай 0 < е < γ. Имеем εψ8 (Х') = Ие (Л-εψγ (*')] + + К (Χ') - ΥΨγ (*')] + ΥΦν (Χ') > > γφν(^0 — Ι (β — γ)*ν(^0 I — e| φ.(ΑΓ0 — φν(ΑΌ l> > inf βψ, (*')-Υ<μ(*')-Υ (2C, (*')) = = Ζ\(*. *')-ЗуС,(*0· (8-9) Если ak (Χ) — ν < ε < α^ (Χ) -f Υ» то, обозначив 8=ag(X)-Y6=rv(x), получим *ψβ (Χ') > εψβ (Χ') = εψ6 (Χ') + (β - έ) \ {Χ') > > DY (Χ, Χ') - | (β - ε) ψ, (Ζ') | > DY (Χ, Χ') - 2YC, (Χ'). (8.10) Итак, в силу (8.8), (8.9) и (8.10) имеем для всех ε е= [0, ε] εψ6(Χ')>£γ(Χ, X')-3YC,(X'). Значит, £>γ (Χ, Χ') - D (X') < ЗуС^ (X'). Неравенство £>ν(Χ, Х')-Д(Х')>0 очевидно. Лемма доказана. Теорема 8.2. Функция D (X) непрерывна на всем пространстве Еп. Доказательство. Зафиксируем Хе£„ и возьмем произвольные ε* > 0 и Δ > 0. Обозначим С,— max max \ЩР- ИГ-ΧΚΔ ie[0:N]W ал Выберем теперь γ так, чтобы ЗуС,<ув\ (8.11)
§ 8] ТРЕТИЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 131 Согласно лемме 8.3 найдется δ, 0<δ<Δ, такое, что для всех X', || X' - X ||< 6, будет | Dy(X, X') - Dy {X, X)\<je\ (8.12) Учитывая лемму 8.4 и неравенства (8.11) и (8.12), окончательно имеем для всех X', \\X' — X||<б, \D(X')-D(X)\^\D(X')-Dy(XtX')\ + +1 D^X, Χ') - Dy (Χ, Χ) Ι -f I Dy (X, X)-D(X)\< Теорема доказана. 3. Переходим к описанию метода последовательных приближений для нахождения стационарных точек функции у{Х)> использующего D-функцию. Возьмем начальное приближение Х0^Еп. Предположим, что множество Μ {Х0) = {Χ | φ {Χ) < φ (Χ0)} ограничено. Пусть уже найдено k-e приближение Xk^M{XQ). Если D(Xk) = 0, то в силу леммы 8.1 ^ — стационарная точка, и процесс на этом заканчивается. Предположим, что D (Xk) < О· Учитывая (8.2), запишем я где (ε£, г%) — одна из пар (αϊ {Xk)> a0 {Xk))t ·. · > {dm (Xk)> αλ-ι (Xk))> (ε,. am {Xk))- Поскольку, по предположению, D (Xk) < 0, τα R Пусть gk — gz» (Xk) — направление z"k — наискорей- k шего спуска функции φ (Χ) в точке Xk. Рассмотрим луч * = *Λ«) = ** + «**. a>0, и через Xkfak) обозначим точку, для которой Φ (**(<**))= min φ (**(«))· ае[0, оо) В качестве {k -f 1)-го приближения Xk+{ возьмем точку XkfakY- _
132 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛг III Как обычно, показывается, что f(IH|)<(pft), так что, в частности, Хк+{^М(Х0). Если последовательность {Xk}, построенная описанным выше методом, -конечна, то последний ее член по построению является стационарной точкой функции φ(Χ)- В противном случае справедлива Теорема 8.3. Любая предельная точка последовательности {Хк} является стационарной точкой функции φ(ΛΓ). Доказательство. Пусть Утверждается, что D(X*) = 0. Допустим противное: £(Г) = -&<0. В силу непрерывности D(X) и (8.13) получим для достаточно больших номеров kj > К\ Поскольку для ε е ίε£ , e'k \ выполняется равенство то, положив ε£ = (ε£ -f* &% )/2» получим ■ί/Ч (x»,)<-f <8Л4> ■^■<*;/<βί/· (8·15) Без ограничения общности можно считать, что причем ε'>0 и в силу (8.15) ε">0. Выберем К^К\ так, чтобы для.&/> К выполнялись неравенства
§8] ТРЕТИЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 133 В силу (8.14) для тех же k} получим Последнее неравенство вместе с соотношениями М*',)еЧ(\)· \('»,)-%(х0 обычным путем приводит нас к противоречию. Теорема доказана. Замечание К Определение стационарных точек X* функции φ(Χ) с помощью D-функции (D(X*) = 0) выгодно отличается от определения стационарных точек с помощью ψ-функции (ψ(^*)>0) тем, что функция D(X) непрерывна на Еп, в то время как функция ψ(Ζ) именно в стационарных точках может быть разрывной (см. замечание в конце § 5). Замечание 2. Функция D(X) может быть определена в более общем виде D(X)= inf Α(ε)ψβ(Ζ), ее[0, ε] где h (ε) ^-непрерывная на [0, ε] строго возрастающая функция, обращающаяся в нуль при ε = 0. В этом случае сохраняются непрерывность функции D(X) и сходимость метода последовательных приближений, построенного с помощью новой /)-функции. 4. Найдем с помощью D-метода стационарную точку функции φ(Χ)> рассмотренной в примере 2 § 5. Напомним, что Λ = (Χι, Χ<$ €Ξ £2> /Ι (Χ) = - 5^ + χν ϊ2 (Χ) = 4χ2 + χ\ + χ% /3 (Χ) = Ъхх + χ2, φ(Ζ)= max fi(X). ie[l:3j Положим ε = 2. В качестве начального приближения возьмем точку Х0 = (—0,1\ 0,2). Результаты вычислений приведены в табл. 3. Полезно заметить, что Хх находится на дуге, начиная с_которой метод наискорейшего спуска сходится к точке Х = (0, 0), не являющейся стационарной.
134 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III ** 1 >?iSis *tSiS ■Эг -9- 1 *-s a» ^ ^iSiS ^^ - с 4 ftT <* >< * л; J« 'л; iS iS is I — ем то n «*» 0,206321 ' S8 N. «-* Ю 00 oo* 1 cT о о g Ю (Ν 1 ЮОО N-OO CO OO ОЮО со ю о CO <M CD ο*τΐ*(Ν 1 1 1 о oo ooo Ю OO Tf OO ooo 1 1 1 oo oo Ю Ю о oo ooo ooo ooo N. oo со 0*0*0* 1 88 oo oo о о ~ (Ν о о I о 3,063275 88 oo oo о о я я I со (Ν о о о 8 о (N 1 (ΝΙΟ О смооо ~Ν·ο ooo о со о осоо ο*ο*οί I I 1 (N (NO £38 Sfc8 1 I 1 „^co ^ ooo со σ> OlO О <N О <Л о—· о* о* СО (Ν <Ν со coco со σ> σ> TF Ν. Ν. CO (Ν CN Я -l^t ooo I Ν-00 ю-* <N CO σ> -* — СО oo о о* -' ' 0,036909 ю σ> TfOO CO 00 юо (ΝΙΟ юоо о о* 1 со (Ν 00 со о 1 00 00 О ю со о —« 050 о — о О тр О осоо 00*0* I 1 о —о SS38 аюо σ> ν. о О N. О ю*~-** ι ι- ^чСО —,со „ СО Λ<Ν ζ*, » coco ою О CN οα о* о *-т}« СО a coco t^. ю ю (NCOCO ·*** яя СО* (Ν* (Ν I I I Ν. ΝΙΟ <N CN CO -*co oo oco* 1 (N 0,000258 8co Ю *■ Tp N. ЮОО o*o* (N N. 00 (N (N о о о* I CON. О oooo о см о о см о ooo ooo ο*οοί I 1 юсо о тр —О *юо 8£S ΟΝ. Ο. (Ν —*-<* I 1 <-^co £i_T<N coco oco о со о — о о oo о* о* N. ThiO ю ю oo Ю Ю 00 σ> ело σ>σ> ο ЯЯ° (Ν (Ν СО* ι ι ι CO <N СО (Ν —« <Μ οο οο οολ о* со* ι ι со ι ι ι ο ο ι ι*? *—s(N <*ΙΙ ι οοο ο οο οοο οοο ι οοο ЯЯЯ co*co*co* III 88 11 οο oco* I τ*
*6] ТРЕТИЙ МЕТОД. ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 135 Таким- образом, с помощью D-метода мы не только обошли точку X, сыгравшую роковую роль в методе наискорейшего спуска, но за четыре шага получили с точностью до шести знаков после запятой стационарную точку Г = (0, -3). Процесс поиска стационарной точки иллюстрируется на рис. 24. 5. Поясним смысл D-метода. Предположим, что функции fi(X) линейны, т. е. что ft(X) = (AhX) + bit /c=[0:rtl· dft(X) Тогда • Л/. Пусть Рис. 24. дХ шах ||Λ,|| = Λί. i & [О : Ν] Рассмотрим точку Хк, для которой D (Xk) < 0. - Для каждого as = as(Xk), 0=aQ<ax< < ... <.am, может быть построен вектор . gW = ga (Xk) такой, что |g<f)|=l и l**as(Xk) (8.!6) В D-методе для спуска выбирается тот вектор g<g>f для которого произведение й8^а (Хк) минимально (s ^ [0 : т]у а,т+\ =ё). Для оправдания этого выбора приведем следующие соображения. Поскольку то для /e/J (Xk) имеем Отсюда, следует, что.. . »« Ы** + «§Г) ><»>(**) "αΜ· (8-17) «S
136 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. III Рассмотрим i&Ras{Xk). Учитывая, что для ее[а5, а5+1) #е Wk) = #as (%k)> заключаем, что Поскольку ε может быть взято как угодно близким к as+1, то для i&Ras(Xk) справедливо неравенство Отсюда следует, что max fi{Xh + *g№<HxJ-(a*+i-<M)· <8Л8> Выражения, стоящие в правых частях неравенств (8.17) и (8.18), будут равны при «[f) = ^L· Таким образом, для ае[0, a{Qs)] гарантируется неравенство , »« ,f< (**+а**') > J"" f< (**■+ «о- В частности, Далее, учитывая (8.16), получаем i&Ras(xk) . i&Ras(xk) Окончательно имеем Величина α,+ιψβ (-ДТ*) (если она отрицательна) с точностью до множителя 1/2М показывает, насколько гарантируется уменьшение φ(Χ), если осуществлять спуск из Xk в направлении g^\ Естественно выбрать вектор g£>
§9] ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 137 так, чтобы произведение as+i^U8(Xk) было минимальным. Заметим, что в этом случае в силу (8.2) будет выполняться неравенство Описанная идея выбора направления спуска и реализуется в /)-методе. § 9, Заключительные замечания 1· В §§ 6—8 были описаны три метода последовательных приближений для нахождения стационарных точек функции, максимума φ(Χ). Первый метод имеет в основном теоретический интерес как непосредственное .дбобщение метода наискорейшего спуска. Весьма эффективным при малых η и N является третий метод последовательных приближений. Однако наиболее удобным для практического использования является второй метод последовательных приближений. В связи с этим мы более подробно остановимся на основном элементе этого метода — нахождении ε-стационарных точек (ε > 0). На каждом шаге вычислительного процесса, описанного в п. 1 § 7, приходится решать три вспомогательные задачи: I. Выяснить, принадлежит ли начало координат многограннику Le(Xk). II. Если 0<£Le(Xk), то найти #* = &> (Х^) — направление ε-наискорейшего спуска функции φ (Χ) в точке Хк. III. Найти ak — точку минимума функции φ(Χ^ +agk) на полуоси α е [0, оо). Первая вспомогательная задача сводится к задаче линейного программирования. Действительно, пусть k фиксировано и Ζϊ9 ..., Zs — точки множества Нг(Хк). Любая точка множества L&(Xk) может быть представлена в виде S S <—ι ί—ι Вопрос о том, принадлежит ли начало координат множеству £,(£*)> равносилен вопросу о разрешимости
138 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Ш системы $ 2- ttiZ{ = О при дополнительном условии: 2 <**== 1; «/^0, /е[1 : s]. В связи с этим рассмотрим следующую задачу линейного программирования в пространстве векторов W = = (аи ..., as, и)^ Es+{: найти minu при условиях 1=1 Обозначим через WQ = (af\ ..., а<?>, и{0)) решение этой задачи. Нетрудно понять, что 0^LB{Xk) тогда и только тогда, когда и(0) = 0. Если и{0) = 0, то Xk — ε-стационарная точка функции <р(Х). Пусть ы(0)>0. В этом случае 0&Le(Xk)y и можно переходить к решению второй вспомогательной задачи. Для дальнейшего будет полезен вектор α0 = (α}0), ..., α^0)), который составлен из первых s координат вектора W0. Вторая вспомогательная задача сводится к нахождению Z&(Xk) —- ближайшей к началу координат точки множества.Lt{Xk), ибо (см. § 6, п. 2) gB(Xk) = -Ze(XkmZB(*k)\l Для определения Ze(Xk) можно воспользоваться каким-нибудь простым итеративным методом (см. Приложение IV), взяв в качестве начального приближения точку где (а[°\ ..., af) — вектор, полученный при решении первой вспомогательной задачи. Заметим, что в качестве направления спуска gk не обязательно брать £6(^)· Достаточно, зафиксироваз ft€=[l:nj;
si ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 13§ параметр Θ, е (О, 1), одинаковый для всех k, взять любую точку Vk из Le(Xk), для которой min (Z, Vk) (Vk, Vk) >Bl (9.1) (на рис. 25 отношение, стоящее в левой части (9.1), равно -rrjj) и положить ft — —1 Vk Wk\ Можно показать, что в этом случае теорема 7.1 остается справедливой. Переходим к третьей вспомогательной задаче. Положим при фиксированном k Φ*(α) = φ(Χ* + α^), α>0. Функция Фк (α) непрерывна и имеет непрерывные производные слева и справа в любой точке α е (0, оо), причем Рис. 25. ф£{а-|-0)= max (dft(Xkto)) Ф*(а — 0)= min ax > £*)» faft(*»(g)) „\ i^R(Xk (a)) Здесь ΧΛ(α) = Jfe + agk. Поскольку 0&Le(Xk)9 то ФИ+0)= max (*ЬШ9еЛ<0л (9.2) (9.3) (9.4) Заметим также, что множество Λί, = {α€Ξ[0, οο)|Φ,(α)<Φ,(0)} ограничено, ибо ограниченным является множество М(Х0) и Хк^М(Х0). Требуется найти ак — точку минимума функции Фк (а) на Мк. Заметим, однако, что для справедливости теоремы 7.1 достаточно в качестве ак взять любую точку
140 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА {ГЛ. ТИ из [0, оо), для которой φ (**)-*(** К)) <p(J*) — min φ (**(<*)) α>0 ^ θ2, (9.5) где θ2^(0, 1) — фиксированный для всех k параметр. Доказательство этого утверждения предоставляется читателю. Пусть Фк (а) — выпуклая на [0, оо) функция. Покажем, как находить в конечное число шагов ак> удовлетворяющее неравенству (9.5). Для этого рассмотрим три числовые последовательности {a^j}, {a®}, [а(А3]} со свойствами: I. 0<«$<a<*><a<|>. н. фаК))<ф,К)), Ф*.(«Й)<Ф*(Ф III. Все три последовательности имеют при /-*оо один предел a*k (как строить такие последовательности, будет показано ниже). Положим Δ«-»«{«ί («й+о)(«й-ф «i («8H>)Kh«43). о}· Очевидно (рис. 26), ■ 0<Φ*Κ)-α^Φ*(«)<ν (9-6) В силу (9.2), (9.3) и III Рис. 26. Δ*Γ /-»оо >0. (9.7) Переходя в неравенстве (9.6) к пределу при /->«>, получим ф*К)~™"ф*(а)· α>0 В качестве ak можно взять первый элемент последовательности {aj$}, для которого (φ*<ο)-φ*(«8))(ΐ-βΟ>βΑ,
§ 9] ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 141 (в силу (9.4) и (9.7) такой элемент найдется). В этом случае, как нетрудно проверить, неравенство (9.5) будет выполняться. Осталось показать, как построить три числовые последовательности {«Уу}, {а$}> (а*/}> удовлетворяющие условиям I—III. Отметим вначале простой геометрический факт. Пусть на отрезке АС взята точка В (рис. 27) так, что ВС _ Уб - ι ι АС ~ 2 > 2 ' и пусть D — точка, симметричная β относительно середины отрезка АС, Тогда DC _ АВ _Уь-\ . .. ВС ~ AD ~ 2 ' ^'°' Теперь возьмем произвольное число а0>0. Возможны два случая: Ф* (<*о) < Ф* (0) и Фк (а0) > Ф* (0). В первом случае перебираем последовательность ι . ι ο 3 + /5 ai — qaQi ι — Ι, 2, ..., где q = ^—, пока не дойдем до ait при котором Ф^(а^)^ >ФА(а^!) (в силу ограничен- ι \ \ 1 1 ности Mk такое α^ найдется). Α β л С Полагаем Во втором случае перебираем последовательность a^i = q~iaQy /=1, 2, ..., пока не дойдем до а~19 при котором Ф* (<*-*) ^Ф*(0) (в силу (9.4) такое а_/ найдется). Полагаем «й-°. «δ-«-ι. «8-«-1+1· Таким образом, в обоих случаях построены а$, og>, ojgj, причем 0 «a$<ajg<ajg, «й—й УУ-1" αίί-ай 2 *
142 ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. HI Обозначим через а^0 точку, симметричную а<$ относительно середины отрезка [а^, ajgj]. Если Фк (а^0) < < Фк (сх^), то полагаем a(I) _ a(2) ш случае a<!> = a*1* 42ι = α^ a(2) _ a(2) a(3) _ a(3) a<3) = a ΛΡ "JHj» Заметим, что в силу (9.8) «В—й 2 и отношение длины большего из отрезков [agj, af|] к длине всего отрезка [ay/, aj·3/] равно ~~ . Этот процесс можно продолжить, привлекая на (/ + 1)-м шаге точку akj, симметричную ajg относительно середины отрезка [aJJ], togj]. В результате получим три последовательности {<$)}, {<*$}, {aj3]}, причем по построению выполнены условия I и II. Поскольку отрезки [ajjj, ajfj] вложены друг в друга и то все три последовательности {α$}, {«$}, {ajfj} при /->оо имеют одинаковый предел. Таким образом, условие III также выполнено. Требуемые последовательности построены. 2. Рассмотренную в § 7 ε-стационарность естественно называть абсолютной ε-стационарностью. Введем понятие относительной ε-стационарности. Пусть μ = inf φ (Χ) > 0. Положим Ri(X) = {i^[0:N)\<p(X)-fi(X)<^(X)}9 ε>0. Точку X* будем называть относительно е-стациснарной, если min max (ib^l, г) > о. . 11141 ЛШЛ I-.у
§9] ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 143 Если X* — относительно ε-стационарная точка и функции fi (X*), i <= Ri (X*), выпуклы на Еп, то υ^ ф(лс·) ^ε· Таким образом, в рассматриваемом случае φ(Χ*) есть приближенное значение для μ с относительной погрешностью, не превышающей ε. Для нахождения относительно ε-стационарных точек (ε > 0) может быть развит метод, аналогичный соответствующему методу для нахождения абсолютно ε-стационарных точек (см. § 7, п. 1). При этом остаются справедливыми теоремы типа 7.1 и 7.3.
ГЛАВА IV ДИСКРЕТНАЯ МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ НА ПАРАМЕТРЫ § 1. Постановка задачи Пусть fi(X), /slOiAf], Х = {х{9 .... хп)> — функции, заданные и непрерывно дифференцируемые на некотором открытом множестве Ω'αΕη. Предположим также, что задано выпуклое замкнутое (не обязательно ограниченное) множество Ω cz Ω'. Требуется найти точку X* е Ω, для которой max fi(X*)—inf' max ft(X). i*z[0:N} X s Ω i e= 10 : N\ Как и в третьей главе, введем в рассмотрение функцию <р(Х)= max MX). i e [0 : Ν) Эта функция задана на Ω'. Поставленная задача сводится к минимизации функции φ(Χ) на множестве Ω. По доказанному в § 2 главы III функция φ(Χ) является дифференцируемой по всем направлениям в любой точке множества Ω'; в частности, везде на Ω. Это позволяет использовать технику, развитую в предыдущей главе. В данной главе получены необходимые условия минимума функции φ(Χ) на Ω и дана их геометрическая интерпретация. Устанавливаются также достаточные условия локального минимакса. Рассмотрен один метод последовательных приближений для нахождения стационарных точек, т. е. точек, удовлетворяющих необходимому условию минимума функции φ(Χ) на Ω.
§ 2] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА 145 § 2. Необходимые условия минимакса 1. Предположим, что на некотором открытом множестве Ω' с: Еп заданы непрерывно дифференцируемые функции fi(X)> i^[Q:N]. Как и ранее, будем использовать обозначения <p(J)= max ft(X)t i s [0 : Ν] R(X) = {i^[0:N]\fi(X)^cf(X)}. Пусть Ω — выпуклое замкнутое множество, содержащееся в Ω'. Рассматривается задача минимизации функции φ(Χ) на Ω. Теорема 2.1. Для того чтобы тонка ΓεΩ была точкой минимума функции φ{Χ) на множестве Ω, необходимо, а в случае выпуклости φ {X) на Ω и достаточно^ чтобы inf max fii^ilfZ-rWo. (2.1) Доказательство. Необходимость. Пусть X* е Ω — точка минимума функции <р(Х) на Ω, однако равенство (2.1) не выполняется. Тогда найдется точка Zx e Ω, для которой t)(^f-, ZI-r) = -p<0 (2.2) (выражение, стоящее в левой части (2.1), положительным быть не может). Ясно, что Ζ{ Φ Χ*. Положим По формуле (2.7) главы III имеем φ (Г-+ од) - φ (Г) + α ^р + о (*,; а). (2.3) Из (2.2) и формулы для производной по направлению следует, что дф (**) Ρ /л л\ 'dgi ~ 1IZ, — ΧΊΙ · к^} Таким образом, при достаточно малых α получим на основании (2.3) и (2ЛУ Ψ (Г + agl) < φ (Г) - 2 ||Z|ttl хч < φ (Г). (2.5) max 1<=R(X
146 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Неравенство (2.5) противоречит тому, что X* — точка минимума функции φ(Χ) на Ω, ибо при всех α^[0, \\Ζι—Χ*\\] точки X* + ag{ принадлежат Ω. Необходимость доказана. Достаточность. Пусть функция φ{Χ) выпукла на Ω и в точке X* €= Ω имеет место (2.1). Докажем, что тогда X* есть точка минимума функции φ(Χ) на множестве Ω. Допустим противное. Тогда найдется точка Zx e Ω, для которой q>(Z,)<<p(r). (2.6) Очевидно, что Ζχ φ X*. Положим g, = * _ χ*„, || gx ||= 1, и найдем ^^ ^ lim i [φ (Г + ο*,) - φ (Г)]. (2.7) π ο>+0 α В силу выпуклости ψ (Χ) имеем для β^[0, 1] φ (Г + β (Ζ, - Χ')) = φ (βΖ, + (1 - β) Г) < < βφ (Ζ,) + (1 - β) φ (Ζ*) - φ (Г) + β [φ (Ζ,) - φ (Г)]. Отсюда получим для α <= (0, || Zj — J* ||) ^[<р(Г + а£,)-ср(Г)] = -ϊΚ^+πΓ^τ<ζ>-^>-*^] < <Ηζ,-ηι[φ(Ζ')~φ(^· (2,8> Таким образом, в силу (2.6), (2.7) и (2.8) to ^ ιιζ,-απι ^υ· Остается заметить, что max «P., z,-r)-yzI-ro-^< ί S R (X*) V СЛ У Ogx <Ф(г1)-Ф(л<о. Полученное неравенство противоречит (2.1). Теорема доказана,
§2] НЕОБХОДИМЫЕ УСЛОВИЯ МЙНИМАКсА И? Замечание 1. Нетрудно проверить, что необходимое условие (2.1) эквивалентно следующему равенству; inf max f-^P, Z-r)=0. (2.10 1 €= Ω i e R (Χ*) \ ΟΛ J \ / ΙΙΖ-*·| < 1 В § 3 главы III было показано, что при фиксированном X функция i e=R(X)\ ол I является непрерывной по g функцией на всем пространстве Еп. Поскольку множество Ω(Χ), Q(X) = {g = Z-X\Zt=Q, IIZ-JTIKD, при любом фиксированном X является замкнутым и ограниченным, то отсюда следует, что функция %(g) достигает своего минимума на Ω{Χ). Учитывая это замечание, заключаем, что инфимум, стоящий в левой части соотношения (2.1'), достигается, и условие (2. Г) может быть переписано в виде min max (Щ£^. Z-r)=»0. 2sQ i^R(X*)\ ΟΛ ι Ι|Ζ-Χ*||<1 Замечание 2. При JV = 0 из теоремы 2.1 следует необходимое условие минимума непрерывно дифференцируемой функции f0(X) на выпуклом множестве Ω: для того чтобы непрерывно дифференцируемая функция f0(X) достигала своего минимального на Ω значения в точке Гей, необходимо, а в случае выпуклости fQ(X) на Ω и достаточно, чтобы inf (ЩР-. Z-r)=0. (2.9) Определение. Точка ΓεΩ, для которой выполняется соотношение (2.1), называется стационарной точкой функции φ(Χ) на Ω. 2. Возьмем любую точку ΙεΩ и зафиксируем ее. Рассмотрим конус Г(Х): Γ{Χ) = {ν = λ{Ζ-Χ)\λ>0, ΖξξΩ}.
148 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Очевидно, 0еГ(1). Замыкание конуса Г{X) называется конусом возможных направлений множества Ω в точке X и обозначается Т(Х). Свойства конуса Г(Х) подробно изложены в Приложении II. Теорема 2.2. Соотношение (2.1) эквивалентно неравенству inf max №£Х g)>0. ,oim Доказательство. Покажем вначале, что из (2.1) следует (2.10). Допустим противное, пусть имеет место (2.1) и существует вектор gx <= Г (А"), II ^ι 11= 1, такой, что max №fl, gX р<0. По определению конуса Г (X*) найдется вектор Vx еГ (Ζ*), для которого Поскольку ν{^Γ(Χ*), то l/j = λ, (Ζ, - Г); λ, > 0, Ζ, ε Ω. Отсюда и из (2.11) имеем max (2ЩР-, ζ,-Г)<-■£-«). что противоречит (2.1). Итак, установлено, что из (2.1) следует (2.10). Докажем теперь, что если в точке Гей имеет место (2.10), то в той же точке выполняется и соотношение (2.1). Допустим противное. Тогда найдется точка Zx e Ω, для которой max (dfi}P > Ζ,-**) —-р<0. (2.12) i^R(X*)\ ϋΛ Ι Ясно, что ΖΧΦΧ\ Из (2.12) имеем ш, (dfiVn Ζγ-Χ* \_ ρ
§3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 149 что противоречит (2.10), ибо вектор *" Mi-ХЧ (Zl""r) принадлежит Г(Х*) и тем'самым Г(Х*)> и Hgill—1. Теорема доказана. Замечание 1. Так как множество feltfer(*·). 1*11-D замкнуто и ограничено, то инфимум в левой части (2.10) достигается, и поэтому неравенство (2.10) может быть переписано в виде min max (ЩгР-,д)>0. (2.100 Ш-i Замечание 2. Рассмотрим случай Ω = £η. Для любой точки Хе£„ будем иметь Т(Х) = Т(Х) = Еп, так что условие (2.100 примет вид min max (-ВД2-, g)>0, что совпадает с условием (3.1) главы III. § 3. Геометрическая интерпретация необходимых условий 1. Зафиксируем Χ&Ω, и пусть Г (X) — конус возможных направлений множества Ω в точке X. Введем в рассмотрение сопряженный конус Т+(X): r+(I) = {Ze£„|(Z,V)>0 для всех V^T{X)}. Свойства сопряженных конусов подробно изложены в § 2 Приложения II. В частности, там показано, что конус Г+(Х) является замкнутым и выпуклым множеством. Пусть, как и ранее, L{X) = \Z= J! «i^rl^X*' Σ
«'-Ο150 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ..IV Теорема 3.1. Соотношение (2.1) {или, что то же самое, (2.10)) эквивалентно следующему условию: r+(X*)()L(X*)^0. (3.1) Доказательство. Покажем вначале, что если в точке I*gQ выполнено условие (2.10), то в той же точке имеет место (3.1). Допустим противное. Тогда по теореме отделимости (теорема 2.1 Приложения II) найдется вектор 11^0еГ++(1*) такой, что max (WQ,Z)<0. (3.2) Учитывая лемму 2.3 Приложения II, имеем Γ++(*·)-Γ(η так что Г0еГ(/). Кроме того, в силу (3.2) || W01| > 0. Положим g0 = Wyil W01|. Поскольку max {gQ,Z)= max (dfiL » go) > (3.3) Ze=L(X*) isR(X*) \ 0Л I то из (3.2) получим max (^^'£°) = ТиПГ max {W0,Z)<0, что противоречит (2.10), ибо g0^r(X*) и |[goll=l· Таким образом, доказано, что из (2.10) следует (3.1). Докажем теперь, что из (3.1) следует (2.10). Допустим противное. Тогда найдется вектор §0еГ(Д ||g0|)=l, для которого max (Μμ",8λ<0. i S R (Χ*) \ Ο* J В силу (3.3) последнее неравенство можно переписать в виде max (g0, Ζ) < 0, причем £0е=Г++0О> ибо гСО = Г++СО· По теореме 2.1 Приложения II отсюда следует что противоречит (3.1).
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 151 Теорема доказана полностью. Замечание 1. Если Ω = £Λ, тоГ+(Х)={0} для любого Х^Еп. В этом случае условие (3.1) эквивалентно следующему включению: 0е1(Г). (3.4) Соотношение (3.4) совпадает с полученным в §3главы III необходимым условием минимакса на всем пространстве Е^ Замечание 2. Пусть N = 0. В этом случае L(X) = — | 0S [ для любого ХеЙ. Учитывая (3.1), получаем следующее геометрическое условие минимума непрерывно дифференцируемой функции на множестве Ω. Для того чтобы непрерывно дифференцируемая функция f0 (X) достигала своего минимального на Ω значения в точке X* е Ω, необходимо, а в случае выпуклости f0(X^ на Ω и достаточно, чтобы dfo(X*) ,-Г+/уп 2. Возьмем теперь любую точку Х0 е Ω. Построим для этой точки многогранник L {Х0) и конус Г+ (Х0). Положим р(Х0) = inf |[Z-ГЦ. (3.5) ZeL(Xo) УеГ+№) Поскольку L(X0) и Г+(Х0) — замкнутые множества и одно из них {L(X0)) ограничено, то инфимум в (3.5) достигается. Таким образом, существуют такие точки Z(X0)<=L(X0) и Υ(Χ0)^Γ+(Χ0), что \\Ζ(Χ0)-Υ(Χώ\\=*ρ{Χ0). (3.6) Если p(J0) = 0, то точка Х0 является стационарной точкой функции φ{Χ) на множестве Ω, ибо в этом случае, очевидно, выполняется условие (3.1). Пусть р{Х0)>0, т. е. Х0 — не стационарная точка. Нетрудно показать, что в этом случае вектор Z{XQ) — -~У№>)> удовлетворяющий соотношению (3.6), един-
152 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ, IV ствен (хотя неединственными могут быть точки Z(X0) и Y(X0) — см. рис. 28). Введем обозначение g(*o)= и к (ίο) — ί Uo) ιι · ΙΙ*(*ο)ΙΙ-ι. Определение. Вектор g^En, ||g||=l, называется направлением наискорейшего спуска функции φ(Χ) на множестве Ω в точ- Ζ(Χΰ) • mm' *р(*о) Теорема 3.2. Если ρ (Х0) > 0, то направление g(XQ) является на- рис, 28. правлением наискорейшего спуска функции <р(Х) на множестве Ω в точке Х0; при этом -ggft —pW>. (3.7) Для доказательства этой теоремы нам понадобится следующая Лемма 3.1. Справедливо равенство (g(Xo)> Y(Xo)) = 0. (3.8) Доказательство. Будем использовать обозначения: Г0=У(Х0), Zo = Z(X0)> §o = g(X*)> Ро = р(*о). Поскольку YQ ^ Г+ (Х0), то при всех λ > О λΥ0ΕΞΓ+(Χ0). Далее (λΚο — Ζ0> λΥ0 — Ζ0) = = ((λ - 1) Υ0 + (Υ0 - Ζ0), (λ - 1) Υ0 + (Υ0 - Ζ0)) - - (λ - 1)[(λ - 1)(Г0, Υ0) + 2(Υ0- Ζν Υ0)} + ρ*. Предположение о том, что (У0 — Z0, F0) ^ 0, немедленно приводит к тому, что при некотором λ0 > 0 будет
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 153 Последнее неравенство противоречит (3.5). Итак, {Yq — — Z0, Yo)=0, что равносильно (3.8). Лемма доказана. Доказательство теоремы. Заметим, что в силу леммы 1.4 из Приложения II для любых УеГ+ (Х0) и Ζ е L {Х0) выполняется неравенство (Y -ZtY0- Z0) > (YQ - Z0, YQ - Z0). (3.9) Докажем вначале, что £<>еГ(ДГ0) или, что то же самое, что £оеГ++(ДГ0). Для этого достаточно установить, что для всех КеГ+ (Х0) будет (Г.*о)>0. (3.10) В силу (3.8) и определения р0 имеем (Z0, 70~Ζ0) = -ρ*. (3.11) Учитывая (3.9) и (3.11), получаем (Y,Y0-Z0) = =(r-z0,r0-z0) + (z0)y0-z0)>^-P2=.o, что равносильно (3.10). Итак, установлено, что £0еГ(Я0). Найдем P^trr. В силу (3.8) и (3.9) имеем |*Ш== max №*>L, g0)= max (Ζ,ίβ>- — ,,ν 12 ,, max (Z-F0, y0-Z0) = Тем самым установлено соотношение (3.7). Осталось доказать, что направление g0 есть направление наискорейшего спуска функции <f(X) на множестве Ω в точке Х0. Возьмем любой вектор geF(I0), ||g||==l, и покажем, что ^Ш>-Р(Х0). (3.12)
154 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Поскольку j е Г++ (10), то для всех Υ е Г+ (Х0) имеем Зафиксируем ГеГ+(10) и ZezL{X0). Тогда ||y-Z||>(y-2, #>-(*, g)>~ max (Z', g)~ dq> (Xp) ~ dg ' Отсюда следует что равносильно (3.12). Теорема доказана. Замечание 1. Направление наискорейшего спуска функции φ(Ζ) на множестве Ω. в точке Х0 в случае, если р(Х0)>0, единственно. Доказательство этого утверждения вполне аналогично, доказательству леммы 3.4 главы III. Замечание 2. В теореме 3.2 утверждается лишь, что g(XQ)^V(XQ). Может случиться, что при любых а>0 точки Х0 + ag (Х0) ^= Ω, так что движение в направлении наискорейшего спуска может оказаться невозможным. 3. В качестве примера рассмотрим функцию (см. § 5 гл. III) φ(Χ)= max ft{X), le[l.:3J где /1(Χ) = -5^1 + λ:2, f2(X) = 4x2 + x\ + xl h{X) = 5xi + x2· Возьмем точку Х0 = (0, 0). Как было показано раньше, L(X0) есть треугольник,^ натянутый на точки (—5, I), (0, 4),. (5, 1). Так как 0<pEL(X0)> то ^о не является стационарной точкой функции φ(Χ) на Е2. Введем ограничение А = {Х € Е2]2х{ +.х2>0). Нетрудно проверить, что в этом· случае Г+(Х0) = {7 = сГ(2, 1>|а>0}.
§3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 155 Так как луч Г+ (Х0) пересекает множество L(X0) (рис. 29), то Х0 является стационарной точкой функции φ(Χ) на множестве Ω{, а поскольку φ (Χ) — выпуклая функция, то Х0 — точка минимума функции φ(Χ) на Ωχ. ^-Х4 Рис. 29. Введем теперь другое ограничение: Ω2 = {Ζ <=£2| 10*! + л:2>0}. В этом случае Г+(Х0) = {1/ = α(10,1)Ια>0}. Так как L{X0) и Г+ (Х0) не имеют общих точек (рис. 30), то Х0 = (0, 0) не является стационарной точкой функции φ(Χ) на множестве Ω2. Нетрудно найти направление наискорейшего спуска функции φ(Χ) в точке XQ на множестве Ω2. Это есть вектор (1, - Ю) ё(Хо)'· ΤΛοι Заметим, что XQ + ag (X0) <= Ω2 при всех α>0· Положим, наконец,
156 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ.. IV Нетрудно проверить, что в этом случае Г+№) = {^ = а(Ь0)1а>0}, L(X0) ПГ+(Х0) = 0, £(J0) = (0, —1), XQ + ag(XQ)<£Q3, если а>0. Таким образом, J0 = (0, 0) не является стационарной точкой функции φ(Χ) на множестве Ω3. Вместе с тем движение вдоль направления наискорейшего спуска невозможно, ибо направление g(X0) выводит нас из области Ω3. § 4. Достаточные условия локального минимакса при наличии ограничений 1* В § 2 было показано, что если φ (Χ) — выпуклая функция, то любая стационарная точка функции φ (Χ) на Ω есть точка минимума φ (Я) на Ω. Ниже устанавливаются достаточные условия локального минимакса. Пусть IgQ. Введем в рассмотрение функцию ψ(*) = Ψ(Ω,*)= min max ί-^Д, g). llgll«l Тогда необходимое условие (2.10) может быть переписано в виде Ч>(Л>о. Определение. Точка I*eQ называется точкой локального минимума функции φ(Χ) на множестве Ω, если существует такое δ > 0, что для X е Ω, || X — Χ* ||< δ, будет <р(Х)>ср(Г). Если при тех же условиях для IeQ, ||X — Χ*||<δ, Χ Φ Χ*, выполняется неравенство ср(Х)>ср(Г), то X* называется точкой строгого локального минимума функции φ(Χ) на Ω. Теорема 4.1. Пусть X* eQ- стационарная точка функции φ(Χ) на Ω. Если при этом Ч>(Г)>0, (4.1)
§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 157 то X* является точкой строгого локального минимума функции φ(Χ) на Ω. Доказательство. Допустим противное. Тогда найдется последовательность точек {XJ, Xk e Q, £ — 1, 2, ..., Х^ =й= Х\ для которой 11**-<П-т*=*° и фй)<ф(Г). (4.2) Без ограничения общности можно считать, что £_ Xk-X* - gk~ \\Xk-X*\\ k->o°*So- Ясно, что £0е=Г(Г), ||g0ll=b Возьмем любое i<^R(X*). Так как <р(Я*)вМ<У·), то, учитывая (4.2), получим /|(^*)<Ф(^»)<Ф(Л-/|(Л. /И^Х^СЛ. (4.3) Далее //(**)-МГ +1|*4-Г ||Л) = где 6*е(0, ||Х6-Щ). Отсюда и из (4.3) следует, что для всех k Учитывая, что Qk Α->00> 0> получим № «.)<». (4.4) Так как (4.4) справедливо для всех /е/?(Я*), то is/? (**) V σΛ / что противоречит (4.1). Теорема доказана. Выясним теперь геометрический смысл условия (4.1). Теорема 4.2. Условие (4.1) эквивалентно тому, что множество L {X*) и конус Г+ (X*) не могут быть отделены,
158 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV г. е. не существует ненулевого вектора W^En и числа а таких, что (W, Ζ)<α для всех Ze£L{X*)t (4.5) (W, V) > α для всех Ке=Г+ (Г). (4.6) Доказательство. Покажем вначале, что если множество L(X*) и конус Г+ (X*) не могут быть отделены, то ψ(Χ*)>0. Допустим противное. Тогда найдется вектор £0 е:-Г(X*), ||g0||=l, для которого max (^aP* £°)= тах (z>£o)<0. Поскольку Г (Г) = Г++ (Г), то g0 е= Г++ (Г). Значит, feo. ^) > 0 для всех КеГ+ (Г). Но тогда L (Г) и Г+ (Г) могут быть отделены, ибо для вектора W~g0 и числа а = 0 выполняются соотношения (4.5) и (4.6). Тем самым доказано, что ψ(Χ*) > 0. Пусть теперь ψ(#*)>0· Покажем, что тогда L{X*) и Г+ (X*) не могут быть отделены. Допустим противное. Тогда найдутся ненулевой вектор WQ^En и число а0 такие, что (W0, Ζ)<α0 для всех Ze=L(X*)> (4.7) {WQt V)>α0 для всех УеГ+ (Г). (4.8) Не ограничивая общности, можно считать, что Ц Τί^0 Ц== = 1. Так как Г+ (X*) — конус, содержащий начало координат, то из (4.8) имеем: а0 < 0. Отсюда и из (4.7) следует, что max (W0, Z)<0. (4.9) Докажем, что (W0, ν) > ° Для всех ^ ^ Г+ (X*). Допустим противное, пусть для некоторого вектора У'е=Г+(Г) будет (W0, V') = -b<0. Так как Г+(Г) - конус, то для любого β>0 должно быть βΚ' еГ+ (X*). На основании (4.8) имеем Но α0 ограничено, а βδ ^^;> °°· Полученное противоречие и доказывает справедливость неравенства (W0, V)>0 для всех КеГ+ (Г). (4.10)
§ 4] ДОСТАТОЧНЫЕ УСЛОВИЯ ЛОКАЛЬНОГО МИНИМАКСА 159 Из (4.10) следует, 4ro_W0 еГ++ (X*), а поскольку Г++(Г)==Т(Г), то Г0е=Г(Г). Итак, Г0еГ(Г) и ||№0||=1. Учитывая (4.9), получим ψ(Ζ*)= min max (Ζ, g)< max (W0, Z)<0, . ge=T(X*) Z^L{X*) Z€=L(X*) \\g\\=i что противоречит предположению. Теорема доказана. Следствие. Если Ω = Еп, то Г+ (X*) = {0}, и потому условие неотделимости^ L (X*) иГ+(Х*) означает, что 0 — внутренняя точка множества L(X*). Это совпадает с достаточным условием, полученным в главе III. 2. Приведем пример, показывающий, что стационарная точка может и не быть точкой локального минимума, если не выпол- χ нено условие (4.1). Пример. Пусть Jf = (*lf x2) e £2, q>{X)= max fi(X)> Ш[\ : 3J где ЦХ) = -5хг + х29 /2(*)-4*2+** + *|, /3 № ~ 6^1 Н" *2 ~~ *?· Рис. 31. Положим Ω ={Х<^Е2\5х{ + лг2>0}. Возьмем точку Х*= = (0, 0). Ясно, что /?(Х*) =={1, 2, 3}; L(J*) есть треугольник с вершинами в точках (—5, 1), (0, 4), (5, 1); Г+ (Z*)= = {К = а(5, 1)|а>0}. Нетрудно проверить (рис. 31), что 1(Х*)ПГ+(Г)-^0, так что X* = (0, 0) является стационарной точкой функции φ(Χ) на Q. С другой стороны, условие, ψ {Χ*) > 0 не выполнено, поскольку L {X*) и Г+ (X*) могут быть отделены прямой (X,W0) = 0, где Г0 = (1, —5). Действительно,.. (W0> Ζ) <0 для всех ZgL(Г), (Г0, К) = 0 для всех -К е= Г+ (Г).
160 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Таким образом, ψ(Ζ*) = 0. Покажем, что X* не является точкой локального минимума функции φ(Χ) на Ω. Возьмем точку Xa = aW0, α>0. Очевидно, ΙαΕΩ. ИмеехМ Ы*а) = -Юа, Μ*α) = -20α + 26α2, /3(*α) = -α2' Отсюда следует, что при малых а>0 будет ф(^а)<0-ф(Г), т. е. Х* = (0, 0) не является точкой локального минимума функции φ{Χ) на Ω· Заметим, что этот эффект вызван тем, что функция f3{X) не является выпуклой, вследствие чего невыпуклой оказалась и функция φ(Χ). 3*. Приведем еще одно достаточное условие локального минимума функции φ(Χ) на множестве Ω. Теорема 4.3. Пусть X* е Ω — стационарная точка функции φ{Χ) на Ω, причем ψ(Χ*)==0. Предположим, что функции fi [X), i s [0: jV], дважды непрерывно дифференцируемы в некоторой окрестности Sq{X*)> δ>0, точки X*. Если при некотором γ>0 будет min max (-ЭДР-ft ί)>0, где яь(г.й-{*|1-«(л.(ЛЙ1.,)-^}. ro JT является точкой строгого локального минимума функции φ{Χ) на Ω. Доказательство этой теоремы, аналогичное доказательству теоремы 4.2 гл. III, предоставляется читателю. § 5. Некоторые оценки 1. Теорема 5Л. Если для некоторой точки X0&Q и некоторого индексного множества Q а [0: N] выполняется неравенство inf maxi-^И^, Ζ-Χ0) = -α<0, (5.1)
§ 5] НЕКОТОРЫЕ ОЦЕНКИ 161 а функции fi(X) для всех i^Q выпуклы на Ω, то min /, {Х0) - а < inf φ {Χ) < φ (Χ0). (5;2) Доказательство. Правое неравенство в (5.2) очевидно. Будем доказывать левое неравенство. Допустим противное. Тогда найдется точка Х<= Ω, для которой min ft (X0) - φ (X) Ж α, > а. (5.3) Заметим, что для всех i^Q Ϊi(Xo)-ft(Χ)> minΜ*ο)-φ(*)=»Λ|. (5.4) Учитывая выпуклость функций fi{X) при /geQ, лемму 3.2 приложения II и (5.4), получим (iid|»L, χ - χ) < /, (f) _ /г (z0) < _αι. Это неравенство справедливо для всех i e Q, так что Из последнего неравенства и из (5.1) следует, что — α<—αϊ, τ. е. что а^аи но это противоречит (5.3). Теорема доказана. Следствие 1. Если в условиях теоремы QaR(X0), то φ(*0)--α<ίηίφ(Χ)<φ(Χο). Действительно, 'в этом случае mmfi{X0)^cp{XQ). Следствие 2. Если в условиях теоремы а = 0, го minM*o)<i^(X)<<p(X0)· Нетрудно проверить, что условие а = 0 равносильно тому, что r+(Jo)rU(Q,Xo)^0,-
162 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV где L (Q, XQ) — выпуклая оболочка, натянутая на точки дУ , i^Q (см. доказательство теоремы 3.1). Следствие 3. Если в условиях теоремы QczR(XQ) и а = 0, то Μφ(Χ) = φ(Χ0), г. е. Х0 является точкой минимума функции <${Х) на замкнутом выпуклом множестве Ω. Замечание. Допустим, что Ω — ограниченное множество, причем его диаметр не превосходит числа d>0. И пусть в точке Z0eQ выполняется неравенство min шах(Щ^19 g)£L^a<o9 (5.5) где Qcz[0:N]. Предположим, наконец, что функции fi{X) для всех /eQ выпуклы на Ω. Тогда min fi {X0) - ad < min φ {Χ) < φ (Χ0). (5.6) tsQ *<=Ω Докажем вначале, что inf max f af' (*o) , Ζ-χλ^ -ad. (5.7) Для этого достаточно доказать, что для всех Ζ^Ω max (Щ^> Ζ - *0) > - ad. При Ζ = ΛΌ последнее неравенство очевидно. Пусть Ζ φ Χ0. Тогда в силу (5.5) _,Z-i„Im.x(2!№!. if^)> >-a||Z —*0||> —ad. Таким образом, неравенство (5.7) доказано. Теперь (5.6) следует из (5.7) и теоремы 5.1. 2. Теорема 5.2. Пусть для некоторой точки I0eQ нашлось множество Q cz [0: Ν] такое, что min max(%^,g)^-a<0. (5.8) ΙΙβΙΙ-1 *e=Q
§ 5] НЕКОТОРЫЕ ОЦЕНКИ 163 Пусть, далее, функции ft(X) для всех ieQ являются дважды непрерывно дифференцируемыми на Ω', причем для всех /eQ, IgQ и ^е£й [Ц^-V, v)>m\\V\K (5.9) где m > 0 не зависит от i, X и V. Тогда minMXo)-^< inf φ (Χ)<φ(Ζ0)· (5Л0) Доказательство. Поскольку правое неравенство в (5.10) очевидно, будем доказывать только левое неравенство. Для любого ZeQ и всех ί€[0:Ν] имеем ΜΖ)-Μ*ο + (Ζ-*ο)) = Μ^ + (·^^. Ζ-Χ0) + + j- (d2fi {Xo \%iZ - Χΰ)) (Ζ-Χ0),Ζ- Χ0), (5.11) где 9ге(0, 1). По (5.8) для любого Ζ&Ω найдется i(Z)^Q такое, что [^Ш^-, г-Хо)>-\\г-Х0\\а. (5.12) Учитывая (5.11), (5.12) и (5.9), получим ft(z)(Z)>fnz)(X0)-a\\Z-X0\\ + ±m\\Z-X0\?^ >minft(XQ)-a\\Z-X0\\ + -Lm\\Z-X0\f. Так как \m\\Z~X,f-a\\Z-XA> то J£jr>*-*]~4r φ (Ζ) > f, m (Ζ) > mln /, (ад - ^-. Отсюда следует inf φ (Ζ) ^ min U {Χ0) — -|~. Ζ6£Ω ieQ *"*
164 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. TV Теорема доказана. Следствие. Если в условиях теоремы Q с: # (Х0), то 0<φ(Χ0)-1ηίφ(Ζ)<^. § 6. Метод последовательных приближений для нахождения стационарных точек 1. В этом параграфе будет систематически использоваться первая норма векторов: если V = (o[9 ·.., υη)> то Η Κ11/= max |^|. Очевидно, WVW^VnWVWj. Как обычно, считаем, что Ω — замкнутое выпуклое (не обязательно ограниченное) множество в Еп. Положим при фиксированном leii Ω (Χ) = {Ζ е= Ω11| Ζ — X |j7 < 1}. Введем функции Ψι(*)= min max (-^^, Ζ-Α ψ1ε(Ζ)= min max (Щ^-, Z-x), ZeQ^tei?eU) где ЯвДО - Ρ е [0 : Ν] Ι φ (Χ) - /, (Ζ) < β}. Нетрудно проверить, что точка I*gQ тогда и только тогда будет стационарной точкой функции φ(Χ) на Ω, когда ψ1(Χ*) = 0. Заметим также, что при фиксированном X е Ω функция ψ1ε (X) как функция от ε, 0 < ε < оо, является неубывающей и кусочно-постоянной, причем существует такое а{ {X) > 0, что *,в (X) = ♦, (X) при ε ε [0, а{ {Х% (6.1) Опишем один метод последовательных приближений для нахождения стационарных точек функции φ(Χ) на множестве Ω.
§ 6] МЕТОД НАХОЖДЕНИЯ СТАЦИОНАРНЫХ ТОЧЕК 165 Зафиксируем два параметра ε0 > 0 и р0 > О и выберем начальное приближение Х0 е Ω. Будем считать, что множество Μ (Х0) = {X е Ω | φ (Χ)< φ (Χ0)} ограничено (очевидно, оно будет и замкнутым). Пусть уже найдено k-e приближение Xk^M{XQ). Если ψ1(Χ^)==0, то Л^ — стационарная точка функции φ{Χ) на Ω и процесс на этом заканчивается. Если же ψ! (Xk) < 0, то перебираем числовую последовательность εν = ^, ν = 0, 1,2, ..., до тех пор, пока впервые не выполнится неравенство К (**)<-If εν (6·2) (конечно, это может случиться и при ν = 0). Первое ν, при котором выполнится (6.2), обозначим через vk. Число vk конечное, ибо правая часть неравенства (6.2) стремится к нулю при v->oo, а левая часть в силу (6.1)-к ♦,(**)<<>. Таким образом, и если vk > 0, то В дальнейшем будем использовйть обозначение гк = ενΛ· Пусть точка ZfteQ(Xk) такова, что ' *uA(*A)- max (Ш^9гк-Хк). Рассмотрим отрезок X = Xk(a)£xk + a(Zk-Xk), 0<α<1. Ясно, что ^(а)ей при ае[0, 1]. Найдем ak e [0, 1], при котором ф(**К))= min φ(*Α(α)). <Х€=[0,Ц
166 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Теперь полагаем Ясно, что 1н,еЙ. Нетрудно также проверить, что φ№+ιΧφ№). (см. доказательство неравенства (6.6) в главе III). Отсюда, в частности, следует, что Xk+{ <= M{XQ). Продолжая описанный процесс, получим последовательность {Xk} и связанные с нею последовательности {ek}, {Zk}, {ak}y причем Xk<=M{XQ), Zk(=Q(Xk), й = 0, 1, 2, ..., и φ(*ο)>φ(*ι)> ... >9(Xk)> ··· (6.3) Если последовательность {Xk} конечна, то последний ее член по построению является стационарной точкой функции φ(Χ) на множестве Ω. Рассмотрим отдельно случай, когда последовательность {Xk} бесконечна. Поскольку множество М{Х0) ограниченное и замкнутое, а функция φ(Χ) непрерывна на М{Х0), то φ{Χ) ограничена снизу на М{Х0). Отсюда и из (6.3) следует, что существует предел Ηπιφ(^)=φ% причем при всех k = 0, 1, 2, ... φ(**)>Φ*. (6.4) 2. Лемма 6.1. При fe->oo имеет место предельное соотношение Доказательство. Предположим противное. Тогда найдется число ε* > 0 и подпоследовательность \гк } такие, что
§ 6) МЕТОД НАХОЖДЕНИЯ СТАЦИОНАРНЫХ ТОЧЕК J6? Так как #ε. (Xk) с: #8ft (Xk ), то имеем для i €= Re, (Xk ) fi (Xk. (α)) = ft (Xkj + a (Zkj - Xkj)) < </г(Xkj) + abtkj (Хч) + oik) (a) < < φ (Xkj) - a -22. $k) + 0<J^ (a) ^ φ (χ^) _ αρ· + 0 .^ (a)f где ρ* = ^ε·. со Отсюда, из условия Xk.^M{XQ) и из неравенства \Zk} — Xkj\ < 1 следует, что найдется число а0, 0 < а0 < 1, такое, что для i^R&*(Xk) и α^[0,α0] равномерно по kj будет /,(^у(а))<ф(Х,у)-4аР*· (б·5) Положим η II dh W II С{ = max max " y · Так как L.gA1(X0), to для i<£Rz*(Xk) получим ft (Xkj (a)) = f t (X4 + a (Zfc/ - X4)) < f ,(**.) + + Vn aC{ + Oikj (a) < φ (Xkj) — ε* + Vn aC, + οίΛ/ (a). Отсюда следует, что найдется число a„ 0<ai<a0, такое, что для i&Re*(Xkj) и as [0, а{] равномерно по kj будет /,(ДГ*у(о))<ф(^у)-1в·. (6.6) Зафиксируем любое a'e(0, aj). Учитывая (6.5) и (6.6), получаем для всех k} Φ(Λ/(α/))<φ(Λ/)-β. (6.7) где β = πιιη{~α'ρ\ уе*}·- Так как q>{Xk) fe_>QO>9*> то при достаточно больших &/ окажется q>(Xk) <Ξφ* + γ Ρ* Из (6.7) тогда имеем φ(**/α'))<φ·-^β.
168 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Тем более φ (ДГ*/+1) - ^miti φ (Xkj (α)) < φ [Xkj (α')) <φ* - \ β, что противоречит (6.4). Лемма доказана. 3. Если построенная выше последовательность {Xk} бесконечна, то в силу того, что Xk е Μ (Х0), k = О,1,2, ..., а Λί(Χ0) —ограниченное замкнутое множество, существует по крайней мере одна предельная точка последовательности {Xk}. Теорема 6.1. Любая предельная точка последовательности {Хк} является стационарной точкой функции φ{Χ) на множестве Ω. Доказательство. Пусть Xk k ^те·»X*. Ясно, что X* е Ω. Надо доказать, что ψι {Χ*) = 0. Допустим противное: ^(Г)^ min max (Щр-, Ζ-ΧΛ\ = -Ь < 0. (6.8) Обозначим через ΖεΩ(Γ) точку, для которой 1МГ)= max (ЩР-. Z-X*). (6.9) В силу определения Ω(Χ*) точка Ζ принадлежит Ω и ΙΙΖ-ΠΚ1. (6.10) По лемме 6.1 главы III найдется число γ* > 0 такое, что для достаточно больших k} > К и ее[0, γ*] будет *,(**,) с: Я (Г)· (6.11) Увеличивая, если нужно, номер /С, добьемся для ft/ > К выполнения еще следующих неравенств: μ»,-*!<!, (6.12) max - .„ , Ζ— Χ —
МЕТОД НАХОЖДЕНИЯ СТАЦИОНАРНЫХ ТОЧЕК 169 Докажем, что для kj>K и е g [0, ν*] ♦ι. (**/)< "Г* (6-14) Имеем в силу (6.11) и (6.13) max ' , Ζ-Г}> i Ж R (X*) \ ОЛ 1 > тах (9ЧЧ τ χ ) » Отсюда и из (6.9) следует, что max (-^l^-. Z-Xk)<-L· (6.15) Введем точку Ζ* = — {Ζ-\-Хк^. Очевидно, Z^eQ и Zki~Xkl = j(Z-Xkj). (6.16) Учитывая (6.10) и (6.12), получаем ^^(liz-r^ + ir-^ii^i. Таким образом, Z^eQ^). Далее, в силу (6.16) и определения ψ1β (Xk \ будем иметь мх (5£й. -Ζ-χΔ- = 2 шах (-^. Zk,-X*,)>WMy (6·17) Объединяя (6.15) и (6.17), получим (6.14). Итак, неравенство (6.14) доказано. Положим ,< = min{v-,£.j}·
170 МИНИМАКСНАЯ ЗАДАЧА С ОГРАНИЧЕНИЯМИ [ГЛ. IV Через ε* обозначим наибольший из членов последовательности εν = ε0/2ν, ν = 0, Ι, 2, ..., меньших ε'. Тогда для всех kf>K будет Вспоминая, что έ^ — первый член последовательности {εν}, для которого выполняется аналогичное неравенство, получим для тех же k$>K что противоречит лемме 6.1. Теорема доказана. 4. На каждом шаге описанного выше метода последовательных приближений приходится находить έ^, Zk и ak. Нахождение ak сводится к минимизации функции одной переменной Ф^ (α) = φ (Xk (а)) на отрезке [0, 1]. Решение этой задачи не вызывает затруднений (см. § 9 гл. III). Успех в нахождении zk и Zk зависит в конечном счете от умения решать при фиксированном X следующую минимаксную задачу: max (ifLMz —*W min . (6.18) i^Rt(X) \ ύΛ ι ZeQ(X) Если обозначить через Le(X) выпуклую оболочку, ндтянутую на точки dfi{X)/dX9 i € R&{X), то (6.18) можно переписать в виде max (V, Ζ — Χ) -> min . V&Le(X) ZsQ(X) Последняя задача не является, вообще говоря, тривиальной. Некоторые соображения о решении подобных задач будут приведены в § 5 главы VI. Заметим лишь, что в случае, когда множество Ω задается системой линейных неравенств, задача (6.18) сводится к задаче линейного программирования. Действительно, пусть Ω = {Ζ е Еп | (AJt Z) + bj < 0 для всех j&[0:N{]}. Обозначим через W* = (z*v ..., ζ*, а*) век-
§ 6] МЕТОД НАХОЖДЕНИЯ СТАЦИОНАРНЫХ ТОЧЕК 171 тор, минимизирующий линейную форму 3?(W) = u при ограничениях (Л„ Ζ)+ &,<(); /€=[0:ЛГ,]; — 1 <2Л — **<1ι ^g[1: я]. Тогда, очевидно, Z* ==(£*, .·., г*) будет решением минимаксной задачи (6.18). 5. Изложенный в этом параграфе метод может быть использован и для решения минимаксных задач при отсутствии ограничений на параметры: Ω = Εη. В этом случае получится метод, отличный от методов главы III и обладающий той особенностью, что для нахождения направления спуска gk — Zk~~ %k приходится решать задачу линейного программирования.
ГЛАВА V ОБОБЩЕННАЯ ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ § 1. Постановка задачи Обобщенной задачей нелинейного (математического) программирования будем называть задачу минимизации функции максимума φ(Ζ) на множестве Ω, заданном системой неравенств Ω =- {X е= Еп | hj (X) < 0 для всех / е [0: Л^]}. Ниже будет показано, как применить полученные в главе IV результаты к решению подобных задач. В частности, приводятся новые формы необходимого условия минимакса, учитывающие специфику задания множества Ω, и развиваются новые методы последовательных приближений для нахождения стационарных точек функции φ{Χ) на Ω. Отдельный параграф посвящен методу штрафных функций. Исследуется случай наличия ограничений типа линейных равенств. § 2. Свойства множеств, определяемых неравенствами 1. Пусть на Еп заданы функции hj(X)t /e[0:Afj]. Предположим, что функции А/ {X) выпуклы и непрерывно дифференцируемы на Еп. Образуем множество Ω = {X <= Еп | Л, (X) < 0 для всех / е [0 : Ν,]}. (2.1) Ясно, что множество Ω является выпуклым и замкнутым. Введем обозначение qp! (X) = max A/ (J). /el0:#i3 Будем говорить, что выполнено условие Слейтера, если inf φ^ίχΟ. (2.2) х*ва
§ 2} СВОЙСТВА МНОЖЕСТВ 173 Из (2.2) следует, что Ω имеет внутренние точки. Пусть далее δςΐ = {Χ^Εη\φι(Χ)^0}9 Q(X) = {j^[0:Nl]\h](X) = 0}. Если X^dQy то, очевидно, Q(X)=£ 0. Обратно, если Χ<=Ω и (ЦХ)Ф 0, то Χ<=δΩ. Лемма 2.1. Если Х0<^д&, то при выполнении условия Слейтера (2.2) имеет место неравенство min max ' , g < 0. (2.3) Доказательство. Допустим противное, т. е. что (dhfjXo) \ mm max —jt?—yg ^0. B*IM Je=Q(Xo) 4 σΛ j Поскольку Х0 е <3Ω, то Q (JTo) - ί/ е [0 : N{] | А/ (Х0) - ф1 (Х0)1 В силу теоремы 3.1 главы III и сделанных предположений о функциях hj(X) заключаем, что min ф1(Х) = ф1(Х0). Но φ{(Χ0)~0, значит, min ф1(Х) = 0, что противоречит (2.2). Лемма доказана. Замечание. Неравенство (2.3) равносильно соотношению где М*о) = соЯ,(*0), .НЛХо) = {^-\}^Я(Хо)}. Это утверждение следует из теоремы 3.2 главы III. Лемма 2.2. Пусть выполнено условие Слейтера (2.2). Тогда, если для некоторой точки i0eQ и некоторого j0 е [0 : Ν ι] оказалось, что hjQ{Xo) = 0, то dhu(xo) ^n
174 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ {ГЛ. V Доказательство. Прежде всего заметим, что в условиях леммы Х0 е <3Ω и /0 е Q (Х0). Допустив, что дкь(Х0)/дХ = 0, придем к противоречию с неравенством (2.3). Лемма доказана. Лемма 2.3. Пусть по-прежнему выполнено условие Слейтера (2.2) и допустим, что множество Ω ограничено. Тогда существует такое а{ > 0, что для всех X е 3Ω будет mm /€=Q(*)" дХ >а{. (2.4) Доказательство. Допустим противное. Тогда найдутся последовательность {Xk}> Xk ^ <3Ω, &= 1, 2, ..., и соответствующая ей последовательность индексов {j(k)}> j (k) e [0 : N J, / (k) e Q (Λ^), такие, что Ι^Γ^Ι-τ^ο. (2.5) Без ограничения общности можно считать, что j(k) = j0 и Xk-r+z*x*· пРичем **ξξ<?Ω. Переходя к пределу при k -* оо в равенстве Л/0 (А&) = О и учитывая (2.5), получим МЛ-0. ^Р = 0. Но это противоречит лемме 2.2. Лемма доказана. 2*. Результаты этого пункта носят вспомогательный характер и будут впервые использованы лишь в § 6. Введем в рассмотрение множества <3μΩ = {*|-μ<Φι(*)<0}, (Ζ^-ν^ΐΟΐΝ^-μ^/ι^Χ)^}. Если X е <?μΩ, то, очевидно, Qll(X) φ 0. Обратно, если *€ΞΩ И %(Х)Ф®, ТО Χ€=0μΩ. Лемма 2.4. Предположим, что множество Ω огра- ничено и выполнено условие Слейтера (2.2). Тогда для любого а' е (0, ах) {где а{ — число, фигурирующее
§2] СВОЙСТВА МНОЖЕСТВ 175 в лемме 2.3) найдется такое μ > 0, что для всех μ е [0, μ] будет " dhi (X) mm mm = <9μΩ I^Q^X) дХ >а'. Доказательство. Допустим, что для некоторого а' е (0, αϊ) требуемого μ не существует. Тогда найдется последовательность {μΑ}, μΑ > 0, μ^ к^^ 0, и соответствующие ей последовательности {Xk} и {/ (k)}, Хк < j{k)z=QH(Xk), такие, что \\dhm(Xk)ldX\\<a'. дна, (2.6) Без ограничения общности можно считать, что /(£)==/0 и Xk k+оь+Х** при этом X*edQ и /0<ξ£?(Χ*)· Переходя к пределу при έ-^οο в неравенстве (2.6), получим ' dhh(X*) дХ <а' < аи что противоречит (2.4). Лемма доказана. Теперь рассмотрим множества d'Q μ :{Χ|~μ< ma.x U{X)h,(*)<0}, /е[0:ЛЫ где ti{X) — \\dh}{X)ldX\rx ίπο определению ^- = — оо, если а > 0|. Лемма 2.5. Пусть выполнено условие Слейтера (2.2), α /ti/сгб множество Ω ограничено. Для любого а' е (0, а^ найдется μ' > 0 такое, что для всех μ.^[0, μ'] будет dhj (Χ) mm X €= d'Ω / < м- mm ax \>a'. (2.7) Доказательство. Справедливость этой леммы непосредственно следует из леммы 2.4. При этом в качестве μ' можно взять μ' = μ/α'. Действительно, пусть μ<=[0, μ7], Ig^Q, /eQ^I). В этом случае -μ<*/ΟΪ)Α,(Χ)<0.
176 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Учитывая, что μ<ίμ/α', запишем ^.«/(^Α/ίϊχΟ. (2.8) Если ~μ<ή/(Ι)<0, то Χ&δμΩ, /eQA(X), и потому по лемме 2.4 II dkf (X) дХ >а'. (2.9) Если же A/(J)<4—-μ, то в силу (2.8) должно быть '/(*)< 7' или, что то же самое, dhf (X) дХ >а'. (2.10) Из (2.9) и (2.10) следует (2.7). Лемма доказана. Замечание. В леммах 2.3—2.5 требовалось, чтобы множество Ω было ограниченным. Предположим теперь, что Ω не является ограниченным множеством, а ΜαΩ — ограниченное замкнутое подмножество. Тогда леммы 2.3—2.5 остаются справедливыми, если в них множества <?Ω, <9μΩ, <3μΩ заменить соответственно на (<9Ω) f) Λί, (ЗД Л Μ, (<3μΩ)ΠΛί. Лемма 2.6. Пусть Λί — ограниченное замкнутое множество, содержащееся в Ω, и μ — некоторое положительное число. Тогда найдется такое δ > 0, что равномерно по X е Μ и j φ(3μ (Χ) будет hi {X) < - δ. Доказательство. Множество Λί/ тех X из Λί, для которых tj (X) hj (X) ^ — μ, ограничено и замкнуто, и потому hj (X) достигает на нем своего максимального значения — δ/<0. Остается положить 6 = min6/ и заметить, что из 'условий X е Λί, / φ Q^ {X) следует X s Λί^ Лемма доказана. 3. Пусть по-прежнему Ω = {Ζ)Μ*)<0, /^[ΟΐΛΉΚ
§ 2] СВОЙСТВА МНОЖЕСТВ 177 и выполнено условие Слейтера (2.2), т. е. существует точка ΙεΩ, для которой max MZ)<0. (2.11) /е[0:ЛМ Зафиксируем Χ0&Ω и рассмотрим множество T(XQ)^{V^En\hj(X0 + aV)^0 для всех /€=[():#,] и всех ае[0, а0(7)], где a0(V)>0}. Через Т(Х0) обозначим замыкание множества Т(Х0). Очевидно, Г(Х0) является конусом возможных направлений множества Ω в точке Х0 (см. Приложение II, § 2). Введем в рассмотрение множество B(XQ)={v ^En\[vt ^^^)^0 для всех /e=Q(*0)}, где Q (Х0) = {/ s [0 : Nx] | hf (Х0) = 0}. Если Q (Х0) — 0, то по определению полагаем В{Х0) = Еп. Лемма 2.7. Яри выполнении условия Слейтера (2.11) справедливо равенство Т(Х0) = В(Х0). (2.12) Доказательство. Утверждение очевидно, если Q {Х0) = 0. Действительно, в этом случае^ Х0 — внутренняя точка множества Ω, поэтому Г (J0) = Г (Х0) = Еп. С другой стороны, по определению В{Хо) = Еп, и равенство (2.12) доказано. Поэтому пусть (3(ХО)Ф0· Тогда X0edQ. Прежде всего установим, что Т(Х0)аВ(Х0). (2.13) Возьмем V0^T(XQ). Тогда найдется последовательность векторов {Vi} такая, что К0=Нт^; ^еГ(10), * = 1, 2 ί-»οο Зафиксируем любое /. Для всех / е [0: iVj] и всех aG(0, a0(Kt·)) по определению Т(Х0) будет
178 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Отсюда следует Н1(Х0 + *У1) = Н1(Х0) + а(Щ±^, К,)<0. где Xi^Lxiia, /)е(0, а). Если /<=Q(J0), то hf(Xo) — 0, и поэтому Последнее неравенство справедливо для всех ае е (0, a0 {Vt)). Устремляя а к нулю, получим (*№■■ у.) <0. В этом неравенстве перейдем к пределу при ί-*οο. Это дает для всех /sQ(Z0) (i™. ..)<·. т. е. F0^5(Xo)> и включение (2.13) доказано. Докажем теперь, что В(Х0)е=Т(Х0). (2.14) Пусть 70εθ(Ι0). Предположим вначале, что ( δ\{χθ) . ^о)<0 для всех /eQ(Z0). Поскольку А/(^о + аП) = А/№) + «(^^, V0) + oy(o)f то найдется такое OqX), что для всех /<=Q(J0)h a e= [0, а0] будет А/(*о + аУа)<М*о)-0. Далее Ау(Х0)<0 при j&Q{X0). По непрерывности функций А/(Я) найдется с^Х), at<a0, такое, что при /&Q{X0) и og [0, сц] будет hj(X0 + aV0)<0. Итак, Х0 + а70<=О для всех ае[0,а.1, и потому V*eT{X0).
§ 2] СВОЙСТВА МНОЖЕСТВ 179 Пусть теперь V0 — произвольный вектор из B(Xq). Поскольку X0&dQ, то в силу леммы 2.1 найдется вектор g0e=En, || g01|=1, такой, что (—gjf^-, go] <0 для всех / ε Q(*0). При любых ε>0 и j&Q(X0) будем иметь (V0 + eso,^-)<0, так что по доказанному F0 + ε#0 е Г (ΛΓ0)· Устремляя е к нулю, получим VQ& Г(Х0). Соотношение (2Л4), а с ним и лемма, доказаны. Итак, ( {^|(^.-^г^)<0 для всех /GQW), Г(*о>Н если Q(XQ) Ф®\ \ Еп, если Q(XO) = 0- 4. Через /С {Xq) обозначим выпуклую коническую οδοί д/ь (ΧΔ I ) лочку множества Н{ {Х0) = | К = ^ / е Q (Х0) |: Если Q (X0) = 0, то по определению полагаем К (Х0) = {0}. Пусть Q(io)^0, т. е. XQ<==dQ. В силу леммы 2.6 Приложения II заключаем, что K{Xq) является замкнутым выпуклым конусом. Лемма 2.8. При выполнении условия Слейтера (2.2) справедливо равенство Г+(*о)~*(*о). (2.15) Доказательство. В случае Q(Х0) = 0 утверждение леммы очевидно. Поэтому пусть Q{Xq)¥=0. Докажем, что B(XQ) = K+{XQ). (2.16) Возьмем V0eJ3(I0). Имеем ^T^-f *Ό)>0 для всех /eQ(I0). (-
180 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 1ГЛ. V Отсюда следует (Z, VQ) > 0 для всех Ζ<=Κ (Χ0), т. е. по определению сопряженного конуса У0е/(+(Х0)· Таким образом, B(XQ)czK+(X0). (2.17) Пусть теперь V0 e 7(+ (Х0). Это означает, что (Z, К0)>0 для всех Ze/CW· В частности, для всех /gQ(X0) т. е. У0^5(Я0). Таким образом, K+(Xq)czB(Xq). (2.18) Объединяя (2.17) и (2.18), получим (2.16). В равенстве (2.16) перейдем к сопряженным конусам Β+(Χ0) = Κ++(Χο)· (2Л9) В силу леммы 2.7 В+(Х0) = Г+(Хо)> (2.20) С другой стороны, поскольку^ №)) —* выпуклый замкнутый конус, то в силу леммы 2.3 Приложения II /С++(*0) = /С(*о). (2.21) Объединяя (2.19), (2.20) и (2.21), получим (2.15). Лемма доказана. Из леммы 2.8 следует Теорема 2.1. Если Ι0εΩ и выполнено условие Слейтера (2.2), то г+«Ч 1 i<sQQ , *W*0) λι~ττ~ λ,>0 если Q(*0)¥= 0; I {0}, если Q(Ao) = 0·
§ 2] СВОЙСТВА МНОЖЕСТВ 18 ί 5. Допустим, что среди функций h}(X), /e[0:JV,], есть линейные функции Л, (X) = (Л/, X) + Ь„ / с= [ЛГ + 1 : Nx]. (2.22) Тогда условие Слейтера (2.2), выполнение которого требовалось в теореме 2.1, может быть заменено более слабым условием. Достаточно потребовать существование точки X такой, что hjiXXO для /е[0:ЛН, А/(Х)<0 для Ι&[Ν'+1:Νχ]. Условие (2.23) будем называть обобщенным условием Слейтера. Докажем теперь, что теорема 2.1 справедлива при выполнении обобщенного условия Слейтера (2.23). По существу нужно пересмотреть лишь доказательство соотношения Β(Χ0)ςζΓ(Χ0) в лемме 2.7, ибо только здесь мы пользовались условием Слейтера. Прежде всего заметим, что из (2.23) следует существование, вектора WQ такого, что (■^м^· г°)<0 ПРИ /е[°:ЛПП<Ж)> I i^ax^' w°)<° ПРИ i^i^+i-^inQW. | (2.24) Действительно, положим №0 = Х — Х0> где X —точка из (2.23). В силу леммы 3.2 Приложения II при / е Q (Х0) будем иметь (■^Г*-> X-Xo)<hl(X)-hl(XQ) = hl(X). Отсюда и из (2.23) очевидным образом следует (2.24). Далее, если вектор V0^B(X0) таков, что llhgsL, v0)<0 при je[0:N'][\Q{X^ I [■^Χ'νο)<° ПРИ /sIJV'+r.JV.inQ^e).) (2.23)
182 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V το ν0<==Γ(Ζ0). Действительно, при /е= [0 : N'][)Q(X0) и малых α ^5 0, так же, как в основном тексте, имеем М*о+аП)<М*о)==0. Для / е= [Ν' + 1 : Ν{] Π Q {Х0) получим в силу (2.22) и (2.25) при всех а>0 hJ(X0 + aV0) = hi(X0) + a[^^9 F0)<0. Итак, при достаточно малых а>0и j^Q(XQ) будет А/^о + аКоХО. С другой стороны, при малых а^О и J^Q(Xq) h}(X0 + aV0)<0. Получили, что A/ {XQ + аУ0) ^ 0 для всех / е [0 : W J и as[0, a0 (Vo)]> гДе а0 (V0) > 0. Но это равносильно включению К0еГ(Х0). После сделанных замечаний доказательство соотношения В(Х0) с: Г (Х0) проводится так же, как в лемме 2.7. Утверждение доказано. Замечание 1. Если все функции hj(X) линейны, то (2.23) перепишется в виде А/(Г)<0 для j^[0:N{]. Таким образом, в этом случае обобщенное условие Слейтера заменяется требованием непустоты множества Ω. Замечание 2. Поскольку каждое равенство вида (Л,, *)+*,= 0 может быть заменено системой неравенств (Л/, *) + &/<(), -(Л7, *)-*/<0, то в определение множества Ω могут входить линейные равенства. Однако в этом случае условие Слейтера никогда не выполняется, а обобщенное условие Слейтера может и выполняться.
§3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА 183 § 3. Необходимые условия минимакса 1. Пусть выпуклое замкнутое множество Ω задается в виде (2.1), и пусть Ω' — некоторое открытое множество, содержащее внутри себя Ω. Положим φ(Χ)= max №), ie[0: Ν] где fi {X), i e [0 : N], — непрерывно дифференцируемые на Ω' функции. Рассматривается задача минимизации функции φ(Χ) на Ω. Общей задаче такого рода была посвящена глава IV. Результаты настоящего параграфа учитывают специфику задания множества^. Напомним, что имеет место следующая теорема (см. § 3 главы IV): для того чтобы в точке Гей функция φ {X) достигала своего минимального на Ω значения, необходимо, а в случае выпуклости φ(Χ) на Ω и достаточно, чтобы г+(ЛПМЛ¥=0, (зл) где L (Г) = со Η (Г), Η (Г)<ъ= { MilfL | / € R (Г)}, а Г+ (X*) — конус, сопряженный к конусу возможных направлений множества Ω в точке X*. В случае, если множество Ω задается соотношением (2.1) и выполнено условие Слейтера (2.2), вид конуса Г+(Х*) установлен теоремой 2.1. При построении алгоритмов для минимизации функции <р(Х) оказывается полезной следующая Теорема ЗЛ. Пусть множество Ω задано в виде (2.1) и выполнено условие Слейтера (2.2). Тогда соотношение (3.1) эквивалентно включению 0 €= I (Г), (3.2) где I (Г) = со Η (Χ*), Η (Г) = Η (Г) U Н{ (Г), Я(Г) = {^|^*(Л}, ^^-{■^|/eQ(Jn}. ЯЮ = {1&№'М]\Ш*)*=9(Г)), QiXl-'U^lO-.N^hjiD-o},
184 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Доказательство. Утверждение теоремы очевидно, если Q(X*)==0· Действительно, в этом случае Ζ (X*) — L (X*), и в силу теоремы 2.1 Г+(Г) = {0}. Таким образом, и (3.1) и (3.2) сводятся к включению О €=£,(*·). Это дает нам право в дальнейшем считать, что Q(X*)^0i т.е. Гей. Пусть в точке X* выполнено условие (3.2). Покажем, что тогда имеет место и (3.1). Из (3.2) следует dh(X*) , γι- , dhj(X*) дХ + Ik ' i €= R (X*) j e Q [X*) где λΗ>0, λ2/>0, 0= 2j к^~дх ·" i λ2/ ijp "' (3·3) 2j Ki + ^ λ2/=1. ^е^(Г) f<=Q(X*) При этом ибо в противном случае оказалось бы, что Zj λ2/ —^χ— = 0; λ2/ ^ 0, ^ λ2/ = 1, т.е. 0е1|(Г), где Lx{Χ*) = соН{(X*)f но это противоречит лемме 2.1. Итак, а>0. Перепишем (3.3) в виде - Σ ч,^+ Σ ч,^. .<м> где λ' = — λ' = — ι/ α ' 2/ α · Ясно, что λ'>0, λ'>0, Σ λ'=1.
§ 3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА 185 Теперь имеем Σ λί,-^-еКГ). (3-5) и в силу (3.4) и теоремы 2.1 Σ «-тт1— Σ «.^-"-cn (3-е) Из (3.5) и (3.6) следует (3.1). Докажем теперь обратное. Предположим, что выполнено соотношение (3.1). Требуется доказать, что о е=£(Г). Пусть Z0e=r+(r)fU(#*)> т.е. Σ<% (JT) а/ —$χ—, а7 > 0; /eQ(D Z0 = ^ ^ —~£— , λ^ 0, ^ λ; = 1. 1&R(X*) i<=R(X*) Имеем i^R(X*) i^Q{X*) Введем обозначения: Поделив равенство (3.7) на 1 + с, получим v а/,(У) v <%(**) _п 1<ξΗ(Χ*) !&Q{X*) причем λ,*>0, λ2/>0, Σ λ1£+ Σ . λ2/=1. Ie*<*·) /eQ(r) Но это и означает, что ОеГ(Г). Теорема доказана.
186 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Замечание 1. Условие Слейтера в формулировке теоремы 3.1 не может быть заменено обобщенным условием Слейтера. Пример. Пусть Ω = {X = {хи х2) \х{ + х2 — 0}, φ(Χ) = ί0(Χ)~(Χ, Χ). В этом случае обобщенное условие Слейтера выполнено. Положив Л = (1,1), перепишем представление для Ω в виде Q = {Xe=E2\(A, 1)<0, -(Л, J)<0}. Нетрудно доказать, что для всех IeQ будет 0 €= ЦХ). Действительно, Н{ (X) состоит из двух векторов: Л и —Л, так что 0 е со Нх {X), и тем более 0 е Ζ {Χ). С другой стороны, Г+ (X) = {λΑ \ λ произвольно}, L(X) — {2X}. Для Х0 = (1, -1)εΩ, например, будем иметь ВД)ПГ+(Хо)=0. Итак, в рассматриваемом случае соотношения (3.1) и (3.2) неравносильны. Замечание 2. Множество индексов [0: Ν{] произвольным образом разобьем на два множества [0 : Ν'] и [Ν' + 1 : Ν{]. Введем обозначения Qi(X) = U€=[0:AHIM*> = °b Q2(X)~{Je[N'+l:Nl]\hi(X) = 0}. Очевидно, Qi(X)UQ2(X) = Q(X)- Имеет место более общее, чем теорема 3.1, утверждение: Пусть выполнено условие Слейтера (2.2) и X* е Ω; тогда соотношение (3.1) эквивалентно следующему соотношению: Г'+(Г)П1'(Л=^0>
Г/+(.Г) = §3] НЕОБХОДИМЫЕ УСЛОВИЯ МИНИМАКСА 187 где V (Г) = со Н' (Г), Я' (Г) — Η (Г) U Н\ (Г); я{(Г)-{-^Р|/еС,(л}; I / s Q2 (X*) J если Q2(r)#0; I {0}, если Q2{X*)=0. Доказательство этого утверждения вполне аналогично доказательству теоремы 3.1. 2. Определение. Точка ΓεΩ называется стационарной точкой функции φ(Χ) на множестве Ω, если имеет место (3.1). Пусть точка Ι0εΩ не является стационарной. Тогда d(z0) = min IIζ — кн=иζ(χ0) — к(а:0)ц>о, Z<=L(X0) V е Г+ (Хо) где Z(XQ)<==L(X0), V(X0)<==T+(X0). В § 3 главы IV было показано, что направление является направлением наискорейшего спуска функции φ(Χ) в точке Х0 на множестве Ω. Там же отмечалось, что g(X0)^ Поможет оказаться, что g (Х0) φ Г (Х0), т. е. ни одна точка луча X = X0(a) = X0-\-ag(X0)y α>0, не принадлежит Ω. Вот почему мы не можем непосредственно использовать направление наискорейшего спуска для разработки методов последовательных приближений при нахождении стационарных точек. Предположим, что выполнено условие Слейтера (2.2), и пусть Q{Xq)¥=0- Найдем d(X0)^L min || Ζ || = || Ζ (Ш (3.8) Так как Х0 не является стационарной точкой, то в силу теоремы 3.1 d{X0)>0 и Z{XQ)^0. Из (3.8) следует, что
188 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V направление №)=-щ«р |1№)||=1· м обладает тем свойством, что {1ЬШ9 £(Х0))<-Я(*0)<0, H=R(XQy9 (ЗЛО) ("^ЯГ^ g(*o))<-d(XQ)<Q, /eQ(I0). (3.11) Рассмотрим луч X = Х0 (а) = XQ + ctg (J0)> а > 0. В силу (3.11) имеем при достаточно малых а>0 h} (Х0 + ag (Х0)) < hj (Х0) = 0 для всех / е= Q (Х0). В силу непрерывности функций hj(X) для /^Q(X0) при малых сс>0 будет h}(X0 + ag(X0))<0. Таким образом, X0+ag(X0)^Q при достаточно малых а>0. С другой стороны, в силу (ЗЛО) при малых а>0 q>(X0 + ag(X0))«f(X0). Получили, что направление g(X0) является направлением убывания функции φ (А*) в точке Х0 и, кроме того, в этом направлении можно двигаться, оставаясь в множестве Ω. Это обстоятельство и будет использовано нами в дальнейшем. Отметим, однако, что направление g{X0) не является, вообще говоря, направлением наискорейшего спуска функции <p(J) в точке Х0 на множестве Ω. § 4*. Зависимость направления спуска от способа задания множества Ω Установим зависимость полученного по формуле (3.9) направления спуска для функции φ(Χ) от способа задания множества Ω. Множество Ω было определено соотношением (2.1). Ясно, что его можно задать и так: Ω = {Х|/,/*,(*)<0 для всех j^[0:N{]}9 (4Л)
§ 4] ЗАВИСИМОСТЬ НАПРАВЛЕНИЯ СПУСКА 189 где // — любые положительные числа. Тогда вместо многогранника L(X) (см. теорему 3.1) появится многогранник Lt(X) = coHt(X), где t == (/о, ..., tN), Ht(X)=H(X)[]Ht(X)9 Ht{X)-{ti^^\i^Q{X)\ и необходимое условие (3.2) заменится условием Ое=£,(Г). (4.2) Конечно, условия (3.2) и (4.2) эквивалентны, поэтому неважно, какое из них использовать для проверки точки на стационарность. Пусть I0 g Ω не является стационарной точкой функции φ(Χ) на Ω. Тогда направление St(Xo) = --^£j, Ш*о)Н = 1. II ^t (Xq) II где dt(XQ)M: min || Ζ || = I! Zt (X0) ||, Z*Lf(X0) существенно зависит от вектора коэффициентов /. При этом при любом положительном t (это означает, что все координаты вектора/ положительны) направление gt(Xo) является направлением-убывания функции у(Х) и существует такое а0(/, Х0)>®> что AO + a^(Z0)eQ при всех аб[0, а0(/, Х0)\. Введем обозначение т (t) = min t,. Лемма 4.1. Если I0gQ не является стационарной точкой функции φ(Χ) на Ω и если выполнено условие Слейтера (2.2), то lim dt{XQ)=d{XQ),
190 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V где {см. п. 2 § 3) d(Z0)= min IIZ-П 2eL (*0) V&T+ (Хй) Доказательство. Если Q(XQ) = 0, то Г+(Х0) = {0}, Μ*0)-Ι(*α). так что Я* (Х0) = d (Z0) ПРИ всех положительных ί. Поэтому будем считать, что Q{Xo)¥z0t т. е. XQ^dQ. Из леммы 2.1 следует 1К(*о)Ж min max (Щ^,ё) = -а<0. (4.3) Покажем, что для любых Υ/^O, /^fOiWj], будет Σ" dhj(Xo) || ^ Υ/—йН>а i Υ/· <4·4> Действительно, если 2 Y/ = 0, то неравенство (4.4) очевидно. Пусть 2 Y/ = 6>0. Тогда 1 V/—я? * 2d У-ж-\> где ιί-ΐ. Σ ν;=ι. / s Q (*β) Так как (см. замечание к лемме 2.1) то на основании (4.3) имеем η^οΙΙ>-*ι(*ο)-β. (4.5) ибо -ψ,(*ο)- min || Ζ ||. Из (4.5) и следует (4.4).
§ 4] ЗАВИСИМОСТЬ НАПРАВЛЕНИЯ СПУСКА 191 Напомним теперь, что Q>t\Xv— mln λ s A (0 2j λιί м° + Σ ***** дх - Ι' te=tf(*0) /€=Q(*0) II где Λ(/)={λ|λΗ>ο, λ2/>ο, 2 λ„+ Σ λ2/ = ι|, 1 ,/η . ι) ν ι dh{XQ) . ν ι iwi где Λ = |λ|λΗ>ο, λ2/>ο, Σ *u = ii. Положив ce max .Ш. получим на основании (4.4) >fl J M0'/-*>am(f) J] Μ')-*· (4.6) Так как, с другой стороны, а,(Х0)< max 1^^-IUc, то из (4.6) следует "'«^..^'«О-гдадЧ· (4.7) Далее, при достаточно больших m(f) имеем «*<(*ο)-=μ(0| 2ί λ" ") дХ + Zi λ2'^ οχ \*
192 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Поскольку то по определению d(X0) получим следующее неравенство: άί(Χ0)^μ(ί)ά(Χ0). (4.8) Докажем теперь, что d(X0)^dt(X0) при всех положительных t. Действительно, запишем цепочку равенств rf(J0)= £ λΐί—^χ ^ Za ^2/ дХ τ dft(Xo) , \Л г,, dhj(X0) I ^J ^li~dX. ^ AJ ****! dX \i^R(Xo) /eQ(X.) ii v ,, dh(Xo) t v , ад>| = * 2j λιί м + L k2iti дх · меж*») /eQ(Xe) II Здесь Яг/ = λ2////, 6= 2 яи+ 2 λί,ί,= ι + 2 λ2/>ι, λπ = λΐ t/6, λ2/ = λ2//6. Ясно, что λ»>0, λ2/>0, 2 λ»+ 2 λί/=1. Поэтому, учитывая определение dt(X0), получим d(X0)^bdt(X0)^dt(XQ). (4.9) Из (4.8) и (4.9) следует ά(Χ0)>άί(Χ0)^μ(ί)ά(Χ0). Осталось перейти к пределу при т(/)-»оо в последних неравенствах и воспользоваться соотношением (4.7). Лемма доказана. Теорема 4.1. Если Х0 е Ω не является стационарной точкой функции φ(Χ) на множестве Ω и если выполнено условие Слейтера (2.2), то
§ 4] ЗАВИСИМОСТЬ НАПРАВЛЕНИЯ СПУСКА |93 где g(X0) ~ направление наискорейшего спуска функции φ(Χ) в точке Х0 на множестве Ω. Доказательство. На основании леммы 4.1 имеем dt(Xo) m{t)+„>d(X0). (4.10) Но dt(X0)= min || Ζ || = || Ζ (/)||, d(*o)- min || Ζ || HI Z01|, где G(X0)=L(X0)-r+(X0) = {Z-V\Z<=L(X0)t V<=r+(XQ)}. Заметим, что множество G(X0) замкнутое, ибо замкнутыми являются множества L(X0) и Г+(ЛГ0) и L(X0) ограничено. Из доказательства леммы 4.1 следует, что справедливо представление Ζ(/)-μ(/)Ζ'(/), (4.11) где Z'{t)e=G(XQ) и μ(/) ηιφ^^ 1. В силу (4.10) можно считать, что множество векторов {Z'(t)} для достаточно больших m(t) ограничено. Докажем следующее предельное соотношение: Допустим противное. Тогда найдется такая последовательность {U, что Z'{ta) m(^)^0O->Z/=^ZQ. Поскольку Zf (t8) <= G (Х0) и множество G (Х0) замкнутое, то Z'eG(Jfo). Учитывая, что Z0 — единственная ближайшая к началу координат точка множества G(XQ)> получим I|Z'||>IIZ0||. С другой стороны, в силу (4.10) и (4.11) имеем I|Z'|IH|Z0||. Полученное противоречие убеждает нас в справедливости соотношения (4.12).
194 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Теперь заметим, что Отсюда и из (4.12) следует требуемое. Теорема доказана. § 5. Множители Лагранжа и теорема Куна —Таккера 1. Пусть по-прежнему φ(Χ)== max /,(*), где f ι {Χ), i s [0 : Ν], — непрерывно дифференцируемые на Q'czEn функции, и пусть множество QcQ' задано в виде Ω = {Χ\ max ЫХ)<0}, где функции А/ (X), / е [0 : N,], — выпуклые и непрерывно дифференцируемые на Еп. Предположим также что выполнено условие Слейтера inf max hi{X)<0 (или обобщенное условие Слейтера (2.23)). В этом случае справедлива следующая Теорема 5.1. Для того чтобы функция φ(Χ) достигала в точке ΓεΩ своего минимального на Ω значения, необходимо, а в случае выпуклости φ(Χ) на Ω и достаточно, чтобы нашелся вектор λ = (λιο, . . ., λ\Ν, Яго, ...» ^2Nj €= ^N+N^2 такой, что ί=0 /=»0 ΛΓ и. я;,>о, /Σλ;ί = ι; λ;ί=ο, «ν» ^(Г)<Ф(Г). III. λ^>0; ед(ДГ') = 0, /e=[0:tf,].
§5] МНОЖИТЕЛИ ЛАГРАНЖА И ТЕОРЕМА КУНА - ТАККЕРА 195 Доказательство. Необходимость. Пусть X* —точка минимума функции у{Х) на Ω. Будем считать для определенности, что множество Q(r) = {J^[0:Nl]\hi(X*) = 0} не пусто (в противном случае доказательство лишь упрощается). На основании теоремы 2.1 и 3.1 главы IV заключаем, что найдется точка Z0, общая для L{X*) и T+(j*). Таким образом, '%Гч dhj (X*) ζ° = - Σ β>"4χ > Ρ/>0' /GQ(r). /€=Q(*0) Отсюда следует V ПОП, . ν ο *Μ*') Λ Компоненты вектора λ* определим соотношениями: λ;, =аг для ie=R{X*)> λ*Η=0 для i<£R(X*), λ*2} = $! для j^Q(X*)t Ki = ° Для /^Q(**)· Получим ίι,· %(*·> , γι.. **/(**) Условия II и III также выполняются. Необходимость доказана. Достаточность. Пусть φ(Χ) выпуклая на Ω функция, Гей и выполнены условия I—III. Для определенности будем считать, что Q(X*)=£ 0. Имеем в силу II и III Δο = 2d и—ш— 2а п—Ш—ем^ ъ ί=-0 * ε R (X*) -' df У,' ^/ (Г) γ, . ^/(Г) — r+fy4 ^0 = ~ ^ λ2/ ^ = — 2d 2i Μ ^ '·
196 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ ГГЛ. V Поскольку Z0 = Z'0> то Ь{Х*)[\Г+(Х*)Ф0. Учитывая теоремы 2.1 и 3.1 главы IV, заключаем, что в точке X* функция φ(Χ) достигает своего минимального на Ω значения. Теорема доказана. 2. Введем в рассмотрение функцию f{x, λ)=ΣλιΜχ)+Σλνΐιι{χ). Функция F(X, λ) называется функцией Лагранжа, а коэффициенты λ^, λ2/— множителями Лагранжа. Предположим, что fi(X), /<=[0:N], и A/(J), j&[0:N{], заданы на всем Еп> и пусть Λ = {λ = (λιο, ...» λ\Ν, λ20, ...» λ2ΛΤ,)|λι*^0, Σλ1£=1; λ2/>0, /e[0:JV,]}. Определение. Точка [X*, λ*] называется седловой точкой функции F(X, λ) на £ηχλ, если F (Г, λ) < F (X\ λ*) < F (J, λ*) (5.1) для всех Х^Еп и λεΛ. Справедлива Теорема 5.2 (Куна—Таккера). Пусть функции fi (X), i e [0 : Ν], и hf (X), /е [0 : Ν{], выпуклы и непрерывно дифференцируемы на Еп и выполнено условие Слейтера (или обобщенное условие Слейтера). Для того чтобы функция φ{Χ) достигала в точке X* своего минимального на Ω значения, необходимо и достаточно, чтобы нашелся такой вектор λ* е Λ, что точка [Χ*, λ*] является седловой точкой функции F(X, λ) на £„χΛ. Доказательство. Необходимость. Пусть X* — точка минимума φ{Χ) на Ω. Тогда в силу теоремы 5.1 найдется вектор i*GA, для которого выполнены условия I—III. В частности, 2ί λ,< ~λΓ" + 2jλ2>—~дГ~ β °· (5·2> ί=0 /=0
§5] МНОЖИТЕЛИ ЛАГГАНЖА И ТЕОРЕМА КУНА - ΤΑΚΚΕΡΛ 197 Но слева в (5.2) стоит dF(X\ λ*)/3Χ, а так как функция F(X> λ) выпуклая по X на Еп при любом λεΛ, то F(X\ λ*)= min F{X, λ*). Отсюда следует правое неравенство из (5.1). Далее в силу II, III и определения F(X, λ) имеем F(x\ λ*)= Σ я;/.(Г)=ф(Г) Σ λ;.=φ(ζ*). (5.3) i(=R{X*) i^R(X*) Возьмем любое λεΛ. Поскольку Γ^Ω, то F (Г, λ) = Σ KtU (Л + Σ λ2/Α, (Χ*) < ί—0 /=0 <2яи/г(Л<ф(Г)Ея,г = ф(Г). (5.4) Объединяя (5.3) и (5.4), получим левое неравенство из (5.1). Необходимость доказана. Достаточность. Пусть [Х\ λ*] ^ £„ Χ Λ — седло- вая точка функции F(X, λ) на ΕηχΑ. Докажем, что φ (Г) = min φ (Χ). Заметим прежде всего, что X* е Ω. Действительно, допустим противное. Тогда для некоторого j0^[0:N{] будет hjt(X*)>0. Положим λ =(λιο, ..., λίΛτ, λ2ο, ..., λ2, /0-ι, λ2/0+ α, λ2, /0+ι, ..., Ягл^^Л, где α>0. В этом случае. F(X\ Л') = ^(Г, Г) + аА/,(Г)>,Р(Г, Г), что противоречит (5.1). Итак, Гей. Заметим далее, что λ2*/Α/ (X*) = 0 для всех / е [0 : Л^]. (5.5) В противном случае для некоторого /0 будет λ2/0Λ/ο(Χ*)<0. Положив λ =(λΐο, . . ., λ\Ν, λ20, ...» λ2, /β-ΐ, 0, λ2,/β+Ι, · . ο Wj ^ Λ,
193 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V получим F(X\ X') = F{X\ x)-uhhh{X*)>F{x\ λ*), что противоречит (5.1). Тем самым доказана справедливость соотношений (5.5). Покажем теперь, что λ*Η = 0, если i<£R(X*). (5.6) Допустим противное. Тогда найдется λ*ί0> Ο, ι^φ. R (X*). Пусть /, е k (X*)- Положим λ' = (λΐο, ... ι λι;ν, λ20> ...» λ,2Ν,) ^ Λ, где kit для ιφι^ ι φ ix\ λ» —{ 0 для / = /0; Ι λΐί, + λπβ для / == /ι5 λ2/ = λ2/, /€=[():#,]. В этом случае будем иметь F(X\ k') = F(r, *r)-Kt.[fti(r)-ftt(r)]>F{r, Г), что противоречит (5.1). Итак, соотношения (5.6) также справедливы. Из (5.5) и (5.6) следует F(X\ λ·)-φ (Г). (5.7) Теперь уже нетрудно доказать равенство φ(Χ*) = ηιίηφ(Χ). Действительно, допустим противное. Тогда найдется Χ'^Ω, для которого φ(Χ0<φ(Ό· Имеем F(X', κη - Σ я;,/, (jo + 2 % (^0 < < Σ Kift (*') < Φ (*') < Φ (Л- (5.8) Учитывая (5.7) и (5.8), получим f (*'> Г)<^(Г, Г), что противоречит (5.1). Теорема доказана полностью.
§ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 199 Замечание.. При доказательстве достаточности мы не пользовались никакими специальными свойствами функций fi(X) и hf(X). Таким образом, наличие седло- вой точки [Χ*, λ*] функции Лагранжа F(X, λ) на Еп χΛ является достаточным условием равенства max /t-(X*) = min max fi(X), ί€=[0;ΛΠ Χ€=Ω *e=[0: Ν] где Ω = {Ζ|Α/(Ζ)<0, /е[0:Л^]}, для произвольных функций fi{X) и hj{X), заданных на Еп. § 6. Первый метод последовательных приближений 1. Результаты этого параграфа представляют собой естественное обобщение результатов § 6 главы III. Пусть <р(*)= max fi{X), φ,(Χ)= max h,(X), ie[0:iV] /e[0:AM Q={ie£e|A/(i)<0 для всех / s [0 : ВД Как обычно, считаем, что функции fi(X), i^[0:N], непрерывно дифференцируемы на некотором открытом множестве Ω', содержащем Ω, функции h} (X), j e [0 : N{], выпуклы и непрерывно дифференцируемы на Ею и что выполнено условие Слейтера (2.2). Положим при фиксированном ίεΩ Ρμ(Ζ) = {/,^[0:^1]|-μ<Α/(Ζ)<0}, μ>0. Очевидно, RQ{X)"R(X)t и если ε'>ε, то ^(J)=)/?e(J). (6.1) Ясно также, что Q0(X) = Q(X), и если μ'>μ, то <?μ-(*)=><2μ(*). (6.2) β § 6 главы III было указано явное представление для Re(X) при различных ε. В частности, там отмечалось, что при некотором αι(Χ)>0 (конечном или бесконечном) R,(X) = R{X)t если 0^г<а{(Х). (6.3)
200 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Аналогичное представление может быть получено и для QVL(Xy Перенумеруем числа A/iLA/(Z) (ieQ фиксировано) в порядке убывания: Очевидно, 0^r^Nl9 причем r£Lr(X) зависит от Z. Обозначим /*(*) = {/*!. .-м /*,J, fte[0:r]; Ясно, что 0<М*КМ*)< ··· <ir(fl. По определению полагаем 6r+1(X) = oo. Пусть tfW-(J'*(*)■ «e[0:rl. Теперь можно записать представление для Ρμ(Χ): Г 0, если μ^[0, i0(I)), Q»lW~lQfU)f если Μ*)<μ<*,+ι(*). s s [0 : г]. Отсюда, в частности, следует, что ли Ьл(Х)ч>0: 1 (6.4) <3μ(Χ) = <3(Χ) для 0<μ<Μ*). если Ь0(Х)>0; Q*(X) = Q(X) для 0<μ<61(Ζ), если М*) —0. Лемма 6.1. Для любого фиксированного Х0 е Ω существуют такие числа γ0 > 0, 60 > 0, Yi > 0, 6j > 0, I. Для любба ε г [0, γ0] и ΓεΩ, || Χ' — J01|< ό0, будет Rt(X')aR(X0). II. Для любых μ € [0, γ,] и ΓεΩ, || Χ' - Χ01|< Ο! бг/дег <гд(л<=<г(*о)· Доказательство этой леммы, аналогичное доказательству леммы 6.1 главы III, мы опускаем.
где § 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 201 2. Введем обозначение Ζεμ(*) = οο/7εμ(*), ΧξξΩ, ΗΛΙ>(Χ) = ΗΛ(Χ)1)Ηϊμ(Χ)9 Я.(*)«{-^|'е*.(*)}. «|μ(^-{«^1|/^ρμ(^)}. Ясно, что Loo(Jf) = L(X) (см. § 3). В силу (6.3) и (6.4) имеем L&ll(X) = L(X) (6.5) при ε ε [0, ^ {X)) и [0, 60Ц))> если 60W>0, [0,Ьх{Х)), если 60(А) = 0. Пусть 2βμ(^)- min || Ζ ||, d(X)= min ||Z||. ΖβΙβμ«) ZezLQQ(X) Определение 1. Точка ГеО, для которой θ€=ζ;μ(η, называется (ε, \к)-квазистационарной точкой функции φ (Ζ) яа множестве Ω. Определение 2. Пусть 0 ςέ Γεμ(Χ). Вектор й^{х)^-гг^М\\ЛШ где ||Ζεμ(Χ)|| = min__||Z||, называется направлением Z^L^(X) (ε, \х)-квазинаискорейшего спуска функции φ{Χ) в точке X. 3. Приступим к описанию первого метода последовательных приближений для нахождения стационарных точек функции φ{Χ) на Ω. Зафиксируем три параметра ε0 > 0, μ0 > 0 и р0 > 0. Возьмем начальное приближение 10ей. Предположим, что множество Μ(Χ0)={Χ£ΞΩ|φ(Χ)<φ(Χ0)}
202 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V ограничено. В силу непрерывности φ (Я) и замкнутости Ω множество М(Х0) является также замкнутым. Пусть уже найдено 6-е приближение Xk^M{X0). Если d{Xk) = 0 (т. е. Ое £(**)), то Xk — стационарная точка функции φ{Χ) на Ω, и процесс на этом заканчивается. Предположим, что d(Xk)>0. Обозначим через ν^ наименьшее v^{0, 1, 2, ...}, при котором Яв^(Хк)>Р» (6.6) где εν = ε0/2ν, μν = μ0/2\ ρν = ρ0/2ν. Заметим, что ν^ — конечное число. Это следует из того, что ρν->·0 при ν-> оо, а левая часть неравенства (6.6) стремится в силу (6.5) к d(Xk)>0. В дальнейшем будем использовать обозначения 6* = ev.» ta^JV» P* = Pv.> dk=de μ (Хк). й « R k к Положим где Ut μ (^—-направление {ek, Д^)-квазинаискорейшего спуска функции φ{Χ) в точке Xk. Рассмотрим луч X = Xk(a) = Xk + agk, α>0. Найдем ak e [0, оо) такое, что ФЙУ^ min ФЙМ) ае[0, оо) (минимум здесь достигается в силу ограниченности и замкнутости множества М{Х0)). Теперь положим Xk+l=Xk (ak). Очевидно, Xk+l^M{X0). Докажем прежде всего, что &еГ(**). (6.7) Если φι(Χ^)<0, то это очевидно. Пусть Φι(Λ*) = 0. Поскольку max (Ζ, £εμ {Χ)) = — <ίεμ (Ζ), το max {Щ^9§,μ (-¥))< HiaX (Ζ, &μ(Χ)) = -*.μ(*)·
§ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 203 Учитывая (6.8), получим для достаточно малых α > 0 Φι (■** + °>gk) = Φ! (Xk) + α ^g^- + 0k (α) < < - α5Λ + o* (a)< - γ ap* < 0, откуда и следует (6.7). Аналогично доказывается, что при малых a > 0 Φ (Xk + «&) < Φ (Xk) - j *Pk < Φ (Χά (6-9) Из (6.7) и (6.9) следует неравенство φ№+ι)<φ№). Продолжая описанные выше построения, получим последовательность {Я^} и связанные с нею. последовательности ftj» {А*}» {р*}> Ш» {<**}> причем Xk&M(X0), k = 0, 1, 2, ..., и ф№)>ф№)> ... >ф(**)> ... (ело) Если последовательность {Хк} конечна, то последний ее член по построению является стационарной точкой функции φ(Χ) на Ω. Пусть теперь последовательность {Хк} бесконечна. Лемма 6.2. При к -> оо выполняются предельные соотношения h-+09 μ*-*0, fa->0. (6.11) Доказательство. Прежде всего заметим, что по построению соотношения (6.11) выполняются или не выполняются одновременно. Допустим, что (6.11) не выполняются. Тогда найдутся числа ε* > 0, μ* > 0, ρ* > 0 и подпоследовательность индексов {ks}> &s->oo, такие, что ч8>**> £*5>μ*> hs>9*- Поскольку
204 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ (ГЛ. V то для /Gfc*(I^) получим П (Хм. + «AJ - ft (*0 + « ("Ч^ > &.) + o«s (α) < < /,· (**,) - adks + olk$ (α) < f, (Xks) - op* + o<fts (a). Аналогично для /sQH.(^J будем иметь ht (Xks + a&.) < A/ (**s) - 'op* + o/fts (a). Выберем теперь a0 > 0, не зависящее от i, j и ks, такое, что для ί <= Rt*-{Xks), } е= ζ?μ. (X*s), a e= [0, a0] будет Λ (**s + agfts) < φ (Xks) - \ ap* (6.12) A/(**, + <*&,)<-lap*. (6.13) Пусть далее (?!= max max " vy' XeAi(Xo) *€Ξ[0:ΛφΙ ° ,2 — max max X s Ai (Xo) / s [0 : ЛГ,] Так как Хь5 s Μ {Xo), то для / φ R8* (XfeJ и / φ £?μ* (JfeJ будем иметь П [Xks + α&#) < П (Xks) + oC, + oIA, (a) < < Φ (Хма) - e* + aCi + o^s (a); hi (Xks + a&f) < ht {Xks) + aC2 + oiks (a) < < — μ* + aC2 + o/fe5 (a). Очевидно, найдется такое ах > 0, 0<α!<α0, независящее от /, /, и £s, что для it£Re*(Xks), j^Q^*(Xks) и aG[0, aj будет fi (xk$ + *gk$) < φ (xks) - -J- &*> <6·14)
§ 6] первый метод ПослёдоёаТельных Приближений 205 Из (6.12)—(6.15) следует, в частности, что равномерно по ks φ(**5 + «ι£θ<φ(**5)--βι·> (6Л6) Φι(**, + «!&,)<-Ρ* (6.17) где ft = min{ya,p*, ~ε*}, β2 = πιίη{~α1ρ*, ^μ\. Теперь уже нетрудно получить противоречие. Из (6.10) следует, что последовательность {q>(Xk)} имеет предел Ф№)-^^*. (6-18) причем для всех k = 0, 1, 2, ... Φ(**)>φ\· (6.19) На основании (6.17) ^(α,ΐΙ^, + α,&,εΟ, а на основании (6.16) Φ (**>!>)< Φ (**,)-&. При достаточно больших ks будем иметь в силу (6.16) и (6.18) Φ (**>ι))< Φ*-4&- Но Φ(^Ι+1)- mm φ(^(α))<φ(^(ο1))<φ·—iplf Xk ί)εδ что противоречит (6.19). Лемма доказана. Отметим, что в приведенных выше рассуждениях могло быть 4. Если построенная выше последовательность {Xk} бесконечна, то она имеет хотя бы одну предельную точку, ибо Xk^M{X0), k = 0, l, 2, ..., а, по предположению, множество Λί(Λο) ограниченно и замкнуто.
206 задача Нелинейного программирования [гл. V Теорема 6.1. Любая предельная точка последовательности {Xk} является стационарной точкой функции ψ{Χ) на множестве Ω. Доказательство. Пусть xks kg-юо* х*> Ясно, что X* е Μ (Х0) и, в частности, X* е Ω. Утверждается, что X* — стационарная точка функции <f>{X) на Ω, т. е. что Я(Х*) = 0. Допустим противное: d(X*)U= min ||Z|| = tf*>0. Λ Ζ (Χ*) По лемме 6.1 найдутся числа γ* > 0, 6*>0h/Ci>0 такие, что при &s>/d, ee[0, γ*], μ^[0, δ*] будет R.{Xke)czR{X*)> Q»(Xks)aQ(r). Отсюда следует где I'(*,J-со Я'(**.). Очевидно, существует столь большое К^К\* что при ks^K будет min ||Z||>iai(r)—τ· *eL'(xO Итак, для eG[0, γ*], μ e [0, δ*] и &S>/C выполняется неравенство de»(Xks)>^. (6.20) Через V! обозначим наименьшее целое неотрицательное числр, для которого
§ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 207 Тогда для всех ks^K на основании (6.20) и (6.21) будет Отсюда следует \>\> Α*5>μν Pfts>Pv,. что противоречит лемме 6.2. Теорема доказана. Замечание. На каждом шаге описанного выше метода последовательных приближений приходится находить &k, μ*> ρ*, gk и ак. По лемме 6.2 ε^-^0^ μ*->0, ρ*->0, поэтому число испытаний (сравнений <ίενμ {Xk) с pv, v = 0, 1, 2, ...,— см. (6.6)) для выбора ek> fik и р^ возрастает и стремится к бесконечности при &->оо. Как уже отмечалось в главе III, при реальных расчетах можно использовать следующее соображение: испытания начинать не с ε0, μ0, ρ0, а с e^-j, μ*_ι, ρ^-ι, найденных на предыдущем шаге. Если то перебираем последовательности 8*-,/2\ μ^ί/2ν, fo-,/2v. ν = 1, 2, .... пока не дойдем до йк, μ* и р^. Если же то ищем наибольшее ν е 0: log2-7-^- L для которого ^Λν(**)>Ρ*ν, где Соответствующие наибольшему ν величины εΛν, μΗν, pkv и являются требуемыми ekf \xkf $k. 5*. Опишем одну модификацию первого метода последовательных приближений,
208 ЗАД\ЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Положим ё_1=е0, μ_1 = μ0, ρ_{ = р0 и возьмем начальное приближение ΧΌ е Ω. Будем считать, что множество Μ(Χό) — {Χ^Ω |φ№<φ№)} ограничено. Пусть уже найдены X'kt=M(X$t lk__v μΛ_ρ ρΛ_ρ и пусть d(Xk) > 0. Для построения X'k+\ найдем наименьшее ve{0, 1, 2, ·..}, при котором W <-«*_,/2\ μ; = μ,.,/2ν, ρς-ρ^,/2*. Обозначим его через ν£. Положим 8*ввС;» Дл==^;> p^Pv;· Далее поступаем, как в основном методе: находим g'k = ge β (X'k) и в качестве X'k+X берем точку минимума функции ψ(Χ) на отрезке X = X'k(a)£*X'k + ag'k, α^Ο, *£(α)€=Ω. Ясно, что Х'Ш<=М(Х$9 δΛ<δ^ρ Ρ*<μΛ-Ρ Ρ*<Ρ*_ι и что φ(Χ*+ι)<φ(Χ*). Если построенная последовательность {x'k} конечна, то последний ее элемент является стационарной точкой функции φ(Χ) на Ω. В противном случае справедлива Теорема 6.2. Пусть {^ } — такая подпоследовательность последовательности [Xk}> что % < Чр-\> Р*р < μ*ρ-ι· Если множество М(Хо) ограничено, то любая предельная точка подпоследовательности [Х% ) является стационарной точкой функции φ(Χ) надмножестве Ω. Доказательство этой теоремы аналогично доказательству теоремы 6.2 главы III. Наличие ограничений необходимо учитывать так же, как это делалось при доказательстве теоремы 6.1. 6*. В описанном выше первом методе последовательных приближений могут быть сделаны следующие
§ 6] ПЕРВЫЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 209 изменения: вместо (2μ{Χ) можно рассматривать множество %Μ = {Ι&10:Νι]\-μ<_ίί(Χ)Ηι(Χ)<0}9 а вместо Ηίμ{Χ) — HUX) = {botj(X)?^\j^Qi(X)}. II й/ИГ1 Здесь tj(X) = j—βχ~Ί > а *о — произвольная положительная константа. Множество Ζεμ(^) будет иметь вид Lv(X) = co(HB(X)\)HUX)l причем условие O^Loo(X) по-прежнему определяет стационарные точки функции φ(Χ) на множестве Ω. Формальное описание метода в этом случае сохраняется. При доказательстве же сходимости нужно дополнительно использовать следующие факты (см. замечание к лемме 2.5 и лемму 2.6): I. Существуют такие а > 0 и μ > 0, что для всех μ<~[0, μ], ΧςΞ(δμΩ)[)Μ(Χ0) и /€=<£(*) будет dhj(X)\\ дХ II. Для каждого μ>0 найдется такое с > 0, что для всех 1еМ(10) и j&Q'^X) будет Параметр метода μ0 следует брать не большим, чем μ. Подробное доказательство сходимости предоставляется читателю. 7*. Приведем соображение, по которому целесообразно использовать Q^(A'). Предположим, что все ограничения, задающие множество Ω, линейны: Q = {ZeBEn\fi}(Z)lL{A}yZ) + bJ^0 для всех/е=[0 : tfj}. Покажем, что для любой точки ΙεΩ индекс / принадлежит Q'^iX) тогда и только тогда, когда расстояние точки X до плоскости Λ/ (Ζ) = 0 не больше μ (рис. 32).
210 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Действительно, расстояние р/ точки X до плоскости (Aj, Ζ) + ί>/ = 0 с точностью до знака есть Ь(Х)=\\А1\гг({А,9х)+ь,). Учитывая, что ΙεΩ, τ. е. β/(Χ)<0, будем иметь Р/--М*)· Значит, расстояние точки X до плоскости hj(Z)~0 не больше μ тогда и только тогда, когда 0>\\Α!\Γι((ΑμΧ)+δί)^-μ, или, что то же самое, -μ<ί/(ί)Α/№<0, (6.22) dhf (J)»"1 df d* =M/li 1-1 где *,(*) = рнс. 32. с Другой стороны, нера венства (6.22) есть по определению условие принадлежности индекса / множеству Ql(X). Утверждение доказано. Что касается коэффициента 60 в определении множества Ηιμ{Χ), то следует напомнить (см. § 4), что при ε = 0, μ = 0 и больших Ь0 вектор gooW близок к направлению наискорейшего спуска функции φ (Χ) в точке X на множестве Ω (если, разумеется, d{X)>0). § 7. Нахождение (ε, д)-квазистационарных точек. Второй метод последовательных приближений 1. Определение (ε, μ)-κвaзиcτaциoнapныx точек было дано в предыдущем параграфе. Опишем теперь метод последовательных приближений для нахождения (ε, μ)-κΒ3- зистационарных точек функции φ(Χ) на множестве Ω. Зафиксируем ε>0 и μ > 0. Возьмем начальное приближение XQ e Ω. Будем предполагать, что множество М(Х0) = {Х €=Ω|φ(*)<φ(Χ0)} ограничено (кроме того, M{Xq) — замкнутое множество).
§7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 21 ί Пусть уже найдено k-e приближение Хк^М(Х0). ЕслиЯе|1(**) = 0 (т. е. 0<=Leil{Xk)), το Xk — (ε, ^-квази- стационарная точка функции φ(Χ) на Ω, и процесс на этом заканчивается. Если же devL(Xk)>Oy то строим следующее приближение Xk+i. Положим §k = £εμ (Xk)> где ge\x(Xk)~~ направление (ε, μ)-κ^3ΗΗ3Ηΰκορ6ήπΐ6Γθ спуска функции φ (Χ) в точке Xk, и рассмотрим луч X = Xk(a)=Xk-\-agkf α^Ο. Найдем α^[0, οο)такое,что Φ (**(<**))= min φ (**(<*)) (инфимум здесь достигается, ибо М{Х0) замкнуто и ограничено). В качестве (&+1)_г0 приближения Xk+l возьмем Xk{v<kY Xk+i = Xk(ak). Ясно, что Xk^l^M(X0). Как и в § 6, доказывается неравенство φ(*Λ+Ι)<φ(*Λ). (7.1) Теперь можно считать построенной последовательность {JJ, причем все ее элементы принадлежат М(Х0). Если эта последовательность конечна, то последний ее элемент по построению является (ε, μ)-κΒ33Ηΰτβ4Η0Η3ρ- ной точкой функции φ(Χ) на Ω. В противном случае справедлива Теорема 7.1. Любая предельная тонка последовательности {Xk} является (ε, \х)-квазистационарной точкой функции φ (Λ') на множестве Ω. Предварительно докажем одну лемму. Лемма 7.1. Имеет место предельное соотношение Ηπι3.μ(*Λ)~0. (7.2) Доказательство. Допустим противное. Тогда найдется подпоследовательность [Xks] и число й>0 такие, что dt,(Xks)>b.
δΐ2 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Поскольку для /^ζ)μ(Α^5) и малых α равномерно по ks выполняется неравенство A/(^ + aftf)<A/(^)-Ta*· а для /$έφμ(<ϊ^) и малых α равномерно по ks то найдется а^О такое, что для всех аё[0, а^и всех &s будет т. е. Xk8 + agka^Q- Аналогично показывается, что найдется столь малое а'еф/сО, для которого где β = πιίη{^α'6, ^ε|. Значит, точка Xfes(a/)=:^s + a'g^ принадлежит Ω, и выполняется неравенство (7.3). Теперь уже нетрудно получить противоречие. Из (7.1) следует ф№)т^^ф*> min ф(*)> причем для всех & = 0, 1, 2, ... Ф(**)>Ф*. (7.4) При достаточно больших ks будет ф(Х*,)<я>* + тР» так что в силу (7.3) Φ (*»,+,)= min φ(^,(α))<φ(^(ο0)<φ·-4·β. Xи i)eQ Ks что противоречит (7.4). Лемма доказана.
§ 7] ВТОРОЙ МЕТОД ПОСЛЕДОВАТЕЛЬНЫХ ПРИБЛИЖЕНИЙ 213 Доказательство теоремы. Пусть Ясно, что X* е М(Х0), в частности, Χ* ^ Ω. Требуется доказать, что άεμ {X*) = 0. Допустим противное: 5βμ(η- min 11*11-<г>о. В силу леммы 7.1 главы III найдется такое δ>0, что для всех iGii, ||X — X*||<б, будет *.(*)<=*. (Л. <?μ(*)<=<2μ(Χ*). Отсюда следует, что при больших &5 (см. доказательство леммы 7.2 главы III). Однако это противоречит (7.2). Теорема доказана. 2. На основе метода для нахождения (ε, μ)-κΒ33Η- стационарных точек можно разработать метод для нахождения стационарных точек функции φ(Χ) на множестве Ω. Возьмем произвольные ε0>0, μ0>0, ρ0>0 и начальное приближение XQ e Ω. Предполагаем, что множество М(Х0) ограничено. Если d(X0) = 0, то Х0 — стационарная точка функции φ(Χ) на Ω. Если же 3(Х0)>0, то с помощью описанного выше метода для нахождения (ε, μ)-κвaзиcτaциo- нарных точек в конечное число шагов получим точку Х{^М(Х0), для которой <W*.)<Po· При этом φ(Χ1)<φ(ΑΓ0). Теперь, имея Х{, полагаем _ ι _ ι. ι ει — "2 εο> Μί — у Μό> Pi — у Ро и повторяем описанную выше процедуру.
214 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V В результате построим последовательность {Xk} такую, что dekH(Xk+\Xpk> (7.5) где ek=r-e0/2k, μ£ = μ0/2*, ρ* = ρ0/2*, k = 0, 1, 2, ... Если последовательность {Xk} конечна, то последний ее элемент является по построению стационарной точкой функции φ(Χ) на Ω. В противном случае справедлива Теорема 7.2. Любая предельная точка последовательности {Xk} является стационарной точкой функции φ(Χ) на множестве Ω. Доказательство. Пусть Xk$ -g-+Z* ^*· Очевидно, ΓεΩ. Докажем, что d(X*) = 0. Допустим противное: rf(J*)>0. В силу (6.3) и (6.4) найдутся такие ε > 0 и μ > О, что я.(П=*(Л. ддл=д(Г). Значит, άεμ(Γ) = ά(Χ*)>0. При достаточно больших ks будет что противоречит (7.5). Теорема доказана. Замечание. Напомним, что первый и второй методы последовательных приближений могут быть использованы только при выполнении условия Слей- тера (2.2), ибо только в этом случае равенство d{X*) = 0 эквивалентно соотношению (3.1), определяющему ста^ ционарные точки. § 8. Метод наискорейшего спуска. Случай линейных ограничений 1. В §§ 6 и 7 для построения методов последовательных приближений использовалось необходимое условие мини- макса в форме (3.2). Ниже приводятся алгоритмы, использующие необходимое условие минимакса в форме-(3.1).
§ 8] СЛУЧАЙ ЛИНЕЙНЫХ ОГРАНИЧЕНИЙ 21.5 Пусть точка I0gS не является стационарной. Тогда d(J0) = min \\Z-V\\ = \\Z(Xa-V{XJ\\>0. Ζ €=£,(*„> Ver+Uo) Направление g(Xo) = Jv{xl)ZZ{xo)ll> Wg(Xo)W=U является направлением наискорейшего спуска функции φ (X) в точке Х0 на множестве Ω. В настоящем параграфе рассмотрен случай, когда все функции hj{X) линейны: *,(*) = И/, *) + */> /»[0:tfi]. Будем предполагать, что ЦЛ/Ц^О. Без ограничения общности можно считать, что || Aj || = 1, / €= [0 : N{]. Кроме того, предполагается, что множество Q={Ig En\(Aj9 Χ) + Ь, <0 для всех / е= [0 : #,]} не пусто. В этом случае в силу замечания к теореме 2.1 для любой точки I0eiJ будет Γ+{Χ0)=ίν = - Σ α,Λ,Ια,^Οΐ. I /eQ<Xe) Ί J Введем в рассмотрение множества МХ0) = со#е(Х0), яе(Х0)=={^^|/е/?е(Х0)}; /?ε(^ο) = {^[0:^]|φ(Χ0)-//(^ο)<ε}, ε>0; Г+(Х0)==/К = ~ Σ Μ/|α7>Oh ίμ№) = ^[0^ι]|-μ<Α/ω<0), μ>0. Если Ρμ(Χο)===0» Τ0 полагаем Г^(Х0) = {0}. Определение 1. Пусть ε>0, μ>0. Точка Z0 eQ, удовлетворяющая условию <*εμ(Χ0) = min IIZ-КЦ-О, Z = Le(X0) называется (ε, ^-стационарной точкой функции φ{Χ) на множестве Ω.
Γί(*ο) = Γ+(*ο) при με( [£ 216 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Определение 2. Пусть i0eii, Если 4μ №)) - II ^εμ №>) - ^εμ (*θ) II > О, где Ζεμ(Χο) s Le(Xo), ^εμ(*о) е Г+ (Х0)> то направление , у ν ^εμ (^о) — ^εμ (^о) _ ^εμ (^ο) "~ ^εμ №) Αμ^ο)— ||Χεμ(Χ0)-Ζεμ(Χ0;| <ίεμ(*0) называется направлением (ε, \х)-наискорейшего спуска функции φ(Χ) в точке Х0 на множестве Ω. Ясно, что || #εμ(Х0) II = 1· Как и в главе IV, нетрудно установить, что направление £εμ(Χο) единственно, хотя пара точек Ζεμ(Χ0) и VBVL(XQ) может оказаться и неедин- ственной. Из (6.3) и (6.4) следует, что Le(Xo) = L(X0) при ε е= [0, а, (Х0)), [О, М*о))> если М*о)>0, М*о))> если 60(J0)==0. Поэтому для таких ε и μ будет d^(Xo) = d(XQ). (8.1) Лемма 8.1. Если dtVL (X0) > 0, то (Щт^ · &μ (*о)) < - dell (J0), / е #ε (Ζ0); (τΓ^· ^εμ (*ο)) = Μ,. £δμ (Χο)) <0, / € Q, (Χ0)> Доказательство немедленно следует из определения ^εμ(^ο) и ^εμ(^ο) (см· доказательство теоремы 2.1 Приложения II). 2. Переходим к описанию метода наискорейшего спуска для нахождения стационарных точек функции φ(Ζ) на Ω. Прежде всего зафиксируем три параметра ε0 > О, Цо>0» Ро>0. Возьмем начальное приближение X0^Q. Будем предполагать, что множество Μ(*0) = {*^Ω|φ(Χ)<φ(Χ0)} ограничено.
§ 8] СЛУЧАЙ ЛИНЕЙНЫХ ОГРАНИЧЕНИЙ 217 Пусть уже найдено k-e приближение Xk^M{X0). Если d(Xk)~Ot то Xk — стационарная точка, и процесс на этом заканчивается. Пусть d(Xk)>0. Тогда найдем наименьшее ve{0, 1, 2, ...}, при котором <Vv(**)>Pv. (8.2) где εν = ε0/2ν, μν = μ0/2ν, ρν = ρ0/2ν. Обозначим его через vk. Очевидно, vk — конечное число, ибо pv->0 при v-^oo, а левая часть неравенства (8.2) в силу (8.1) стремится к d{Xk)>0. Введем обозначения . Ч = \> ΑΛ = μν Ρ* = Ρν где ge л (Xk) — направление (гк, jij-наискорейшего спуска функции φ{Χ) в точке Xk. Покажем, что ** + ag*eQ при всех as[0,jift]. (8.3) Действительно, для j^Qak(Xk) и всех а^О имеем в силу леммы 8.1 h} {Xk + <*gk) - Λ/ (**) + а (Ду, ft) < 0'. Пусть j&Qak(Xk)- Учитывая, что ||Л/||=1, получим Λ/ {Xk + «fo) - А/ (**) + α (А/> ft) < - £* + «· Итак, для a e= [0, μ^] и всех / е= [0 : ΛΤ,] будет М** +«**)«>, что равносильно (8.3). Отсюда, в частности, следует, что gk — допустимое направление: gk^T(Xk). Рассмотрим теперь луч X~Xk(*) = Xh + *gk> *>Ъ> и найдем ак е [0, оо), при котором φ №*(<**)) = min ф№(4 ЛА (α) & Ω
21» ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V В качестве (£+ 1)-го приближения возьмем Xk{<*k): %k+\ ==^* (α&)· Ясно, что XweMiXJ, Φ(^ι)<φ№). Далее продолжаем аналогично. В результате получим последовательность {#J. Если эта последовательность конечна, то последний ее элемент по построению является стационарной точкой функции φ(Ζ) на Ω. Рассмотрим случай, когда последовательность {Xk} бесконечна. Лемма 8.2. При k -> оо выполняются предельные соотношения ε* —Ο, μ*->0, р*->0, (8.4) Доказательство. Допустим противное. Тогда найдутся числа ε* > 0, μ* > 0, р* > 0 и подпоследовательность индексов {ks}> ks s_>>O0> оо, такие, что hs>z*> μ^>μ\ P*S>P*· В силу (8.3) при α е [0, μ*] будем иметь Учитывая лемму 8.1, нетрудно показать (см. доказательство леммы 6.2), что найдется α', 0<α/^μ% при котором равномерно по ks будет φ(4 + α'£ϋ<φ(*ϋ-β> (8·5) где β > 0. Неравенство (8.5) обычным путем приводит нас к противоречию. Лемма доказана. Теорема 8Л. Любая предельная точка последовательности {Xk} является стационарной точкой функции φ{Χ) на множестве Ω. Доказательство. Существование предельных точек последовательности {Xk} следует из ее ограниченности. Пусть Xk$ k ^^ X*. Ясно, что ΓεΩ, Утверждается, что d(Z*) = 0.
§ 8] СЛУЧАЙ ЛИНЕЙНЫХ ОГРАНИЧЕНИЙ 219 Допустим противное: d{X*)= min ||Z-n = d*>0. Z<=L(X*) КеГ+(Г) По лемме 6.1 найдутся числа γ* > 0» δ* >0, К\ > О такие, что при &5>ΑΊ> ее [0, γ*], με[0, δ*] будет #8(^)с=#(Г), Q^X^czQiX*). Поэтому Zgt,W Ker+(xO где I' (**,) = со Л' (Xks), H> (XkJ - { *igH | {<= Λ (Г)}, Очевидно, г/+(^)=г+(г)· Нетрудно показать, что при достаточно больших ks~^ >Κ>Κι будет min \\Ζ-ν\\>±ά\ VtsT'+{*k,) Значит, ^(4)>т^ (8·6) для ее [0, γ*], με[0, δ*] и &s>/(. Обозначим через V! наименьшее неотрицательное целое число, при котором 2*1 ^ r ' 2Vl 2Vl 2 В силу (8.6) будем иметь для ks^K Следовательно, %>eVl, μ&5>μνι, β*,>Ρν(, что противоречит (8.4).
220 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Теорема доказана. 3. Аналогично тому, как это делалось в § 7, может быть описан метод последовательных приближений для нахождения (ε, μ)-cτaциoнapныx точек и на его основе развит метод для определения стационарных точек функции φ(Χ) на множестве Ω. Напомним, что Ω = {X е= £„ | (Л/, X) + bf <0 для всех / €= [0 : #,]}. Подробное описание соответствующих алгоритмов и доказательство их сходимости предоставляется читателю. § 9. Случай нелинейных ограничений. Способы корректировки направлений 1. Пусть Q = {X<=En\hl(X)^Q для всех / е= [0 : N{]}> где Λ/ (X) — выпуклые и непрерывно дифференцируемые функции, и пусть ^выполнено условие Слейтера, т. е. существует точка X е Ω, для которой max hj(X)<0. (9.1) /e[0:AU V ' Для любой точки Х0ей положим Λμ(*ο)= min ||Z-K||, где (см. § 2, п. 2) Κ+(Χο) = \ν = - dh,(X0) α/>0 ι» Jj «У ах |»/^νι. I *β<?μ(*ο) J Q; (*o) = {/ e [0 : ΛΓ,] I - μ < ί/ (X0) Λ/ (Χ0) < 0}, Ι <?Λ/(Χ аА/(^в)Г' Очевидно, doo(X0) = 0 тогда и только тогда, когда d(X0) = 0. Таким образом, равенство cfSo(Xo) = 0 определяет стационарные точки функции φ(Χ) на Ω. Если d^ (Х0) = II Ζει1 {Χ0) - Vm {X0) || > 0, то положим , ,у, ^εμ №) ~ ^εμ №) 8εμ{Λο)- \\νΐμ(Χ0)-Ζ^(Χ0)\ΐ ·
§ 9] СЛУЧАЙ НЕЛИНЕЙНЫХ ОГРАНИЧЕНИЙ 221 Направление g'evL(X0) обладает следующими свойствами: (^Г-* §ίΛΧο))<-%ΛΧο) Д^ <s^ (9.2) (тГ^ «W)<° *ля /е W)· (9-3) Лемма 9.1. Пусть Х0 е Ω, множество Μ (Χ0) = — {X е= Ω | φ (Χ) < φ (Χ0)} ограничено и выполнено условие Слейтера (9.1). Тогда существуют такие а' > 0 и μ' > 0, что для всех μ е [0, μ'] и всех Ζ е (<3μΩ) Л Μ {Χ0) будет 1Щ (X) \ шах 1 дХ , flf(X)l< — α', где <7Ш=—= и X —точка из (9.1). Доказательство. Допустим противное. Тогда найдутся две монотонно убывающие и стремящиеся к нулю числовые последовательности {ak} и {μ^}, последовательность векторов {XJ, Xk ^ φΐι,β) Л Μ (XQ), k=l, 2, ..., и индекс k^Qlk{Xk) такие, что (i*fc™,<,№))>-.«4. Не ограничивая общности, будем считать, что Я"А ^^^ ^*> причем I*gQ, Поскольку Jo^Q'nk(Xk) при всех /г, то -μ* «а (**)*/.(*»)«>· Отсюда следует, что /г/о(Я*) = 0, т. е. X*edQ. В частности, Χ* φ Χ, Теперь имеем Переходя в этом неравенстве к пределу при &->оо, получим: А/,(1)^0, что противоречит (9.1). Лемма доказана. 2. Переходим к описанию метода последовательных приближений для нахождения стационарных точек функции φ(Χ) на Ω. Зафиксируем ε0>0, μ0 > 0, р0>0
222 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V и выберем начальное приближение Х0 е Ω. Будем считать, что множество M(J0) ограничено и что выполняется неравенство μο^μ'» где μ'— число, фигурирующее в лемме 9.1. Пусть уже найдено Xk €= Μ (Х0). Если doo (Xk) = О, то Xk — стационарная точка, и процесс на этом заканчивается. Предположим, что dw(Xk)>0. Найдем наименьшее vg{0, 1, 2, ...}, при котором <W**)>Pv. (9.4) где εν = ε0/2ν, μν = μ0/2\ ρν = ρ0/2ν. Обозначим его через ν^. Положим также Если Q^ (Xk)=0, то направление g'k является допустимым. В этом случае в качестве Xk+l можно взять точку минимума функции ψ(Χ) на множестве {X = Xk + ag'k\a>0, ΐ£Ω). Пусть теперь Q^ (Xk)¥10· Направление g'k может оказаться недопустимым, поэтому его необходимо скорректировать. Положим ft mln ί ' d'k 1 Очевидно, β*>0 и 2/з<|^ + β*£(*»)||<% Кроме того, имеем в силу (9.2), (9.3) и леммы 9.1 (Щ]Г-> Р*)<-^/2 Для t<=R*k(Xa- (9-5) (τ· Ρ*)<"3/Λ Для /eQy^), (9.6)
§ 9. СЛУЧАЙ НЕЛИНЕЙНЫХ ОГРАНИЧЕНИЙ 223 Из последнего неравенства следует существование такого γ^ > 0, что при α е [0, «у*] будет Найдем теперь ak^0, при котором *£ (α) € Ω и положим ΖΛ+1 — ^ (а^). Очевидно, Хк+1<=М(Х0) и φ(ΙΗι)<φ№). Продолжая аналогично, получим последовательность {Xk}. Если эта последовательность конечна, то последний ее элемент по построению является стационарной точкой функции φ(Χ) на Ω. В противном случае справедлива Теорема 9.1. Любая предельная тонка последовательности {Xk} является стационарной тонкой функции φ(Χ) на Ω. Доказательство этой теоремы аналогично доказательству теоремы 8.1. При этом необходимо дополнительно учесть соотношения (9.5) и (9.6), определение β^ и лемму 2.6. Замечание. Описанный метод может быть применен и при выполнении обобщенного условия Слейтера (2.23). При этом следует предположить, что линейные ограничения записаны в нормальной форме hi(X)MAh Х) + 6/<0, И/Ц-1, /е[ЛГ'+1:ЛМ. Точка X будет удовлетворять неравенствам Л, (Г)<0, /е=[0:ЛИ, A/(Jf)<0, /€=[#'+l'.tfil- 3*. Изложенный в предыдущем пункте метод использовал для корректировки g'k направление q(Xk)>, ведущее строго внутрь множества Ω. Однако корректировку g'k можно производить и иначе. Будем считать, что выполнено условие Слейтера. Поскольку множество М{Х0) ограничено, то при
224 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V некотором а">0 имеет место неравенство max /,<*)(*W. ,(*))<-«" (9.7) для всех με[0, μ'] и всех X е= (<ίμΩ)Π Λί (ΛΓ0). Это непосредственно следует из леммы 9.1. Введем множества #μξ(*) = οο U '«(*)· Нетрудно проверить, опираясь на (9.7), что при |^[0, а"), μ €= [0, μΐΗΐ6 (ВД П Μ (Χο) будет 0<£Ημ1(Χ). В силу леммы 2.5 Приложения II конус Γ+ξ (J), натянутый на множество (J Ιβ(Χ)> замкнут. Если(%(Х)=0, то по определению полагаем Г^ (X) = {0} для всех |>0. Заметим, что если для некоторого вектора ρ е Еп, ||/? ||= 1, оказалось (Pfg)> 0 для всех £€=Ιΐξ(Χ), (9.8) то для любого / е Q^ (Z) будет (p>ti(X)^wr)<-l· (9.9) Действительно, достаточно в неравенстве (9.8) положить Теперь зафиксируем ξ0^(0» я")· Пусть уже найдено Xk^Q. Если doo(X*) = 0, то точка Xk стационарная. В противном случае найдем ek, μΛ, ρΛ, d£, как было описано выше. Допустим, что Q^ (^)=й=0. Для каждого ξ5 = (1/2)*ξ0> 5 = 0, 1, 2, ..., положим dks= > min I|Z-K|| = ||Z^-^||.
§ 10] МЕТОД ШТРАФНЫХ ФУНКЦИЙ 225 Обозначим через sk первое 5, при котором dks ^ γ d'k- Очевидно, sk — конечное число. Введем обозначения Имеем dk^jd'k ив силу (9.8) и (9.9) [8k* 4 (xk) —Jx~) ^ ~ *k для / <= Q'H (Xk). Теперь рассмотрим луч Z = Xk(a)aLXk + agk, a^X). Найдем c^, при котором »№W)= min f№(a)) a>0 и положим Xk+l =Xk(ak). Для построенной таким образом последовательности {Xk} справедлива теорема, аналогичная теореме 9.1. § 10. Метод штрафных функций 1. В этом параграфе будет показано, как задача минимизации функции максимума φ(Χ) на множестве Ω, заданном системой неравенств, сводится к решению последовательности минимаксных задач на всем пространстве Еп. Пусть <p(J)= max ft(X)t Q = {Xe=En\hi(X)^0 для всех / e [0 : Ν{]}. Функции fi(X) и hj{X) предполагаются непрерывными на Еп. Предположим также, что существует точка ΧεΩ, для которой φ(Χ)==πιίηφ(Χ), и что множество Μ0(Χ) = {Χ^Εη\φ(Χ)^φ(Χ)}
226 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ΓΛ. V ограничено. В силу непрерывности φ(Χ) множество М0(Х) является и замкнутым. Образуем функцию φκ(Χ) = φ{Χ)+Σ^(Χ)^{Χ)9 где λ = (λ0 λΝι) и ί 0, если /*/(*)<О, 6iW = [ 1, если hj{X)>0. Очевидно, φλ(Χ) = φ(Χ), если Хей. Учитывая, что ίι,{Χ)δι(Χ) = π\ζχ{}ΐι(Χ), Ο}, заключаем, что функция φλ(Χ) при каждом фиксированном λ непрерывна по X на Еп, Пусть /η(λ)™ min λ,·. Будем писать λ>0, если /η(λ)>0. Через Χλ обозначим точку, для которой Φλ(*λ)= min φλ(*)· При любом λ>0 такая точка существует. Действительно, положим Μλ(Χ) = {Χ\φκ(Χ)<4λ(Χ)1 Тогда Μλ(Χ)α М0(Х), ибо для каждого Χ^Μλ(Χ) будет , _ Ч(Х)<Ъ.(Х)<Ъ{Х) = 9(Х)· Значит, множество МК(Х) ограничено. В силу непрерывности φλ(Χ) по X оно и замкнуто. Отсюда следует, что существует точка Χλ, для которой φλ(Ζλ)= min_ φλ(Χ)== min φλ(Ζ), Χ€=Λίλ(Χ) χ€ΞΕη при этом Χλ&Μ0(Χ) при всех λ > 0. Заметим также, что если при некотором λ > 0 оказалось Χλ е Ω, то Χλ является точкой минимума функции φ{Χ) на Ω.
§ 101 МЕТОД ШТРАФНЫХ ФУНКЦИЙ 227 Лемма 10.1. Если функции fi{X) и h}{X) непрерывны на Еп и множество М0(Х) ограничено, то Нт φ(Χλ)=φ(Χ). m (λ) > оо Доказательство. Допустим противное. Тогда найдется последовательность векторов Xk > 0, m(lk) fe>00> ooy и число ε>0 такие, что φ(ΧλΛ)<φ(ϊ)-β. (ЮЛ) Не ограничивая общности, будем считать, что Из (10.1) следует ф(Г)<ф(Х)-8. В силу определения X имеем Χ* φ Ω. Значит, Но последовательность (φ(Χλ^)} ограничена, поэтому M^Jhr^00· (10·2) С -другой стороны, вспоминая определение XKk, запишем φλΑ(^)<φλ,(^)=φ(^). что противоречит (10.2). Лемма доказана. Следствие. Поскольку при λ>0 φ(*χ)<<Μ*λ)<φ(*ν ГО __ Теорема 10.1. Пусть выполнены условия леммы 10.1 ы {λJ — произвольная последовательность векторов такая, что m (Xk) fe>oo-> оо. Тогда любая предельная точка X* последовательности {X^i,}* где XKk —точка минимума функции φλ£ {Χ) на Еп> является точкой минимума функции φ{Χ) на Ω.
228 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V Доказательство. В силу леммы 10.К φ (Г)--- minq>(X). Осталось показать, что Χ* ^ Ω. Допустив противное, придем к противоречию так же, как в лемме 10.1. Теорема доказана. 2, Положим fu(X) = ft(X)+ Σλ,ΰ(Χ)δ,(Χ). Тогда будем иметь φλ(Χ)= max fki(X). i es [0: Ν] В теореме 10.1 задача минимизации функции максимума φ(Χ) на Ω сведена к задаче минимизации функций максимума φ^{Χ) на Еп при различных Xk таких, что т(Яь)--£^~>оо. Функция 2 λ/Λ/ {Χ) б/ (X) называется функцией /=о штрафа, а методы минимизации φ(Χ) на Ω, использующие Фя(^0> называются методами штрафных функций. Сделаем еще одно полезное замечание. Если функции fi{X) и hf(X) непрерывно дифференцируемы на Еп, то и fu(X)> i^[0:N]y при любом фиксированном λ являются непрерывно дифференцируемыми на Ею причем J^^^ + EMIM*)l + M*))^. (ю.з) Достаточно доказать непрерывную дифференцируемость функций Ф,(Х) = /*/(*) MA /e[0:tf,]. Заметим, что Ф, {X)=4 А, (X) (\h,(X)\ + h, (Χ)) = j(i (Λ/ (Ζ)) + h) (X)),
§πΐ ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 229 где l(t) = t\t\, — оо</<оо. Функция 1(0 непрерывно дифференцируема на всей числовой прямой, причем ξ'(/)=2|ί|. Поэтому £(ft/(J)) непрерывно дифференцируемы на Еп и ui|E»=r(A/m)£W)„2,ft/m,£^>. Значит, непрерывно дифференцируемыми на Еп будут и Ф/(Х); при этом ί^ϊ>_α*,№ΐ+*,(ί»^. (ад Формула (10.3) следует теперь из определения fKi{X) и (10.4). § 11. Заключительные замечания 1. Сделаем некоторые замечания о методах последовательных приближений для нахождения стационарных точек функции φ(Χ) на Ω. Если множество Ω задается линейными неравенствами, то весьма эффективным является метод, основанный на нахождении (ε, μ)-0Τ3- ционарных' точек. Идея этого метода изложена в § 8. Однако следует иметь в виду, что в этом случае поиск направления спуска сводится к задаче квадратичного программирования: Σΰίϊ(Χο) , \Ί0 dhj(X0) дХ ПИП, где.2«/=Л, с^>0, β/>0. Методы §§ 6 и 9 имеют в основном теоретическое "значение. С помощью метода штрафных функций (§ 10) минимаксная задача с ограничениями сводится к минимаксной задаче без ограничений. В этом случае могут быть использованы методы главы III. При пользовании методом, изложенным в § 7, приходится решать те же вспомогательные задачи, что и в случае отсутствия ограничений на параметры (см. § 9 гл. III). Однако получающееся направление спуска ни в каком разумном смысле не является скорейшим.
230 ЗАДАЧА НЕЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ [ГЛ. V 2. Во всех методах в.качестве начального приближения берется произвольная точка Х0 из Ω. Заметим, что не всегда легко определить, принадлежит ли данная точка множеству Ω или нет. В этом случае можно рекомендовать одним из методов главы III решать следующую минимаксную задачу: max А/(Х)т-> min . /ер:^] Х*Бп Поскольку функции hf(X) выпуклы на Еп, то будет построена последовательность {х'ъ)> любая предельная точка которой является точкой минимума функции φ! (Χ) на Еп. В качестве Х0 можно взять любую точку последовательности {x'k}, для которой max Л/ОЙ)<0. /<=[0:ΛΊ] Заметим, что таким же образом можно проверить выполнимость условия Слейтера. 3. Исходная задача max fi(X)-> min, где Ω = {Χ\ Λ/(Χ)^0, /e=[0:Af,]}, равносильна следующей задаче нелинейного программирования в пространстве векторов W=(xu ..., хП9 и): найти min и при дополнительных условиях fi(x\> ...» *п) — и<0, i<==[0lN]\ hi(xl9....9 XnXO, /s[0 : Α^ι]. Отсюда следует, что исходная задача сводится к задаче линейного программирования, если функции ft (X) и hf(X) линейны. 4. В § 6 главы IV доказано следующее утверждение: если для некоторой точки X0eQ и некоторого индексного множества Qcz[0:./V] будет . min max f dh}5o) , Ζ-χλ = — α<0, причем функции ft(X) выпуклы на Ω при /gQ, to min/,(^o)-e< inf φ(*)<φ(*0)· (ϋ·1) i&Q Х&Я
§ II) ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ 231 Предположим теперь, что множество Ω задано в виде Ω={Χ|Α/(Χ)<0, j^[0:Ni\y и ограничено. Последнее означает, что найдутся константы /С/, /е[1:/г], такие, что |*j|^/C/ для всех Х==(хи ..., χη)^Ω. Положим hNi+i {X) = xt — Ki, I s [ 1: η]; hNl+n+i(Χ) = — Χι — Κι> /g[1:η]. Тогда Q = {Jf|A/(*)<0, /s[0:^i + 2nl}. Введем множество Q(Xo) = {z\hJ(XQ) + + {^TL>Z-XQ)<01 j<=[0:N{ + 2n]}. Очевидно, Ω(Χ0) ограничено и -Ω с= Ω (ЛГ0)· Предположим теперь, что функции ft{X) непрерывно дифференцируемы на открытом. множестве Ω", содержащем Ω(Ζ0). Поскольку min max№^, Ζ-Χ0)&.-α'*ζ-α, то в силу (11.1) min U {X0) - a' < inf φ (*)< φ (Χ0). (11.2) Левое неравенство в (11.2) более груоое, чем соответствующее неравенство в (11.1), однако вычисление а' сводится к задаче линейного программирования, в то время как вычисление а может представлять более сложную задачу.
ГЛАВА VI НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА § 1. Постановка задачи Пусть Ω' — открытое множество в Вп, G — ограниченное замкнутое множество в Ет, F(X, У)— функция, непрерывная и непрерывно дифференцируемая по X на Ω' Χ G. Рассматривается задача минимизации функции <р{Х) = max F(X,Y) на выпуклом замкнутом множестве Ω<τΩ'. В §§ 2 и 3 обобщаются на непрерывный случай результаты, полученные в главах III—V (дифференци- руемость по направлению функции φ(Χ), необходимые условия минимакса, их геометрическая интерпретация, некоторые оценки). § 4 посвящен сеточным методам нахождения стационарных точек функции φ{Χ) на Ω; отдельно рассматривается случай Q — En. В § 5 приводится один частный случай теоремы о минимаксе, т. е. выясняются условия, при которых minmaxF(J, У) = тах min F(X, У). В § 6 рассмотрен вопрос о нахождении седловых точек на многогранниках. В последних двух параграфах как следствие-общих теорем получены некоторые классические результаты теории чебышевских приближений. § 2. Основные теоремы 1. Пусть задана функция F(X, У), XgQ', Y&Gy где Ω' — открытое множество в Еп, a G — ограниченное замкнутое множество в Ет. Будем предполагать, что функция F(X, У) непрерывна вместе с dF(X, Y)/dX no совокупности переменных в Ω' Χ G.
§ 2] ОСНОВНЫЕ ТЕОРЕМЫ 233 Положим q>{X) = maxF{X, Y). Y^G Отметим простейшие свойства функции φ(Χ). I. Функция φ(Χ) непрерывна на множестве Ω'. II. Если при каждом 7eG функция F(X, Y) выпукла по X на выпуклом множестве Ω(=τΩ', то φ(Χ) выпукла на Ω. III. Если Ω с Ω' — замкнутое множество и при некотором Ι0εΩ множество М(Х0) = {Х ε=Ω\φ(Χ)^φ(Χ0)} ограничено, то φ(Χ) достигает своего инфимума на Ω, т. е. существует точка X* е Ω, для которой Ф(Г)= inf φ (J), или, что то же самое, maxf(r, У)=*= inf maxf(J, Г). Κεβ Xe~Q Y<=G Доказательство этих простых утверждений предоставляется читателю (ср. § 2 гл. III). При фиксированном X е Ω' введем множество R(X) = {Y<=G\F(X, Υ) = φ(Χ)}. Очевидно, R(X)czG является ограниченным замкнутым множеством в Ет. Теорема 2.1. Функция φ (X) имеет в каждой точке X gQ' производную по любому направлению g<^ Εп, \\g\\— 1, причем *<*>-max(i^iff). (2.1) dg Y^R(X) Для доказательства этой теоремы понадобятся две леммы. Лемма 2.1. Справедливо предельное соотношение lim max min \\Y — V\\ = 0. а->+0Уей (X+ag) V^R(X) Доказательство. Допустим противное. Тогда найдется последовательность положительных чисел {aj,
234 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI стремящаяся к нулю, и число а > О такие, что max min \\Y — V||>a. Y<=R(X+akg)V^R(X) Выделим точки Yk ^ R (X + akg), для которых min \\YR-V\\^a. (2.2) V^R (X) Поскольку все Yk принадлежат G, то, не ограничивая общности, можно считать, что последовательность {Yk) сходится. Переходя к пределу в равенстве получим F(X9 Г)-Ф(П Таким образом, Y*^R{X). Запишем неравенства 0< min ||У*-К||<||УЛ-П|. V^R(X) Отсюда следует, что min \\Yk — V \\ . . > 0, что противо- речит (2.2). Лемма доказана. Замечание. Смысл этой леммы заключается в следующем: по любому ε > 0 найдется такое а0 > 0, что при каждом а ^ (0, а0) для всякого Fe/?(X + ag) можно указать такое V е R (X), что || У — F Ц< е. Введем обозначение: Q(X, a) = R(X + ag)\J R(X). Лемма 2.2. Равномерно по g^Eni || g || = 1, справедливо предельное соотношение lim ( max [dF яу , g) — α->+0 lY&Q(Xt α) \ σΛ / - max (i^§Jl)g)] = 0. (2.3) Доказательство. Поскольку при всех α > О Q{X,a)z>R(X), то выражение, стоящее в фигурных скобках в формуле (2.3), неотрицательно. Возьмем ε > 0. Тогда ндй-
§ 2) ОСНОВНЫЕ ТЕОРЕМЫ 235 дется δ > 0 такое, то из неравенства || Υ' — У|| < δ (Υ, Υ' е G) будет следовать |№4-.№4Ι<· равномерно по g, ||g||=l. В силу леммы 2.1 по уже выбранному δ > 0 можно указать такое а0 > 0, что для а <ξ (0, а0) и любого KeQ(I, а) найдется V &R(X), для которого \\Y-V\\<6. Зафиксируем <х€=(0, а0). Пусть FaeQ(Z, а) —такая точка, что / dF (J, Υ) \ (dF (Χ, Υα) \ Обозначим через Va<^ R {X) точку, для которой ΙΙΓ«-ΚαΙΙ<*. Имеем равномерно по g, ||g||=l, 0< mas (i£&a.«)- max (^§П,8)< <№*Ч-№°Ч<'· Лемма доказана. Доказательство теоремы. Заметим, во-первых, что F(X + од, Y) = F(X9 Υ) + a (aFg'K), g) + о (У, g; α), где o(Y>g; <*) . л a , a-мГ υ равномерно по К е G и g, ||g||= 1. Отсюда и из определения Q (X, а) следует φ (Ζ + од) Ж max F {X + од, У)= max F {X+ag, Y) < УеО Y&R(X+ag) < max F(* + ag, У)< max F(X,Y) + Y<sQ{X,a) FeQ(X,a). + a max (dF{£ Y) , g) + max о(У, g; a). (2.4)
236 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА {ГЛ. VI Будем использовать обозначение max max | о (У, g; α) | = о (а). llglHlKso Ясно, что •^^"^TTft>0. Поскольку max F (X, У) = а + reQ(jf,a) = φ(Χ), то, учитывая (2.4), получим Φ(Χ + α£)-φ(Χ)<α max [dFl£Y) ,g) + o(a). Воспользуемся результатом леммы 2.2. Это дает q>(* + ag)-<p(X)<a max ( af jff Y) , g) + б (α), (2.5) где по-прежнему С другой стороны, q>(X + ag)> ^Ф(Х) + агтаХх)(^§11,^^ Отсюда следует <P(* + ag)-q>(X)>a max (^F<£' У) , g) -ofr). (2.6) Объединяя (2.5) и (2.6), получим α max (dF { *' Y ] , g) - ο (α)< φ (Ζ + ag) - φ (Л)< <a max (dF(^ Y) , g) +ό (α). (2.7) Таким образом, -*£>-* Hm 1ίφ(*+α*)-φ<*)1- max №U). Теорема доказана·
§ 2] ОСНОВНЫЕ ТЕОРЕМЫ 23? Более того, в силу (2.7) можно считать доказанной следующую формулу: φ (X + ag) - φ (Χ) + α $f&- + ο {g; α), (2.8) где °(^;α) "sypo»0 равномерно по g, \\g\\=l. 2. В дальнейшем будем рассматривать задачу ми- нимизации функции φ(Χ) на замкнутом выпуклом множестве Ω cz Ω'. Теорема 2.2. Для того чтобы функция φ(Χ) достигала минимального на Ω значения в точке X* е= Ω, необходимо, а в случае выпуклости φ (X) на Ω — и до- статочное чтобы inf max (aF(5y*,y), Z-Г) —0. (2.9) Если воспользоваться понятием производной по направлению и формулой (2.8), то одно доказательство этой теоремы может быть получено дословно так же, как доказательство теоремы 2.1 главы IV. Приведем другое независимое доказательство сформулированной теоремы. Необходимость. Пусть в точке X* е Ω1 функция φ(Χ) достигает минимального на Ω значения <p(**)=minq>(X), (2.10) однако равенство (2.9) не выполняется. Тогда найдется точка Zx e Ω такая, что nax (i£gul,Zl_r)A_e<o. (2.11) Обозначим через R множество тех FeC, для которых (dFfx'Y), Z,-r)>-|. (2.12) Очевидно, R либо пустое множество, либо компакт (ограниченное замкнутое множество в Ет). Предположим вначале, что R — компакт. В силу (2.11) и (2.12) R не имеет общих точек с R(X*)> поэтому ρ JL max F (Г, Υ)< φ (Г). (2.13) max
238 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА Положим Χ(λ) = χ· + λ(Ζ{-Γ). В силу выпуклости Ω при Ο^λ^Ι Χ (λ) €= Ω. dF (Χ (λ), Υ) [ГЛ. V! Обозначим /(= max max 0<λ<1Κ€=β дХ . Ζχ ■г) Очевидно, К — конечное число. По уже имеющемуся ε > 0 найдем δ > 0 такое, что из неравенства || Χ (λ) — — X* |К δ будет следовать I idF(X(k),Y) z _ г\ (OF (Х\ Υ) дХ ■> Ζ{-Χ* < равномерно по FgG, Положим, наконец, h = φ {Χ*) τ- ρ и -λο = ιη1η{ ιιΖι^ΧΊ{ > -£(, ΐ}> 0<λ0<1. Покажем, что φ(Ζ(λ0))<φ(Ζ*). Поскольку это неравенство противоречит (2.10), то тем самым будет доказана необходимость условия (2.9) в случае, если R — непустое множество. Запишем для произвольного FgG формулу Ньютона — Лейбница λο F(Χ(λ0), Υ)- F(Г, Υ) + J (dF(XdfY) , Ζ, - Г) Λ. 0 (2.14) Пусть Fg^. Тогда в силу (2.13), (2.14) и определения λ0 получим F(X(K0), У)<ф(Г)-Л + КЯо<ф(Г)-£. Пусть У е G \ /?. В этом случае
§ 2} ОСНОВНЫЕ ТЕОРЕМЫ 239 Согласно (2.12) и правилу выбора λ0 F{X(Ko), П<ф(П-*о|+ λ0| = Φ(Χ*)- Υ- (2.15) Итак, maxF(X^0), У)<<р(Г), (2.16) Ye=G что противоречит (2.10). Если /J — пустое множество, то для всех FeG (dF(X\Y) 7 Л ε \ дх > Z,~A )<^ΊΛ В этом случае следует положить λ0 = min J _^*ц > '}» 0<λ0<1. Тогда неравенство (2.15) будет выполняться для всех KgG, откуда следует (2.16). Необходимость доказана полностью. Достаточность. Предположим, что для Гей имеет место (2.9) и что функция φ{Χ) выпукла на Ω, т.е. для Х{, Χ2^Ω> при 0<λ<1 φ№ + λ№-^))<φ№) + λ[φ№)-φ№)]. (2.17) Докажем, что у{Х*)=тту(Х). Допустим противное. Тогда найдется вектор Zx e Ω такой, что φ(Ζ!)<φ(Ζ*). Положим Χ{λ) = Χ* + λ{Ζ{ — Χ*), 0<λ<1, и ε==|[φ(Γ)-φ(Ζ1)]>0. По ε > 0 найдется такое δ > 0, что из неравенства \\Χ(λ) — Д*1Кд будет следовать (dF(X(HY) 7 ул (dF(X\ Υ) 7 уЛ\^р равномерно по Υ е G. Введем число λ0, XQ = min{ |[z ^»ц » ΐ}ι 0<λ0<1,
240 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI и перепишем равенство (2.14) в следующем виде: Я0 {ЁП^-. Ζ ι - Χ*) = F (Χ (λ0), Y)-F (Г, Υ) - ldF(X(iYY\ _ ..Λ if)F(Y* V\ \ί \dt. -/F^wi-Hfru.*,-*·)], Для Y^R{X*) в силу (2.17) и выбора ε получим λ0(^^,-ΙΙ>ΖΙ-Ζ*)<φ(Ζ(λ0))-φ(Ζ*) + ελ0< < λο [ψ(Ζ,) - φ (Г)] + ελ0 = - ελ0. Значит, max (af(/J,y) , Zt-**)<-ε <0, что противоречит (2.9). Теорема доказана. Замечание. Если Ω:^^, то соотношение (2.9) эквивалентно следующему неравенству: (dF(X\Y) \^Λ min max —^—-,g L>0. 3. Теорема 2.3. Если для некоторой точки J0eQ и некоторого замкнутого множества Qcz G выполняется неравенство inf max[dF{??Y) , Ζ-J0) =^-α<0, (2.18) Ζ es Ω Κ e= Q \ σΛ / я функция F(Xf Υ) выпукла по X на Ω для всех KgQ, го min/Ч*о. У)-а< inf Ф№<Ф(Ц Доказательство этой теоремы вполне аналогично доказательству теоремы 5.1 главы IV. Следствие 1. Если в условиях теоремы QczR(X0) и а = 0, то inf φ(Χ) = φ(Χ0), г. е. Х0 является тонкой минимума функции φ(Χ) ца замкнутом выпуклом множестве Q,
§3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 241 Следствие 2. Если Ω =Еп и а = 0, то (2.18) эквивалентно следующему условию: mm max' —ν—υ'--^- HiO*iyeQ\ дХ , g)>0. При выполнении этого условия, а также в случае выпуклости функции F (Ху Y) по X для всех Υ ^ Q, имеют место неравенства mm F(X0,Y)^ inf φ(Χ)<φ(Χ0). § 3. Геометрическая интерпретация необходимого условия минимакса. Некоторые следствия 1. Зафиксируем Χ^Ω. Пусть, как и раньше, Γ(Χ) = {ν = λ(Ζ — Χ)\λ>09 ΖεΩ}. Через Т(Х) обозначим конус возможных направлений множества Ω в точке X (замыкание конуса F(J)), а через Г+ (X) — сопряженный к Г(Х) конус. Положим далее у Η(χ)^Ζ=δΡ(ΧχΥ) | Г €=/?(*)}. Нетрудно понять, что Η (Χ) — ограниченное* замкнутое множество в Еп. Обозначим через L(X) выпуклую оболочку, натянутую на точки множества Η {X): L(X) = \ Z=%*kZk\ZkeH(X)9 α^^Ο, 2 a*** 1> r ~~ произвольное натуральное число I *-ι J' В силу леммы 1.2 Приложения II L (X) -— ограниченное замкнутое выпуклое множество. Теорема 3.1. Равенство (2.9) равносильно следующему соотношению: 1(Г)ЛГ+(Г)=^0. (3.1)
242 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Доказательство. Покажем, что из (2.9) следует (3.1). Допустим противное. Пусть равенство (2.9) выполняется, однако /,(Г)ПГ+(Г) = 0. Тогда в силу теоремы отделимости (теорема 2.1 Приложения II) найдется вектор VQ <=Г++ (Х*)=^Т(Х*) такой, что max {V0, Z)£=-a<0. V&L (Χ*) Функция (V, Ζ) непрерывна по V равномерно относительно Ζ е L (X*). Поэтому для V0 <= Г (X*) можно указать вектор Vx = λ!{Х{ -Г)еГ(X*), для которого max (Vlf Z)< —4- Z<=L(X*) z Отсюда следует, что max (Z, *,_*·)<---* Z&L{X*) Ζ*Ί В частности, mov I dF(X\Y) у γλ^ а max —Их—» Х\ — Х < — -оГ"> что противоречит (2.9). Покажем, что из (3.1) следует (2.9). Допустим противное. Тогда найдется вектор У0^Г(Х*)аГ(Х*)у для которого (dF(X\ Υ) и \ . Λ max —ТПГ"^ V0)<0. Последнее неравенство можно переписать в виде max (K0, Z)< 0. Z^HiX*) Нетрудно проверить (см. доказательство леммы 3.1 главы III), что max (l/0, Z) = max (V0, Ζ) < 0. (3.2) Ζ €=£,(**) Z&H{X*) В силу того, что 1/0е=Г(х*) = Г++(х*), выполняется неравенство (KQ, Z)^0 для всех ΖεξΓ+(**). (3.3)
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 24$ Сопоставляя (3.2) и (3.3), заключаем, что Цх*)()Г+(х) = 0. Но это противоречит (3.1). Теорема доказана. Следствие. Если Г(X*) = Еп> то соотношение (3.1) эквивалентно следующему включению: О €=/,(**)· (3.4) Действительно, в этом случае Г+(χ*) === {0}. 2. Теорема 3.2. Для того чтобы функция φ{Χ) достигала минимального на Ω значения в точке I*g2, необходимо, а в случае выпуклости φ(Χ) на Ω и достаточно, чтобы нашлись г точек Ур ..., Yr из R(X*)> 1 ^ г < η + Ь # ^ неотрицательных чисел ак ^ 0, г 2 а& = 1, такие, что Доказательство. Необходимость. Пусть Jf*js=Q — точка минимума функции φ(Ζ) на Ω. Тогда выполняется соотношение (3.1). Это значит, что существует точка Ζ0 из L{X*), принадлежащая Г+(х*). Поскольку любая точка из выпуклой оболочки может быть представлена в виде выпуклой комбинации не более чем (п+ 1)-й точки исходного множества (см. лемму 1.1 Приложения II), то найдутся точки У,, ..., Уг из R{X*) г и числа а*^0, 2 аЛ=1, l^r^/i+Ь такие, что *«1 ^о= 2<*Л а/Ч**, у*) ife=l Напомним, что Ζ0εΓ+(ι*). Это значит, что для любого 1/еГ(Х*) будет выполняться неравенство
244 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI В частности, для всех ΖεΩ k—l откуда следует (3.5). Достаточность. Пусть выполняется равенство (3.5). Тогда для всех УеГ(Г) 1 Г dF(X\Yk) X 1акШ£П1,у>0. ^=1 В силу непрерывности скалярного произведения^ последнее неравенство имеет место для всех КеГ(Г). Значит, dF(X\ Yk) %ьШ&Ы.шГ*Ю. fc=ri С другой стороны, по определению L(X*) г (напомним, что Yk^R(X*)> fee[l;r]). Следовательно, выполняется соотношение (3.1). Остается сослаться на теоремы 3.1 и 2.2. Теорема доказана. Замечание. Если Г (X*) = Еп, то (3.5) эквивалентно следующему равенству: 2«лШй_0. (з.6) Действительно, в этом случае (3.1) равносильно (3.4), а (3.4) в силу леммы 1.1 Приложения II —равенству (3.6). Теорема 3.3. Если функция F(X, Υ) выпукла по X на Ω при каждом фиксированном Υεβ и существует тонка Χ*^Ω, для которой inf max F{X, Y) = maxF{X\ F), (3.7) *<=Ω Fee FgG
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 245 то найдется конечное множество Gr = {Yk^G\k^[l : г]}, l^r<!tt+l, такое, что inf max FiX, У)= inf max F{Xt Υ), причем inf maxf(J, Y)=maxF{X\ Y). XeQ yeGf yeGf Доказательство. В силу (3.7) и теоремы 3.2 найдутся точки Yi9 ..., Уг из R(X*) такие, что будет выполняться равенство (3.5). Докажем, что Gr = {Yk\ k^ е[1;г]} может быть взято в качестве искомого множества. Действительно, в силу выпуклости на Ω функции maxF{X, Y) Y^Gr и справедливости (3.5) получим на основании теоремы 3.2 (в части достаточности) inf maxF{X,Y) = maxF{X\Y). (3.8) XeQ y€=Gr yeGf Остается заметить, что точки множества Gr взяты из R{X*)> поэтому maxF(r, У)= max W, Υ). (3.9) Y^G Y^Gf Объединяя (3.7), (3.8) и (3.9), получим требуемое. Теорема доказана. 3*. Рассмотрим случай, когда множество Ω задано специальным образом. Пусть Ω = {Χ<==Εη\ίι{Χ, β)<0 для всех β€=ω}, где &czEs — ограниченное замкнутое множество, а функция h{X, β) непрерывна вместе с dh{X, &)/дХ по совокупности переменных на Εηχω. Предположим, кроме того, что функция h(X, β) выпукла по X при каждом фиксированном ре© и что существует точка ie£ft, для которой maxA(J, β)<0. (ЗЛО)
246 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Услозие (ЗЛО) будем называть условием Слейтера. В силу сделанных предположений множество Ω является выпуклым и замкнутым множеством. По (ЗЛО) оно имеет внутренние точки. Пусть 10ей. Рассмотрим множество Y(X0) = {V^En\maxh{X0 + aV, β)<0 для всех ае[0, a0(V)], a0(V)>0}. Через Г{Х0) обозначим замыкание множества Г(Х0). Очевидно, Г(Х0) является конусом возможных направлений множества Ω в точке XQ (см. п. 1). Введем обозначение B(X0) = {veEn\(v9 дН{£*П)<0 для всех P^Q(X0)}, где Q(X0)~®e=<u\h(X0, β) = 0}. Если Q(Xo)=0, то полагаем В(Х0) — Еп. Лемма 3.1. Справедливо равенство Т(Х0) = В(Х0). Доказательство. Если Q{X0) — 09 то утверждение леммы тривиально. Действительно, в этом случае Х0 — внутренняя точка множества Ω, поэтому Т(Х0) = Т{Х0) = Еп. С другой _стороны, по определению В(Х0) — Еп. Таким образом, Г (Х0) = β (Aq). В дальнейшем будем считать, что Q(Xo)^0» Заметим, что в этом случае тахЛ(*0> β) = 0. β€=ω Докажем вначале включение Т(Х0)аВ(Х0). Пусть V0^T{X0). Это означает, что существует такая последовательность векторов {VJ, что Vo^UmVi-, У,е=Г(*0), W=i, 2, ... ί-»οο
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 247 Зафиксируем любое /. Для всех β^ω и всех ае е(0, a0(Vi)) по определению Т(Х0) будет h(X0 + aVi9 β)<0. Отсюда имеем MXo + aV,, β) = Λ(*ο> β) + α(^(Χ°+/^,Ρ), У,)<0, где т<Жт*(а)€(0, а). Если &&Q(X0), то й(Х0> β) = 0, и потому («№^М^,И[У|)<0, (3.п) Неравенство (3.11) справедливо для всех а^(0, ^(У;)). Устремляя а к нулю, получим (Щ%,Р),У|)<0. (3.12) В неравенстве (3.12) перейдем к пределу при /->оо. Это дает для всех $<^Q(X0) (**&&, v0)<o. Таким образом, VQ^B(X0), и включение Г(Х0)с:5(Х0) доказано. Докажем обратное включение B(XQ)czT(X0). Пусть V0&B{X0). Это означает, что (у0. **ffiP))<0 для всех pe=Q(*0). (3.13) Прежде всего установим, что по любому а > О найдется такое ε > 0, что для всех ε е (0, ε] будет max (VQ, *Λ(*''ρ))<α, (3.14) где Qe№) = »s<o|-e<A(^0) β)<0}. Действительно, допустим противное. Тогда для некоторого й > 0 и некоторой последовательности
248 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI положительных чисел {εν}, стремящейся к нулю, будет выполняться неравенство max (V0i *Λ(*°'Ρ))>α>0, v = l, 2, ... (3.15) Ре%№)1 дХ ' Очевидно, максимум в (3.15) достигается. Значит, при каждом ν найдется точка βν^<3εν№)> для которой (у0) Ш*Ы}>а. (зле) При этом -βν<Α(*0. βν)<0. . (3.17) Поскольку все точки βν, ν== 1, 2,..., принадлежат ω, то из последовательности {βν} можно выделить сходящуюся подпоследовательность. Не ограничивая общности, будем считать, что вся последовательность {βν} сходится к точке p*G(o. Переходя в (3.16) и (3.17) к пределу при v-*oo, получим причем h{X0, β*) = 0, т. е. β*€=<?(*ο)· Тогда тем более max (V09 —-ζγ-1-)>α, что противоречит (3.13). Итак, доказано, что по любому а>0 найдется такое ε > 0, что для всех ее (0, ε] будет выполняться неравенство (3.14). Положим W0=X — X0, где X — точка, фигурирующая в (3.10), и покажем, что при любом γ>0 точка V0(y)= V0 + yW0 принадлежат Г(Х0), т. е. что для всех α£=[0, α0(ν)], α0(ν)>0, maxh(X0 + aV0(y\ β)<0. Зафиксируем γ>0. Введем обозначения φ{ {Χ) = max h {X, β), β€=ω « = --5·ΥΦι(ί)>0.
§ 3] ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 249 Как уже отмечалось, по а>0 найдется такое ε>0, что для ε е (0, ε] будет mflY ( dh (Хр, β) v\<rn max -τψ—, κ0 ^#· Далее заметим (см. Приложение II, § 3), что в силу выпуклости h(Xy β) по X (-^Ιί— ■ Х-Хо)<Ь(Х,£)-к(Х0,$). (3.18) Если ε е ίθ, —у φι (Ям, то для β е Qe (XQ) получим на основании (3.18) Зафиксируем некоторое ε, 0<ε<πιίη|ε, — γφχ (Χ)>. Тогда будем иметь Ymax (*ЩА UU<-4a. откуда следует, что max (Щ$^, Κ0(γ))<-3σ. (3.19) Далее Λ№) + αΚο(γ), β) = = Μ^β) + α(^^^^,Κ0(γ))< <Β(»*<*+^.(τΜ>), νΛΊ)γ (3.20) где те(0, α). Β силу (3.19), (3.20) и непрерывности dh{X,$)/dX по совокупности переменных на ЕпΧω, получим, что для достаточно малых ае[0,а0], а0>0, и всех β<=ρε(Χ0) h{X0 + aVQ{y), β)<-2αα<0. (3.21)
250 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Пусть теперь β ψ Qe {Х0). Тогда h (Х0, β) < —ε. Нетрудно понять, что найдется такое α0(γ), 0<α0(γ)^α0, что для а<=[0, а0(у)] и β<£<26(Χ0) будет h(X0 + *Vo(y)> βΧ-je. (3.22) Объединяя (3.21) и (3.22), заключаем, что m*xh(XQ + aV0(y)9fi)<Q при всеха<=[0, α0(γ)]. Но это и означает, что У0(у)&Г(Х0). Поскольку последнее включение имеет место для любого γ>0, то устремляя γ jc нулю, получим: ν0<=ΞΤ{Χ0). Итак, установлено, что В(Х0)<=:Г{Х0). Лемма доказана полностью. Рис зз Замечание. Условие Слейтера (ЗЛО) существенно для справедливости леммы. Это видно из следующего примера. Пусть (рис. 33) Ω = [X=>(xi9 х2)\ (х{ -1)2 + 4-1<0, (Xl-4)» + 4-4<0}. В этом случае ω = {1,2}, h(x, !) = (*,- ιγ + χΐ-ι, ЦХ,2)=>{х{-4У + $-4. Множество Ω состоит из единственной точки Х0 —(2> 0). Поэтому Г (Х0) = Г (XQ) = {0}. Найдем множество В{Х0). Поскольку Q(X0) = {1,2} и ^^- = (2,0), **<*?'2) -(-4,0), то B(Xu) = {V = (vl,v2)\vl = 0}.
§ 3J ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 251 Таким образом, Г(Х0)^В(Х0). Причина здесь кроется в том, что множество Ω не имеет внутренних точек. 4. В предыдущем пункте было установлено, что при выполнении условия Слейтера i{v\(v, **(*»Р))<0 для всех β<=0№>)>}> Г(*о) = 1 если Q(Xo)¥-0, [Еп, если Q(Xo)=0. Обозначим через K{Xq) выпуклую каноническую оболочку множества #' (Х0) = {- дН{*^] Ι β е= Q (*<,)} · [ £=1 λ,>ο, β^ρ(χ0), г — произвольное натуральное число}. Если Q{Xo) = 0t то по определению полагаем KiXoi^lO]. Нетрудно проверить (см. лемму 2.5 Приложения II), что К (Хо)~ замкнутый выпуклый конус. Лемма 3.2. При выполнении условия Слейтера справедливо равенство Г+(*а) = *(*«). Доказательство. Если Q{Xo)=0, то утверждение леммы тривиально. Поэтому будем считать, что <2(Хо)Ф0. Докажем равенство В(Х0)=К+(Х0)> (3.23) Пусть 70еВ(10), В этом случае (- a*ffip), V0)>0 для всех β^ρ(Χ0). Отсюда очевидным образом следует, что для всех Ζ^Κ(Χο) (Ζ, К0)>0, т. е. VQ€=K+{X0). Значит, B(X0)czK+(Xo)· (3.24) Обратно, пусть VQ e /С+ (Х0)· Тогда для всех Ζ^Κ {Xq) (Ζ,Κ0)>0.
252 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI В частности, для всех fi^Q(X0) (-^%β-.ν0)>ο. или, что то же самое, Но это означает, что V0^B{XQ). Таким образом, K+(XQ)czB(X0). (3.25) Объединяя (3.24) и (3.25), получим (3.23). В равенстве. (3.23) перейдем к сопряженным конусам. Это дает Г+(Х0) = К(Хо)> ибо В(Х0) = Г(Х0) и *++(*о)== *(*<>)· Лемма доказана. Теорема 3.4. Пусть Q = {Xs=En\h{X, β)<0 для всех β<==ω}, и выполнено условие Слейтера (3.10). Для того чтобы X* была точкой минимума функции φ(Χ) на Ω, необходимо, (а в случае выпуклости φ {X) на Ω и достаточно), чтобы нашлись точки Υχ, ..., Yr из R(X*) и βι, ..., βΓι из Q(X*) и неотрицательные числа г Ли, ..., λΐΓ; λ2ι, ..., λ2Γ; Jli^lt-=1, 1 ί=1 где l^r^/i+1, 1<Г|<«, такие, что Jm.iti&ii + JJ^'UgM-a. (3.26) Доказательство. В силу теорем 2.2 и 3.1 достаточно доказать, что (3.26) равносильно соотношению (3.1). Покажем вначале, что (3.26) следует из (3.1). Пусть Z*<zeL{X*) Л Г+(Х*). Равенство (3.26) получится, если воспользоваться леммами 1.1 и 2.4 Приложения II и леммой 3.2. То, что (3.1) следует из (3.26), очевидно. Теорема доказана.
§4] О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 253 § 4. О сходимости сеточного метода 1. Определение. Точка Гей, для которой выполняется равенство inf max (dF{f'Y)> Z-rWo, называется стационарной точкой функции φ(Χ) на множестве Ω. Для нахождения стационарных точек может быть использован сеточный метод, сущность которого заключается в следующем. На множестве G при натуральных N вводятся конечные сетки GN = {YNi e= G \ i е [0 : N]}. Предполагается выполненным следующее условие на поведение сеток GN при N->oo, Для любого ε>0 можно указать такой номер N0, что для N>NQ расстояние между произвольной точкой Υ е G и ближайшей к Υ точкой сетки GN будет меньшее. Последовательность таких сеток {GN} будем называть всюду плотной в G. Пусть fNi(X)=J>(X,YNi), /е[0:ЛП; φΝ(Χ)= max fNt(X)= max F(X, Y). Будем считать, что при достаточно больших N можно найти хотя бы одну стационарную точку XN e Ω функции φΝ(Χ) на множестве Ω. Таким образом, при достаточно больших N выполняется равенство i„f max (δί"1*»\ζ-ΧΝ) = 0, (4.1) где R{X) = {t&[0: N]\fNi(X) = <fN(X)l При сделанных предположениях справедлива Теорема 4.1. Всякая предельная точка последовательности {XN} является стационарной точкой функции Ч>{Х) на множестве Ώ,
254 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Доказательство. Пусть для определенности вся последовательность {XN} сходится к точке X* е Ω, однако X* не является стационарной точкой функции φ(Χ) на множестве Ω. Тогда существует такая точка ZgQ, что max (дР{?У\ Z-r)<0. (4.2) Докажем, что найдется число ё>0, при котором max (dF{**yY\ Z-X*)iL-n<Of (4.3) где RB(X) = {T ^G\ff(X)-R{XtY)<s}. Если бы это было не так, то для любой последовательности {εν}, εν>0,' монотонно стремящейся к нулю, выполнялись бы неравенства max (^ИШ, Z-гЬо. (4.4) Y&R» (X*) \ ол J Учитывая, что R& {X*) — ограниченные замкнутые множества в Ет и что, значит, максимумы в (4.4) достигаются, укажем Kv e RB (X*) такие, что (dF(dYv)* Ζ-χ*)>°> (4.5) При этом <p(X')-F{Xm, rv)<ev. (4.6) Далее FvgG, и поэтому из последовательности {Yv} можно выделить сходящуюся подпоследовательность. Не ограничивая общности, будем считать, что вся последовательность {Κν} сходится к Y* е=. G. Тогда, с одной стороны, в силу (4.6) Y* e R(X*)> а с другой — в силу (4.5) (io&n. i-r)>o. Значит, и подавно max (i^H, z-r)>0, что противоречит (4.2).
§ 4] О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 255 Итак, доказано существование ε>0, для которого выполняется неравенство (4.3). По ε>0 выберем такое δ>0, что из неравенства || у _ γ» || < 5 будет следовать \F(X\ Y')-F{X\ У")К-|. Далее, NQ возьмем столь большим, чтобы при N>NQ расстояние между произвольным Y^G и ближайшим к Υ узлом сетки GN было меньше δ и чтобы m*x\F(Xs,Y)-F(X\Y)\<±. Y&Q ό Докажем, что в этом случае при всех i е R (XN) ^бй(Г). (4.7) Действительно, пусть i^R(XN). Тогда F(XNi YNi)^fNi(XN)= max fNk(Xs) = *e[0 : Ν] = max F{XN, YNk) = maxF(XN, Y). Далее, maxF{X\ Y) = F{X\ f)< <maxf(r, Y) +\^maxF(XN, П + ^г = Таким образом, Уд^ е /?ε(**)> и включение (4.7) для N>NQ доказано. _ Теперь выберем столь большое N>N0, чтобы выполнялись неравенства max y<=g max Y&Q дХ dF{X\Y) dF(X-jj,Y) ηρ. %-*·) w ал" "» z xu, ^ з » ^ 3
256 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Получим в силу (4.7) и (4.3) ™ах I—ш—' ζ~χν· < * = *(χν) < max (—Ч^, Z-JttX УеДё (X* \η \ dX > Z Χν)< ι dF (Χ\ Υ) - \ г, < max -^, Ζ-^) + ^< < max \χ . Z-J* +^ = --f<0, что противоречит (4.1) Теорема доказана. Замечание. Точки XN являются стационарными точками в-дискретных минимаксных задачах. Для их нахождения могут быть использованы методы, развитые в главах III—V. 2*. Рассмотрим отдельно случай Ω = Εη. Пусть по-прежнему {GN} — последовательность сеток, всюду плотная в G при N->oo (см. п. 1). Введем обозначения: R9{X) = {Ye=G\<f{X)-F{X9 Κ)<ε}, RM = {r^GN\<fN(X)-F(X9Y)^*}9 ίν ч (dF{X,Y) \ %e(X>g)= "lax L—l.g, Y^RB {X) \ aA * Χαγ·(^ g) = max —^L-Ltg\ Υ s %ε (Χ) \ σΛ / ψε(Χ) = min %B{X,g), 11511=1 ψΛ,ε(Χ)= min χ„ε(Χ, g), I! g 11=1 D{X) = inf εψε(*)> ε <= [θ, ε] £>„(*) = inf εψ„ε(Ζ), εε|0, ε] где ε > 0 — любое фиксированное число. Нашей ближайшей целью является доказательство следующей теоремы.
§ 4] О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 257 Теорема 4.2. При N->oo имеет место предельное соотношение DN(X)-+D(X)9 причем сходимость равномерная по XgS, где SczEn — произвольное ограниченное замкнутое множество. Предварительно докажем одну лемму. Лемма 4.1. Зафиксируем ε0 > 0. Для любых ρ > 0, б > 0(б<ε0) и_г^ε0 найдется такое NQ, что при N> NQ для всех X е 5 будет ♦*..нЛ*)<*Л#<**.+б(*) + Р· (4.8) Доказательство. Заметим, во-первых, что если δ<ε0 и ε>ε0, то ε —б>0. Нетрудно показать, что равномерно по ZsS. Поэтому найдется столь большое Nu что при N>NX для всех IsS будет выполняться неравенство φ(Ζ)-<ΜΧ)<δ. (4.9) Зафиксируем теперь ieS и g&En, \\g\\~ 1, и пусть **.-*<* *>-(^#*.*). где F*=F*(*. g)e#jv.e-e№· Тогда <pN(X)-F(X,YN)<*-b- (4.10) Учитывая (4.9) и (4.10), получим для ЛГ>#, ψ(Χ)-Ρ(Χ,ΫΝ)~(φ(Χ)-φΝ{Χ)) + Значит, YN е /?ε (Χ). Теперь имеем Xn.t-b(X> ё)=1_ (Μ(Χ,ΥΝ) \ fdPjX.Y) \ -( a* .· '^r^fboV—ЭЗГ—· */-*·<*· g)' Поскольку последнее неравенство справедливо для всех g, ||£Ц—1, то
258 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Получили, что для N > N{ и X <= S выполняется левое неравенство в (4.8). Переходим к доказательству правого неравенства. В силу замкнутости и ограниченности множества G по ρ > 0 и б > 0 можно указать такое γ > О, что при ||r'~y"||<Y> Y', Y"^G, равномерно no^eS будут выполняться неравенства |ί(ί,Γ)-ί(ί,ηΐ<β, (4.11) |-£Г1_-И^>|<р. (4,2) Выберем теперь столь большое Ν2, чтобы при JV > Ν2 расстояние между произвольным FgG и ближайшим к Υ узлом сетки GN было меньше у- Зафиксируем Xt=S и ge£ft, ||g||=1, и пусть ,„ λ (dF{Xj) \ %ЛХ>ё)=(—дХ'ё)> где Y=Y(X,g)s=Re(XY Тогда q>(X)-F{X, f)<8. (4.13) Обозначим через Y'n^ Gn ближайший к Υ узел из G#. При N>N2 получим в силу (4.11) и (4.13) φ„ (X) - F (X, Г^) < φ (X) - f (Z, Г'„) = = (<p(X)-F(J, P)) + (f(J, К)~,Р(Х,П))<е + о. Значит, ^ε^)6+δ(Ι). Отсюда и из (4.12) следует, что *№ί)-(^.«)- "~\ Μ '8)~^\ дХ дХ 'S)^ < max ( ^Й К) » g) + Ρ = Хлг, ε+6 (X> g) + P· Последнее неравенство справедливо для всех g, \\g\\== 1, поэтому *.(*)<ψΑΓ..+β(*) + Ρ.
§4] О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 259 Получили, что при N > N2 равномерно nolGS выполняется правое неравенство в (4.8). Оба неравенства в (4.8) будут выполняться при N> N0=msLx{Ni9 N2]. Лемма доказана. Доказательство теоремы. Положим II dF (Χ, Υ) II c = max max —^—- . — Ι ΟΛ. II Ясно, что lk№l<i. I*.WI<*. (4.14) Возьмем произвольное α0 > 0. Числа ε0>0, ρ > 0 и δ >0 выберем так, чтобы 4ε0<ε, 4е0с<а0, δ < ε0, бс + ερ < ε0£. (4.15) По лемме 4.1 найдется столь большое NQi что для всзх N>N0 и ε^ε0 равномерно по IgS будет Φ*. ε-6 (Χ) < Ψε (Χ) < *лг. ε+6 (Χ) + ρ. Отсюда при ε^β0 βψ*. ε-δ (Χ) < εψε (Χ) < εψ„, ε+δ (Χ) + ερ. Преобразуем эти неравенства (ε - δ) ψ„, ε_δ (Χ) + δψ„, ε_δ (Χ) < εψε (Χ) < < (ε + δ) ψ„, ε+δ (Χ) - δψ„, ε+δ (Χ) + ερ. Учитывая (4.14), получим ^ля ε0^ε<ε (β-δ)ψ*ιβ-β(*)-δ*<βιΜ*)< <(ε + δ)ψιν,ε+δ(Ζ) + δ^+ερ. Значит, inf (ε-δ)ψ„,ε_ό(Χ)-δ£< inf βψβ(*)< ε e= [ε0, ε] ε с [ε0, g] < inf (e + 6)$N,t<6{X)-\-6c + ep. (4.1G) ε e [ε0, ε]
260 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Так как DN(X)& inf eifo.tfX inf в*дгв(ДГ). ee|o. ί) ε s [ε«—δ, g—6J inf (β-δ)ψ„.ε_β(Ζ) = inf B$Nt(X), ε ε [e,, ε] ее |ε(-β, 8-6J inf (e + "6)ito.e+e(*) = ε e 1εβ, ε] = inf еф^ЛХХ inf εψ^Χ), ε <= 1ε04·δ, ε+δ] ε e (ε0+δ, ε] то из (4Л6) и (4Л5) получим ε € [εβ, ε] < inf е*Нш(Х) + ф. (4.17) ? е= [ε,+δ, 8| Заметим (см. Приложение III, § 2), что D{X)£, inf 6ψε(Χ) = ιτύη{ inf еф,(ЛГ), inf εψε(Χ)}, εε=[0,δ] ee[0,«il es[8o,8| ., .„. (4.18) Z)A,(J) = min{ inf εψ^(Χ), inf e^.tf)}. (4.19) ε<=[0, 2ε0) εε[ε0+δ, ё] Дальнейшие рассуждения будем проводить отдельно для случаев £> (J)< — Зг0с и Z) (X) > — Зе0с. I. Z)(X)<-380c. Учитывая (4.18) и (4.14), запишем D(X)= inf εψ6(Χ). (4.20) ε<={ε/«, ε] Из (4.17) и I теперь следует DN (*)< D (X) + e0c < - 2e0c, так ντο в силу (4.19) DN(X)= inf εψ„ε(Χ). (4.21) ee[8j+6, έ] Объединяя (4.17), (4.20) и (4.21) и учитывая (4.15), получим для всех Ν>Ν0 \D(X)-DN(X)\^c^ao. (4.22) II. D{X)>- 3e0c. Докажем, что в этом случае при N>N0 DN{X) >-4%c. (4.23)
§ 4) О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 251 Допустим противное. Пусть DN (X) < — 4е0с. Тогда найдется такое ε' е [0, ε], что Отсюда и из (4.14) следует ε'>4ε0. Поскольку, в частности, ε' — δ^ε0, то (ε' - δ) ψ6,_6 (Χ) < (ε' - δ) %е, (Χ) + (ε' - δ) ρ. Усиливая это неравенство, получим (ε' - δ) 4ν_6 (Χ) < ε'ψ^ (Χ) + δ* + ερ < - 3ε0<?. Но тогда D(X)& inf εψ^)<(ε'-δ)ψ6,_^)<-3ν, ee|0,i] что противоречит неравенству II. Итак, неравенство (4.23) установлено. Теперь имеем — 3eQc<D{x)^0. -480c<Djv(X)<0. Отсюда и из (4.15) получаем для всех N>N0 | D (X) - DN (Χ) Ι < 4ε0<: < α0. (4.24) Теорема доказана, ибо неравенства (4.22) и (4.24) справедливы для всех Ν>Ν0 и IgS. Следствие. Функция D(X) непрерывна на Еп. Это утверждение следует из непрерывности функ? ций DN(X) на Еп (см. § 8 гл. III) и теоремы 4.2. 3*. Теорема 4.3. Для того чтобы точка X* была стационарной точкой функции φ{Χ) на Еп> необходимо и достаточно, чтобы Я(Г) = 0. Предварительно докажем одну лемму. Лемма 4.2. При фиксированном X е Еп функция %{Х) как функция от ε, 0^ε<οο, непрерывна справа в точке ε = 0. Доказательство. Пусть Λ(ε)==ψβ(Χ), 0<ε<οο.
262 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Очевидно, что функция λ (ε) не убывает и ограничена, | λ (ε) К max ' Ye=G II дХ Предположим, что λ (ε) разрывна в точке ε = 0 справа. Тогда найдется последовательность положительных чисел {εν}, монотонно убывающая и стремящаяся к нулю, для которой lim λ(βν) = λ>λ(0). (4.25) V->oo В частности, для всех ν min max №,?)>L (4.26) 11^11=1 Ke* (*) \ 0λ ι Зафиксируем g, ||g||=l. В силу (4.26) max Y^RE (X) ^4>λ· (4-27) Поскольку Re (X) cz G—ограниченное замкнутое множество, то максимум в (4.27) достигается. Таким образом, при всех ν можно указать точку Yve#Ev(X), для которой F^.*)>*. (4.28) При этом О < φ {X) - F (Χ, Υν) < ev. (4.29) He ограничивая общности, будем считать, что последовательность {Yv} сходится к точке У*еС Тогда в силу (4.29) Y*^R(X). Переходя в неравенстве (4.28) к пределу при ν—>оо, получим Тем более max (dF<&Y) ,g)>L (4.30) Неравенство (4.30) справедливо для произвольного g, || g ||=1, поэтому min max (dF[x>Y) y g)^L Получили, что λ(0)>λ. Но это противоречит (4.25).
§ 41 О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 2бЗ Лемма доказана. Доказательство теоремы. Необходимость. Пусть X* — стационарная точка функции φ{Χ) на Еп. Тогда ψ0(Ζ*)>0. Тем более, ψβΟΟ>0, 0<ε<ε. Отсюда получаем £>(Г)>0. Обратное неравенство следует из определения D(X). Значит, D{X*) = 0. Достаточность. Пусть D(X*) = 0. Тогда для всех ε е (0, ε] будет ♦в(Г)>0. Учитывая лемму 4.2, заключаем, что ψ0(Χ*)^0. Но это и означает, что X* — стационарная точка функции у>{Х) на Еп. Теорема доказана. 4*. Теперь мы имеем возможность описать еще один вариант сеточного метода для нахождения стационарных точек функции φ{Χ) на Еп. Будем считать, что сетки GN строятся таким образом, что Gn cz Gat при N'>N. Возьмем начальное приближение XQ e Еп. Предположим, что при некотором NQ множество ограничено. Поскольку Μ (Х0) & {Х\ Φ (Χ)< φ (Хо)} <=М(Х0) и при Ν~^Ν0 . ΜΝ (Х0) ^L{X\<fN (Χ) < φ„ (Хо)} с Μ(Χο), то можно, в частности, утверждать, что существуют точки, в которых достигается минимум на Еп функций φ(Χ) и φΝ{Χ) при N^NQ. Зафиксируем произвольным образом параметр ε0>0 и рассмотрим функцию φΝ {X). Исходя из начального
264 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI приближения Х0 и пользуясь D-методом, описанным в § 8 главы III, за конечное число шагов придем к точке Хг, для которой -ί>ΛΓ.(Χι)<βο.- Поскольку φΝ9(Χ\) ^Φ^ο(^ο)» το ^1е^(Х0). Положим теперь N{ — 2N0, ε1 = ε0/2 и рассмотрим функцию φΝι{Χ). Пусть χ,\χν если ъАхх)<ъАх*\ I Х0 — в противном случае. Очевидно, Ji e Λί#, (Хо)· Беря Ζί в качестве начального приближения и пользуясь D-методом, за конечное число шагов придем к точке Х2, для которой — DNl(X2)^ex. Поскольку φΝι (Х2) < φ^ (Х() < φ^ (J0), то Χ2&ΜΝί(Χ0) и тем более Х2<=М(Х0). Пусть уже найдено k-e приближение Xk^M(X0). Положим Nk — 2Nk-l9 ek — ek-{/2 и рассмотрим функцию Фдгл(-У). Пусть χ,ίχ*> если ^ (**) < φ^ № [ Xq — b противном случае. Очевидно, Jffc e Aftffc (ЛГо). Беря Х£ в качестве начального приближения и пользуясь D-методом, за конечное число шагов придем к точке Xk+\> для которой Поскольку φ^ {ХкН)<^к (**)<Ф^ (*0)> то Xk&MNk (XQ) и тем более Xk&M (X0)· Продолжая аналогично, получим последовательность {Xk}> причем Xk e Λί (Х0) и -V,ft)<8H. (4.31) где Nk-l = 2k~lN0, eik-i = e0/2*"'1t * = 1, 2, ... Так как Λί(Ζ0) —ограниченное замкнутое множество, то после-
§ 4J О СХОДИМОСТИ СЕТОЧНОГО МЕТОДА 265 довательность {Xk} имеет хотя бы одну предельную точку. Теорема 4.4. Любая предельная точка последовательности {Xk} является стационарной точкой функции φ(Χ) на Еп. Доказательство. Пусть Имеем \0(Г)\<\0(Г)-0(Хч)\ + + Ιβ (^/) - ^Α^^-ι (^/)| + |^^^, (^;) | · (4.32) Первое слагаемое в правой части неравенства (4.32) стремится к нулю при ft/->oo в силу непрерывности функции D(X), второе —в силу ограниченности последовательности {Xk) и теоремы 4.2, третье —по построению (см. (4.31)). Переходя в неравенстве (4.32) к пределу при &/->оо, получим Я(Г) —0. Остается сослаться на теорему 4.3. Теорема доказана. 5. Как уже отмечалось, при каждом X <= Еп Ф*(*)-ТГ5^Ф(*>· В связи с этим интересно отметить, что при некоторых Х^Еп и g^Ent || g || = 1, предельное соотношение dyN (X) ^ йр(ЛГ) fig N->oo Qg может не иметь места. Пример. Пусть F(x,y) = cos(x(y + fj), G = [0, Щ; φ(χ)= max F(x, у). Возьмем точку х=\. В этом случае (рис. 34)
266 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА 1ГЛ. VI ηΫ2 По формуле (2.1) дф(х) f π . π 7π . 7π ) -^ = max{-gTsinT, -g —sin — } = = max| — Для gi=(+l) будет д<у(х) ΊηΥΈ dgi 8 а для g2 = (—1) дф(*) ηΫ2 dg2 ~~ „ 7nV¥\ ^—8—l· (4.33) 8 rx · / \ дср(*) nYl . Λ Ясно, что ψ (#) = nun у = —δ— > 0, т. е. точка 11*11=1 0§ δ х=1 стационарная. Теперь введем конечные сетки о»-{41*-М**)]}· При любом натуральном N числа k/N рациональны, поэтому 3π/2 φ GN ни при каком N. В то же время 0 е 0^. Рис. 34. Для точки #=1 имеем тогда RN(χ) = {0}. Поэтому ддрц (*) -£- π/2 В частности, при x=l, gi=(+l) для всех натуральных N получаем d<yN(x) ^_ nY2 dgi 8 '
§ δ] ЧАСТНЫЙ СЛУЧАЙ ТЕОРЕМЫ О МИНИМАКСЕ 267 Вспоминая (4.33), видим, что ^i ^ dgl · Это мы и хотели показать. § 5, Частный случай теоремы о минимаксе 1. В этом параграфе будут получены некоторые достаточные условия для того, чтобы выполнялось равенство min max/7^, У) = тах minF(X, Y). Докажем вначале одно вспомогательное утверждение, имеющее и самостоятельный интерес. Пусть Gcfm~ ограниченное замкнутое выпуклое множество, q>(X) = maxF{X, Y), Ye=G R(X) = {Y<=G\F(X, Υ) = φ(Χ)}, Через L(X) будем обозначать выпуклую оболочку множества Η {X): L{X) = coH{X). Теорема 5.1. Если при любом фиксированном X из некоторой окрестности S6{XQ) точки Х0 функция F(X9 У) является вогнутой по Υ на G, то L(X0) = H(X0). Для доказательства этой теоремы понадобится следующая Лемма 5.1. В условиях теоремы 5.1 при любых Y{, Y2<=R(X0) и α£=[0, 1] тонка Υα^αΥ{ + (1 - α) Υ2 принадлежит R(X0) и dF(X0,Ya)_ dFlXo^Y,) n dF(X0iY2) ,- n
268 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Доказательство. Из вогнутости F(X0, Y) по Υ следует F(X0, Y^>uF(X09 Y{) + (l-a)F(X0, К2). (5.2) С другой стороны, F{Xq,Yi) = F(Xo>Y2> = V(*o)> поэтому F (Х0, /J < Φ №>) = of (Хо> Υ ι) + (1 - α) F (Χ0, Υ2Υ (5.3) Объединяя (5.2) и (5.3), получим F (X0t Ya) = aF (X0, Υ,) + (i - α) Ρ {XQt 72), (5.4) или, что то же самое, F{X09 Κσ) = φ(Χ0). Значит, Κα€=#(Χ0). Далее, из вогнутости F(X, Υ) по Υ при любом ^е eS6(I0) имеем F (X, Уа) > aF (X, У,) J- (1 - a) F (X, Г2). (5.5) Зафиксируем ае[0, 1]. Возьмем произвольный вектор ё^Еп> II g II = 1» и найдем производную функции Ф(Х)=/Г(Х, γα) в точке Х0 по направлению g: дФ(Хо) _ Ит F(X0 + Pg,ra)-F(X0,ra) = = (^Уа), ί). (5.6) Из (5.4) и (5.5) следует, что при малых β > О FiXo + te.YJ-FiXo'Y*» >q[F№ + Pff.lri)-F(^o,yi)] + + (1 -a)[f(X0 + Pg, K2)-f (J0> Г2)]. Отсюда «•^.(«Ilfclu. s) + (l_Il)(i^M,s). ,5.7) Из (5.6) и (5.7) получаем
§ 5] ЧАСТНЫЙ СЛУЧАЙ ТЕОРЕМЫ О МИНИМАКСЕ 269 Поскольку последнее неравенство справедливо для произвольного g^Ent || g ||=1, то dF(Xo,Y*) Г dF(X0.Yt) . п , dF(X0tYt)] п что равносильно (5.1). Лемма доказана. Доказательство теоремы. В лемме 5.1 по существу установлено, что множество Н(Х0) выпуклое. С другой стороны, выпуклая оболочка выпуклого множества совпадает с исходным множеством (см. Приложение II, § 1). Отсюда следует, что L (Х0) = Η (Х0). Теорема доказана. 2. Теорема 5.2. Пусть функция F(X,Y) непрерывна вместе с —* ' на Ω' X G, еде Ω' с: Еп, G cz Em. Предположим, что Ω' — открытое множество, α QcQ' и G — ограниченные замкнутые выпуклые множества. Если при каждом фиксированном Χ0^Ω' функция F (X0, Y) вогнута по Υ на О, а при каждом фиксированном Y^G функция F (Х9 Y0) выпукла по X на Ω, то min maxF(A\ У) = тах minF(Xt Y). *€=Ω УеО Уе(? Лей Доказательство. Рассмотрим функцию <f{X) = maxF(X, Y). Пусть X* е Ω — точка минимума φ(Χ) на Ω. В силу теорем 2.2 и 3.1 1(Г)ПГ+(Г)^0. Пусть Ге=£(Г)ПГ+(Г). По теореме 5.1 Ге#(Г), т. е. существует такая точка Y*^R(X*)> что 7*—ΚΚ±Σ1 Δ ~ дХ Так как Ζ*€=Γ+(**), то ^^еГ+(Г). (5.8) В силу замечания 2 к теореме 3.1 главы IV и (5.8) F(X\ r)>minf(*, Г). (5.9) Лей
270 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI С другой стороны, Ге/?(Г), так что F (Г, Г) = max F (Г, У). (5.10) Учитывая (5.9) и (5.10), получим для любых Χ^Ω и Y^G F(X\ Y)^F{X\ r)<F(I, Г). (5.11) Из (5.11) следует maxf(r, y)<minF(X, Г). Тем более min max F (X, Υ) < max min F (J, У). (5.12) Противоположное неравенство тривиально. Действительно, для любых Хей и FeG F(JT, K)<max-F(Z, У')· Геб Отсюда min f (Χ, Υ Χ min max F (X, И· Поскольку последнее неравенство справедливо для всех KgG, to max min/7(J, У)< min maxf (J, K). (5.13) FeG XeQ XeQ FeG Объединяя (5.12) и (5.13), получим требуемое. Теорема доказана. Замечание. Теорема 5.2 доказана при избыточном предположении (непрерывная дифференцируемость функции F(Xy Y) по К). Однако приведенное доказательство конструктивно в том смысле, что, зная точку X*, мы можем указать точку Υ* как точку, определяемую условием дР%'п<=Н(Г)(\Г+(Г). Пара [X*, У*], для которой выполняется неравенство (5.11), называется седловой точкой функции F(X, Y). 3. Обратимся к следующей минимаксной задаче (см. замечание к теореме 6.1 главы IV): max {V, Ζ — Χ) -+ min. (5.14) V<=L Ζ6ΞΩ
§ 5] ЧАСТНЫЙ СЛУЧАЙ ТЕОРЕМЫ О МИНИМАКСЕ 271 Будем предполагать, что Ω и L — ограниченные замкнутые множества в Еп, причем L — выпуклое, а Ω- строго выпуклое множества. По теореме 5.2 о мини- максе min max (V, Z — X) = max min (V, Ζ — Χ). (5.15) Введем функцию 0(V) = min{V,-Z-X). Покажем, что Q(V) непрерывно дифференцируемая всюду на Еп, за исключением, быть может, точки V—0. Положим R(V) = {Z*=Q\(VtZ-X)=iB(V)). Лемма 5.2. Если Ω — строго выпуклое множество и у φ 0, то R(V) состоит из единственной точки Z(V), причем Z(V) непрерывно зависит от V. Доказательство. Предположим, что V φ О и в R(V) входят две точки Z{ и Z2: (V, ZX-X) = (V,Z2-X) = min (V, Ζ - Χ). ZeQ Поскольку Ω — строго выпуклое множество, то точка Ζ/ = -^(Ζι·\- Z2) является внутренней точкой Ω. В связи с этим найдется ρ > 0 такое, что (Z' + Z)gQ для всех Ζ, || Ζ ||< р. Положим Ζ0— ^"Ρ . Тогда min(V, Ζ - Х)<(К, Ζ' + Ζ0 - X) = = i(l/,Zl^Z) + l(K,Z2^X)^T]^(7,F)- == min (К, Ζ — Χ) — 4- ΡII ^ Ι!> что невозможно. Тем самым доказано, что множе ство R(V) состоит из единственной точки; обозначив ее через Z{V),
272 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Покажем теперь, что вектор-функция Z(V) непрерывна в любой точке V0 φ 0. Допустим противное. Тогда найдется последовательность {V'k}> сходящаяся к V0 и такая, что (z(vl)} не сходится к Z(V0)* Поскольку Z(V'k) ^Ω при всех k> то существует подпоследовательность {ζ(ΐ4)}, сходящаяся к некоторой точке Ζ*, отличной от Z(Vq). Очевидно, Ζ*εΩ. Заметим, что fykf Ζ (уу -Х) = nun (Vir Ζ - Χ). (5.16) Переходя в равенстве (5.16) к пределу при &/-*оо, получим (V* Г -Х) = тЩУ* Ζ-Χ). Таким образом, Z*^R{VQ), что невозможно, ибо R{V0) состоит из единственной точки Z(F0). Лемма доказана. Приступим к доказательству непрерывной дифференцируемое™ функции θ {V)> V φ 0. Поскольку - θ {V) = max (К, Х- Ζ), Ζ<ξ=Ω то в силу теоремы 2.1 функция θ {V) дифференцируема в любой точке V &Еп по любому направлению g e Enf ||g||= 1. При этом ηγι=_ηψ»= ш,„ „_,.„. Если V Φ 0, το R(V) состоит из единственной точки Z(V). Значит, для всех g^En, ||g||=l, и УФО будет <®m={z(v)-x,g). Учитывая, что функция Ζ(V) непрерывна по V, заключаем (см. Приложение III, § 3), что при V φ 0 функция Q(V) непрерывно дифференцируема и JWL^ZW-X. (5.17)
§ 6] РАЗЫСКАНИЕ СЕДЛ0ВЫХ ТОЧЕК НА МНОГОГРАННИКАХ 273 Таким образом, если O^L, то минимаксная задача (5.14) в силу (5.15) сведена к более простой задаче максимизации на L непрерывно дифференцируемой функции θ (К), причем градиент этой функции определяется формулой (5.17). § 6*. Разыскание седловых точек на многогранниках 1. Пусть QaEn, G с Ет — ограниченные и замкнутые множества. Предположим, что на Ω Χ G задана непрерывная функция F{X, У)..Напомним еще раз определение седловой точки. Определение. Точка [Х\ Г]еЙХб называется седловой точкой функции F{X, Y) на множестве Ω Χ G, если F(Г, Y)^F{X\ Y*)^F(X, Г) (6.1) для всех X е Ω, Υ е G. Лемма 6.1. Существование седловой точки функции F(X,Y) на множестве ΩΧ6 эквивалентно выполнению соотношения min max F {X, Υ) = max min F (X, К). (6.2) Доказательство. Прежде всего заметим, что все максимумы и минимумы достигаются в силу непрерывности F{X, Y) и замкнутости и ограниченности множеств Ω и G. Вначале докажем, что из существования седловой точки вытекает (6.2). Из (6.1) имеем max/7(Г, Y)<mmF{X,Ym). Отсюда min max/7 (J, K)<max minF(Χ, Υ). XeQ FeG FeG Яе-Ω Сопоставляя это неравенство с очевидным неравенством max minF(X> У)< min max/7{X, Υ), получаем (6.2),
274 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Пусть теперь имеет место (6.2). Положим <p(X) = maxF(X, У), <!>(Y) = mlnF(X, У). Геб Xe-Ω Из (6.2) и непрерывности функций φ{Χ) и Φ (Υ) следует существование точек ΓεΩ и Геб таких, что min φ {Χ) = φ {Χ*) = max Φ (Κ) = Φ (Γ). (6.3) Покажем, что [Ζ*, У*] — седловая точка функции F(X, Y) на множестве QXG. Действительно, из (6.3) имеем для любых [ J, Υ] ^ eQXG F(Г, У)< maxF (Г, Г) = φ (Г) = Φ (Г) = TeG = min F(X, У*)<F(Г, Г). (6.4) *€=Ω Аналогично F( J, У*) > min F (*', У*) = Φ (У*) = φ (Χ*) = = max F (Г, У) > F (X*, У). (6.5) Объединяя (6.4) и (6.5), получим (6.1). Лемма доказана. 2. Пусть Ω'οζ^ и G' cz £m ~ открытые множества, и пусть на Ω' Χ G' задана дважды непрерывно дифференцируемая функция F{X, У). В Еп рассмотрим множестзо Ω = {X \(Ai9 Χ) + at <0, / €= [ 1 : ΛΤ,]}, а в Ет — множество О-{П(Д/1У) + 6,<0>/е[1:^}. Ясно, что Ω и G — выпуклые множества. Предполагаем, что Ω и G не пусты, ограничены и что Ω cz Ω', G cz G'. Без ограничения общности можно считать, -что 11^11 = 11^/11=1, /€=[ΐ:ΛΜ, /€s[i:tfj. (6.6) Предположим, что функция F(J, У) является строго выпуклой по X и строго вогнутой по У на Ω χ G, τ, е.
§ 6] РАЗЫСКАНИЕ СЕДЛОВЫХ ТОЧЕК НА МНОГОГРАННИКАХ 275 существуют такие тх > О и т2 > О, что для всех [Χ, Υ] е е Ω Χ G имеют место неравенства (К, *ffir> У) >т, || У |р, (6.7) - (w, a'ffi Y) w) >m2\\W |p (6.8) для любых V е £„, Fe £ш. Требуется найти седловую точку функции F(X, Y) на множестве QXG, т. е. точку, удовлетворяющую неравенствам (6.1). Существование седловой точки следует из теоремы 5.2 и леммы 6. К Пусть [1,У]еР-ХС. Рассмотрим конусы Γί(Α = (ίεί.Ιί = - Σ Μ* α,>θΙ, ^(yW^/ij^-- 2 Μ/, β/>οΙ, где Q2(n-{/e[l:iV2ll(B/>n + ft/-0}. Если Q\{X)=0, то по определению полагаем rt(X) = {0); если Q2(y)==0, то полагаем Г2+ (Υ) = {0}. Как показано в § 2 главы V, конус Г*(Х) является сопряженным к конусу возможных направлений множества Ω в точке X, а конус Г} (Υ) является сопряженным к конусу возможных направлений множества G в точке Υ. Введем функции dF(X,Y)l d{{X>Y)= min \г-?*^\Цгх(Х%У) Ζ s Γ j*" (*) W Ζ erf (К)11 ll " " Отметим, что для любого [Χ, Υ] е= Ω χ G точка [Ζ! (Я, У), Ζ2(Χ, Κ)] <=ЕпХЕт единственна. Если d{(X, У)>0, то направление
276 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. Vt является направлением наискорейшего спуска функции fi(Z) = F(Zt Υ) на множестве Ω в точке Ζ = Χ. Если же d2(X> K)>0, то направление есть направление наискорейшего спуска функции /2(Z)— = — F{X, Ζ) на множестве G в точке Ζ = Υ. Из определения седловых точек (см. (6.1)) и теоремы З.Ь главы IV следует Теорема 6.1. Для того чтобы точка [Х*9 Y*]^Qy^G была седловой точкой функции F (Χ, Υ) на множестве Ω Χ О, необходимо и достаточноу чтобы d{(X\Y*) = d2(X\Y*) = Q. Геометрически это условие означает, что iWH^p+.n dF(X\Y*) Г+( < ^ <= 1 ! (А ), £р S 1 2 (У ). Пусть ε>0 фиксировано. Рассмотрим множества Q]e(X) = {i^U^l]\^B^(AiiX) + ai^Q}9 Q28(y) = {/e[l:iV2]|-.e<(B/,r) + 6/<0} и конусы rtt(Y) = {q&Em\q = ~ Σ β/θ/, β/>θ). Положим ^\ζ,.(χ,γ)-αψι\^βΛχ.γη, (6.9) *.№*)- mm U + ^P =|z2e(a:, п + ^ррш*. пи. (ело)
§ 6) РАЗЫСКАНИЕ СЕДЛОВЫХ ТОЧЕК НА МНОГОГРАННИКАХ 277 Нетрудно проверить, что для всех / е Ql8 (X) и j^Q2e(Y) будет {Ли §г(*> ПК о, (β/, &(*. Υ))<0. (6.11) Определение. Точка [Х\ Y*] е Ω Χ G называется г-седловой точкой функции F(X9 Y) на множестве QXC если dle(r,Y*) = d2B(X*,Y*) = 0. (6.12) Лемма 6.2. Точка Ζϊε(Χ9Υ) может быть представлена в виде ΖΪΒ(Χ9Υ) = - Σ at{X9Y)Ai9 i<=Qle(X,Y) где <ц(Х, Y)>0 и Qi.(^y) = {'eQle(jr)|(^&(^n)-0}. Доказательство. Утверждение леммы очевидно, если ZlB{X, У) = 0. Пусть ΖΧΒ{Χ, Υ) φ В. Если ge{X, У)==0, то утверждение леммы также очевидно, ибо тогда Qle (Χ, Υ) = Qre (X). Пусть теперь gB{X, Υ)φΟ; Из (6.9) и (6.11) немедленно имеем {ZMY).g*{X>Y)) = 0> (6.13) (4&№П)<о (6.14) для всех /sQle(i, n-Qie(*)\<?i.(*. П Действительно, если бы (6.13) оказалось нарушенным, то мы бы сразу нашли точку Z[z e Г£ (X) такую, что I 1е аХ—ll^^ieH» Π» что невозможно в силу (6.9). Неравенство же (6.14) следует из (6.11) и определения множества Q{B{X> Y). Множество Ql8(A\ Y) не пусто, ибо Zle{X, Υ)φΟ. Пусть ZlB{X9 У) = - 2 at(X, Y)Ai9 at{X9 У)>0. /e=Q18(X) Перепишем Zu(#, К) в виде Zle(X,Y) = CY + C29 где
278 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА' [ГЛ. VI Покажем, что С2 = 0. Действительно, из (6.13) имеем (zlB(x9 П §г(х> Υ))-(С{, g*{x> Y)) + (c2, gt(x9 У)) = = (C2, gB (Χ. Υ)) - - Σ α, (Χ, У) (Л„ £ε (J, Υ)) = 0. <-Ql£<*.n (6Л5) Так как в силу (6.14) (Аи ge{X> У))<0 и а({Х, У)>0, то (6.15) возможно лишь при ai(Xy F) = 0 для всех Лемма доказана. Аналогично доказывается Лемма 6.3. Точка Z2e(X,Y) может быть представлена в виде ζμυ) = - Σ Ых.У)Вц i^Q2&{X. Y) где fo(X,Y)^0 и Q» (X* Υ) = {/ e Q2e (У) I fa, (X, У), Ву) = 0}. 3. Зафиксируем ε > 0 и опишем метод последовательных приближений для нахождения ε-седловой точки функции F(X,Y) на множестве QX-G. Введем в рассмотрение функцию de(X> Υ)= jUUx> Υ) + dle(X, ¥)]. Ясно, что условие (6.12) эквивалентно условию ί.(Γ,Γ) = 0. В качестве начального приближения выберем произвольную точку [Х0, Κ0]εΩΧ G. Пусть точка [Xk, Yk] s eQXC уже найдена. Если de{Xk, Kfe) = 0, то точка [Jfe, Yk] является ε-седловой, и процесс прекращается. Если же dt{Xki 7fe)>0, то рассмотрим лучи X = Xk(a)^Xk + agk, Y = Yk(a) = Yk + Wk, α>0, где gk = gt(Xk» Yk)> Як = яЛХк> Yk)· Найдем afe^0 такое, что dt (Xk (a»), Yk (a,)) = min d& (Xk (a), Yk (a)).
§ 6] РАЗЫСКАНИЕ СЕДЛОВЫХ ТОЧЕК НА МНОГОГРАННИКАХ 279 Положим теперь Xft + l = %k (ak)> Ук + l ^ Υ к (ak)- Ясно, что ft+iJHi]eQXC dAXk+i,Yk+i)<dE(Xk,Yk). (6.16) Далее продолжаем аналогично. Таким образом, строим последовательность {[Xk*Yk]}> [^KJeQXO,. k ==0,1,2,... Если эта последовательность содержит конечное число элементов, то последняя полученная точка по построению является ε-седлов'ой точкой функции F(X, Y) на множестве Ω Χ G. В противном случае справедлива Теорема 6.2. Любая предельная точка построенной выше последовательности {[Х^ Υ Λ) является е-сед- ловой точкой функции F(X, Y) на множестве Ω Χ G. Доказательство. Существование предельных точек следует из ограниченности и замкнутости множества Ω Χ G. Пусть (T=limdB{Xk,Yk)'. Ясно, что для всех k в силу (6.16) de(Xk>Yk)>d*. (6.17) Пусть Докажем, что de(Xks> Yks) k ^^О* Тем самым в силу (6.16) будет доказано, что Допустим противное de(Xks,Yks)>2a*>0, α>0. Тогда либо diB(Xks,Yhs)>a, либо d2z{Xks,Yk^a. Пусть, например, для всех ks dle(Xks*Yks)>Ct (если неравенство dXe(Xks, Yk^^a встречается бесконечное число раз, то, прореживая при необходимости
280 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI последовательность {[Xks> У*5]}» можно добиться выполнения этого неравенства для всех ks). Без ограничения общности можем также считать, что Q2e(Zvi4) = Q"c:[l:W2l· Отметим, что <21е(Г,Г)гэ<2', Q2e(r,r)=DQ". Учитывая леммы 6.2, 6.3 и определение множеств Q)8 и Q2e. получим для α > 0 Zu(**,,yOerfi(jr»,(o)), Ζ*(Χ„,,Υύ = ΓΪ(Υ>,(α)), и потому flu (X к, (a). г *, (a)) < J Zu (Λ»#, 1\) ^ 1, (6.19) <** (**, (a). *4 («)) < | Z* (Xks, Yks) + ^(**>|Λ(α)>|[. (6.20) При a > 0 таких, что adle(Xfc,yft)<e, о4№,Г*)<е, будет Хк(а) ε Ω, Г*(a) e G. Это легко доказать, если учесть (6.11), (6.6) и равенства ad.e {Хк, Υ к) = II *ek II- «rf2e (Хн. Υ к) = II a?* II· Более того, в силу непрерывной дифференцируемости функции F(X, Υ) и ограниченности Ω'Χ G существует Oq > 0 такое, что для всех k окажется Хк (о)ей, Yk (a) e G при a s [0, a0]. Воспользуемся теперь определением de(X, Y), равенством \\Xf = (X, X) и формулами (6.9), (6.10), (6.19),
§ 61 РАЗЫСКАНИЕ СЕДЛОВЫХ ТОЧЕК НА МНОГОГРАННИКАХ 281 (6.20), (6.7) и (6.8). Получим d, (**>), У», (а)) < < de (Xks, Tks) + а [- (gks, *'(%Λ> gks) - ( *ρ{χ>,>γ*,) "I , / MjXk, 4) \ , ~ \8ks' Шд? ?*./+ V^*»' WW.— g4 + + (*.. ^^y;^ Я*.)] + Oks (0)< d8 (Xks, Yk$) - - a [m, d2le (Xks, Yks) + m2 d\ (*v ¥>,)] + o*s (a), ok (a) где —*- j^»-0 равномерно по ks. Так как, по предположению, dle(Xks, K*J>a, то при ое[0, α,], где а,е(0, α0] не зависит от ks, будет de (Xks (a), Yks (a)) < dt (Xks, Yks) - \ m^a. Зафиксируем любое a'e(0, aj. Имеем для всех ks de{Xks+l, /»,+.)<<*.(**>'), У4>'))< что противоречит (6.17). Итак, доказано, что *(Ч'уОтгг=*0· (6·2Ι) Так как при больших ks Qu (**,) с Qle (Г), Q28 (Г,J с Q28 (К*), то отсюда и из (6.21) следует <*,(*·, Г) «0, т. е. точка [J*, У*] является ε-седловой точкой функции F(XyY) на множестве Ω Χ G. Теорема доказана. Замечание. Тот факт, что ε > 0, был существенно использован при доказательстве теоремы 6.2, ибо лишь при этом условии найдется а0>0 (а потому и at > 0), не зависящее от ks. 4· Теперь опишем метод последовательных приближений для нахождения седловых точек функции F(X, Y) на QXG.
282 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Зафиксируем г{ > 0, а > О и возьмем начальное приближение [Х0, К0] е Ω χ G. Пользуясь описанным в п. 3 методом с ε = 8! в конечное (в силу (6.18)) число шагов найдем точку [X^yjeQXG, для которой de,(^i,Ki)< ^αε^ Положим ε2 = -2-εΙ. Снова воспользуемся методом п. 3 с начальным приближением [Х19 К,] и ε = ε2. В конечное число шагов получим точку [Х2,12] е Ω Χ G, для которой ^2ε (^2» У2) ^ ае2* Далее поступаем аналогично. В результате строим последовательность ilXk*Yk]}. I^yjeQXO, d*k{Xk,YkXmk, ek^y-kelt Λ = 1,2, ... (6.22) Имеет место Теорема 6.3. Любая предельная тонка последовательности {[Xk, Yk]} является седловой тонкой функции F(X, Y) на множестве Ω Χ G. Доказательство. Существование предельных точек очевидно. Пусть Утверждается, что d(X\ π-γ(<*?(*·. Y*) + dUx*> Г))==о. Допустим противное: d(X*> У*)==а > 0. При достаточно больших ks будет и потому что противоречит (6.22). Теорема доказана. Замечание 1. Везде выше предполагалось, что функция F(X, F) — строго выпукло-вогнутая. Если функция F(XyY) является выпукло-вогнутой, то вместо нее можно рассмотреть строго выпукло-вогнутую функцию Fx (X, Y) = F (Χ, Υ) + c(X9X)-d{Yt К),
§ 7] ПРИБЛИЖЕНИЕ ФУНКЦИЙ НЕСКОЛЬКИХ АРГУМЕНТОВ 283 где с > О и d >0 -~произвольные числа. При достаточно малых с и d седловая точка функции F{{X> Y) будет близка к седловой точке функции F(X, Y). Замечание 2. Для выпукло-вогнутых функций в силу леммы. 3.2 Приложения II и замечания к ней справедливы неравенства F(XQy YQ) + min (dF(Xd°xYo) ,X-Xo)< < min max F (X, Y)^F (XQi Y0) + max (δΡ(Χ°'Υο), Υ-YQ). Эти неравенства дают возможность прекратить поиск седловой (или ε-седловой) точки при достижении достаточной точности. Замечание 3. Линейность функций, задающих множества Ω и G, существенна. Если же эти функции нелинейны, то можно множества Ω и G вначале аппроксимировать множествами рассмотренного в п. 2 вида, а затем применить изложенные выше методы. § 7. Наилучшее приближение функций нескольких аргументов обобщенными полиномами 1. Пусть G cz Ет — ограниченное замкнутое множество. Определение. Система непрерывных на G функций щ(Пщ(П...,ия(Г) (7.1) называется линейно независимой на G, если обобщенный полином Фп{А, Υ) η Фп{А, Y)=%akuk{Y)y где Л = (а0> а>и . ··» «*)» тождественно равен нулю на G тогда и только тогда, когда Л = 0. В дальнейшем будем предполагать, что система функций (7Л) линейно независима на множестве G.
284 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Пусть /(У) —непрерывная на G функция. Положим р= inf тахЩУ)-Ф„(Л,У)|, (7.2) где Ω cz Еп+{ — замкнутое выпуклое множество. Обобщенный полином Фп{А*, У), 4*gQ, называется полиномом наилучшего приближения функции f(Y) на множестве G при ограничении Ω или просто полиномом наилучшего приближения, если τηζχ\ί(Υ)-Φη(Α*> Κ)Ι = Ρ. (7.3) Множество векторов Л* е Ω, для которых выполняется равенство (7.3), совпадает с множеством решений следующей минимаксной задачи: тах(7(К)-Фя(Л, y))2->inf. (7.4) V€=G Лей Действительно, пусть Фп(А*> У), Л* е Ω, — полином наилучшего приближения. Тогда для всех Лей max|А„(Л*, У)|<max|А„(Л, У)|, (7.5) yeG reG где Д„(Л, У) = /(У) — ФЛ(Л, У). Возводя неравенство (7.5) в квадрат и учитывая соотношение (см. Приложение III, § 2) (тах|А„(Л, У) |)2 = max (ЛП(Л, У))2, получим тах(Ай(Л·, У))2<тах(А„(Л, У))2. VeG yeG Отсюда следует, что Л* является решением минимаксной задачи (7.4). Аналогично доказывается, что всякое решение задачи (7.4) дает вектор коэффициентов полинома наилучшего приближения. Таким образом, доказана эквивалентность минимаксных задач (7.2) и (7.4) в смысле множества решений и установлено равенство - р2= inf тах(/(У)-Фя(Л, У))2. ΛξξΩ KsG В дальнейшем под полиномом наилучшего приближения будем понимать обобщенный полином ФЛ(Л*, У),
§ 71 ПРИБЛИЖЕНИЕ ФУНКЦИЙ НЕСКОЛЬКИХ АРГУМЕНТОВ 285 Л* ^ Ω, для которого тах(/(К)-Фл(А%П)2 = Р2. Введем обозначения: F(A9 Υ) = (Δη(Α, Υ)Υ = (ΗΥ)-Φη(Α> Г))2, φ (Α) = max F (Л, У). Теорема 7.1. Обобщенный полином наилучшего приближения существует. Доказательство. Пусть последовательность АкЩ(ф9 af\ ..., af)eQ, k = \, 2, ..., такова, что Φ(Λ*)->Ρ2· (7.6) Для доказательства теоремы достаточно установить, что последовательность {Ak} ограничена. Допустим противное. Тогда в числовой последовательности {xk} xk-=i,\af\, * = 1,2, найдется подпоследовательность, сходящаяся к бесконечности. Не ограничивая общности, будем считать, что вся последовательность {τ^} сходится к бесконечности τ*ΗΡΡ=*°°· (7.7) В силу (7.6) равномерно по k выполняется неравенство max Σ4*\{Υ) i=*0 <c, (7.8) где с — некоторая константа. Положим где а<« = -г-, i'e[0:«]. Тогда а<*> ft 2|ά<*>|=1, k=l, 2, .... (7.9)
286 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI и в силу (7.8) max %af\(Y) t=»0 с <^-. (7.. Ю) Поскольку последовательность {Ak} ограничена, то из нее можно выделить сходящуюся подпоследовательность. Не ограничивая общности, будем считать, _что вся последовательность {Ak} сходится к точке А = = (α0, α,, ..., ап). Переходя к пределу при &->оо в (7.9) и (7.10) и учитывая (7.7), получим Σΐδ<1=1. k 2^t(^) = ° Для всех FgG. Но это противоречит линейной независимости системы функций и0(У), щ(У), ..., ип(У) на G. Теорема доказана. Замечание. Из доказательства теоремы следует, что при любом А0^Еп+{ множество {А|φ(Л)<φ(Л0)} ограничено. Тем более будет ограниченным множество Λίμ0)==μ^Ω|φμ)<φμ0)} при Λ0€=Ω. 2. Функция F(A, Y) выпукла по А на Еп+Х при любом Y^G. Действительно, пусть ае[0, 1]. Тогда F(aAx+(l-a)A29 Y)^(aAn(Au Y) + (1-а)Ая(Л2, У))2 + + а(1-а)(АяМ1. У)-АЯ(Л2, У))2 = -a(AeMlf У))2+ (1 -а) (АЛЛ, П)2 = «aF(i4Ify) + (l-a)F(i42>y). Далее для / е= [0: я] (-^). = - 2Δ„ (Л, У) и, (Г). (7.11) Положим R(A) = {Ye=G\F(A, Υ) = φ(Α)}.
§ 7] ПРИБЛИЖЕНИЕ ФУНКЦИЙ НЕСКОЛЬКИХ АРГУМЕНТОВ 287 Очевидно, что R(A) = [YeG\\Hn(A, Г)| = тах|Д„(Л,К)|}. Теорема 7.2. Для того чтобы полином Фп (Л*, Г), ^*εΩ, был полиномом наилучшего приближения функции f{Y) на множестве G при ограничении Ω, необходимо и достаточно^ чтобы выполнялось равенство inf max Ьп(А\ Υ)[Φη{Α\ Υ)-Φη(Α, У)] = 0. (7.12) Лей Y<=R(A*) Доказательство. Эта теорема является очевидным следствием теоремы 2.2. Нужно заметить только, чтр в силу (7.11) (аУМ,П> А-А') = 2ЬЯ(А\Г)[ФЯ(А\ Υ)-Φη(Α9 Υ)]. Если Ω = 2?η+1, то (7.12) можно заменить более простым равенством inf max Ап{А\ Υ)ΦΛ(Α9 Υ) = 0. Теорема 7.3. Для того чтобы полином Фп (Л\ К), А* е Ω, ббм полиномом наилучшего приближения функции f{Y) на множестве G при ограничении Ω, необходимо и достаточно, чтобы нашлись г, 1 ^ г <! η + 2, попарно различных точек Y[y ..., Кг из /?(Л*) и г не- г отрицательных чисел а{, ..., ап S^ — l» таких, что inf ΣαΑ,μ·, Κ,ΗΦ,,ίΛ·, К;)-Ф„(Л, Гг)] = 0. (7.13) Лей {«1 £сл« Ω —£rt+1> то (7.13) можно заменить другим равенством ^βΑΗΜΊ) ί^=1 и. (У/) ==0. ;«»(У|)! Эта теорема является следствием теоремы 3.2.
288 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Теорема 7.4. Существует такое конечное множество Gr = {Yi^G\i^[\\rl 1<г<л + 2}, что задача наилучшего приближения функции f{Y) на множестве G при ограничении Ω равносильна задаче наилучшего приближения функции f(Y) на множестве Gr при ограничении Ω. Справедливость этого утверждения следует из теоремы 3.3. 3. Для нахождения полинома наилучшего приближения может быть использован сеточный метод. Для этого на множестве G вводится последовательность сеток GN, всюду плотная в G при N-+oo (см. § 4). Пусть Φη{Α*Ν, К), Λ#<=Ω, —- один из полиномов наилучшего приближения функции f{Y) на сетке GN при ограничении Ω. Справедлива следующая Теорема 7.5. Всякая предельная точка последовательности {А*м} дает вектор коэффициентов полинома наилучшего приближения функции /(К) на множестве G при ограничении Ω. Предварительно докажем две леммы. Лемма 7.1. Существует такой номер NQ9 что при N>NQ система функций щ<У), МП..... ая(У) линейно независима на GN. Доказательство. Допустим противное. Тогда для некоторой подпоследовательности номеров Ns, s = l, 2, ..., будут выполняться равенства Σα£4(Γ)«0; Y^GN-9 Σ|α£>|>0. (7.14) Пусть αφ имеет наибольшее по модулю значение среди всех α{ξ\ Ае[0:п]. Положив
§ 7] ПРИБЛИЖЕНИЕ ФУНКЦИЙ НЕСКОЛЬКИХ АРГУМЕНТОВ 289 придем к эквивалентной (7.14) системе равенств 2^Ч(У) = 0, .ГеСг (7.15) При этом l^l^l и один из коэффициентов a!f, k^[0\n]y равен единице. Переходя, если нужно, к подпоследовательностям, добьемся того, что при некотором k0 для всех s выполняется равенство а£°=1, и последовательности {а*,5)} сходятся при s->oo: a(^->ak, &<=[0:л]. Тогда, учитывая непрерывность функций uk(Y) и плотность сеток GN в G при Af~>oo, получим на основании (7.15) для всех Υ е (? ^00 + ЬА(Г) = 0, что противоречит линейной независимости системы функций (7.1) на множестве G. Лемма доказана. Лемма 7.2. Если последовательность векторов {ΑΝ} такова, что равномерно по N max \Фп(Аю К)|<с, то последовательность векторов {AN} ограничена. Доказательство. Допустим противное. Тогда, так же как при доказательству теоремы 7.1, найдется последовательность векторов ΑΝ = (ά^\ α[Ν\ ..., α^), tf=l, 2, ..;, со следующими свойствами: • Ι. ΣίαΗ-Ι, iV=l, 2, ... II. max 2a^«t(n ί«=0 <— "Ι- αν~κΓ^*Α— («ο· δι δ»)·
290 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Отсюда следует, что для всех FeC ΣάΜΥ) = 0, η причем Σίδ/Ι™!· Но это противоречит линейной не- зависимости системы функций (7.1) на G. Лемма доказана. Доказательство теоремы. Учитывая лемму 7.1, по теореме 7.1 получим, что при достаточно больших Ν>Ν0 существует полином наилучшего приближения Φη{Α*Ν, Υ), Α*ν^Ω, функции f(Y) на сетке GN при ограничении Ω. Далее, нетрудно понять, что равномерно по N>N0 выполняется неравенство тах|ф^(Л^, У)|<с, Y^GN где с — некоторая константа. Действительно, <тах|/(П-ФЛ^П| + тах|/(К)|- = min max |/(У)-фя(Л, Y)\ + тах|/(У) |< {A) Y^GN Y^G <p + max|/(F)|iLc. Учитывая лемму 7.2, заключаем, что последовательность {Αχ} ограничена и, значит, имеет хотя бы одну предельную точку. Остается сослаться на теорему 4.1 и заметить, что в силу выпуклости F(A> Y) по А при каждом фиксированном FgC любая стационарная точка функции φ (Л) на Ω дает вектор коэффициентов полинома наилучшего приближения функции f{Y) на множестве G при ограничении Ω. Теорема доказана.
§ 8] ПРИБЛИЖЕНИЕ ФУНКЦИЙ, ЗАДАННЫХ НА ОТРЕЗКЕ 291 § 8. Наилучшее приближение функций, заданных на отрезке алгебраическими полиномами 1. Вернемся еще раз к задаче о наилучшем приближении функций, заданных на отрезке, алгебраическими многочленами и покажем, что теорема Чебышева является следствием результатов, полученных в этой главе. Пусть p = min max \f(t)-Pn{A> t)\, (8.1) {A} c</<d где f(t) — непрерывная на отрезке [с, d] функция, А = (а0, а{, ..., ап)^Еп+{ и Будем в дальнейшем предполагать, что р>0, так что для любого А е= Еп+1 max \f(t)-Pn(A9 t)\>0. Положим Y = (i, t)^E2, F(A,Y) = l(-f(t) + Pn{A,f)): G = {(h t)\l = ±U t^[c,d}}. Очевидно, что для любого А^Еп+[ maxF(A, У)= max \f(t)-Pn{Att)\. (8.2) Таким образом, ρ = min max F (Л, Υ). (8.3) {A} YezG Минимаксная задача (8.3) эквивалентна (8.1) и более удобна для исследования. Поскольку dF(A,Y) дЛ = l(U U .... П (8.4) то функция F(A, Y) непрерывна вместе с dF(A, Y)/dA на множестве Εη+ι Χ G. Более того, функция F(A9 Y) выпукла (даже линейна) по А при каждом фиксированном Υ е G.
292 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Положим R(A) = {Y f=G\F(A, Y)= max F(A, W)}. W& G Через L(A) будем обозначать выпуклую оболочку, натянутую на точки Ζ (У), Y<^R(A). Теорема 8.1. Для того чтобы А* был вектором коэффициентов полинома наилучшего приближения функции f{t) на отрезке [с, d], необходимо и достаточно, чтобы 0е1(Л*). Справедливость этого утверждения очевидным образом следует из теоремы 2.2, следствия из теоремы 3.1 и формулы (8.4). 2. Лемма 8.1. Пусть заданы я+2 точки Yi = (h> U)^G> /e[0:/!+l], такие, что |г ===== ± I и А) < U < · · · < tn+\> Следующие два утверждения равносильны: I. sign 1, = —sign |£+1, /е[0:«]. II. Начало Координат принадлежит выпуклой оболочке, натянутой на точки Z(Yi), /е[0: я + 1]. Доказательство. Покажем, что из I следует II. Как известно (см. Приложение I, § 1), существуют такие положительные числа аг > 0, Σα*=1> что для любого алгебраического полинома Рп(А, t) степени ^я будет 2(-1)Чр*(Д//)==о. Учитывая это и I, получим /ι+Ι п+! *=0 t=0 ]£ α,Ζ (ΚΛ == (sign Ы^-1)4 что равносильно II. О,
§8] ПРИБЛИЖЕНИЕ ФУНКЦИЙ, ЗАДАННЫХ НА ОТРЕЗКЕ 293 Докажем обратное утверждение. Пусть нашлись не- /г + 1 отрицательные числа аг ^ 0, 2 <^ = I такие, что 2а^(Г,) = 0. (8.5) *=о Требуется доказать, что имеет место I. Заметим, во-первых, что все а,·, i&[0 \n-\- 1], строго положительны. Действительно, если бы, например, artfl обращался в нуль, то для любого алгебраического полинома Рп(Ау ί) степени <«в силу (8,5) выполнялось бы равенство Σ*&ΡΛ(Α. *ι) = 0. *=о (8.6) В частности, (8.6) имело бы место и для интерполяционного полинома Рп(Л0у t): Рп(Ао> '*) = <*&. ie=[0:nj. Подставляя значения ЯП(Л0, ί() в (8.6), получим п что противоречит равенству 2<Xj = l. /—О Итак, все а{ > 0, ί е [0 : п + 1]. Перепишем (8.5) в виде ί=0 ill f 1 ' \u • \t1. — a/i+lln+l ι ' 1 ^я-И Имеем по формуле Крамера для ie[0:n] К(/0,..., ^,ь fn+l, и+и . «/!/=-= α/ι + Ι-η + Ι Γ (ίο. .·., **) где К(«0> ···> нп) — определитель Вандермонда tn)
294 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ. VI Учитывая, что V (ίο> · · · > ti-\> tn+l> ti+U · ■ ·» ^л) == = ( 1) к(?о /4»|, ti + i tn+\)> получим «/1г = —(— 1) ct/t+iSn+i ^^о> >>ш> ^) · Vе·/; Поскольку числа ^ упорядочены по возрастанию, определители в формуле (8.7) положительны. Кроме того, положительны числа a*, iG[0:n+ 1]. Отсюда следует, что для всех i е [0 : п] Ι* —(-1Г'1»+1. Но это равносильно I. Лемма доказана. Положим b(A,{) = f(t)-PMt). Теорема П. Л. Чебышева. Для того чтобы полином Рп(А*> t) был полиномом наилучшего приближения функции f(t) на отрезке [с, d], необходимо и достаточно, чтобы нашлись η + 2 точки tit c<:to<ti< ... <tn+\<d, в которых уклонение Δ (Л*, t) достигало бы наибольшего по абсолютной величине значения с последовательной переменой знака, г. е. чтобы \ЦА\ tt)\= max |Д(Л*, /)1 (8-8) sign Δ (Л*, tt) = - sign Δ (Α\ ti+l). (8.9) Доказательство. Покажем, что эта теорема является следствием теоремы 8.1. Достаточность. Предположим, что нашлись η + 2 точки tiy ге[0:д+ 1], с требуемыми свойствами» Тогда, положив ξ,· = -sign Δ (Л*, f,),
§ 8] ПРИБЛИЖЕНИЕ ФУНКЦИЙ, ЗАДАННЫХ НА ОТРЕЗКЕ 295 заключаем, что точки К£== (|£> tt) принадлежат R{A*). Действительно, в силу (8.2) и (8.8) F(A\ γξ) = -ΐ£(Α; Ь) = \Ь{А\ t()\ = = max \/±(Α*, OI = maxf {A*, Y). Далее из (8.9) следует, что sign h = — sign ξ/+ι. Воспользуемся леммой 8.1. Получим, что начало координат принадлежит выпуклой оболочке, натянутой на точки Z{Yt\ /e[0:«+l], Y{s=R(A*). Тем более начало координат принадлежит L(A*) (см. определение L(A)). Отсюда и из теоремы 8.1 следует, что А* есть вектор коэффициентов полинома наилучшего приближения. Достаточность доказана. Необходимость. Пусть θ€Ξΐμ·)<ζ£Λ+1. В силу леммы 1.1 Приложения II найдутся г попарно различных точек Z(Yt\ /e=[0:r-l], 1<г<л + 2, где Г,е=#(/Г), г-\ и неотрицательные числа α,-^0, 2α/=1, такие что Σα,Ζ(7,)-0. Заметим, что точки Yi-={%i, tt) попарно различны, а поскольку Yi^R{A*)f то попарно различными будут и вторые координаты этих точек //, / е [0 : г — 1]. Далее, так же как при доказательстве леммы 8.1, показывается, что г = п + 2. Теперь нам известно следующее: существуют η +2 точки Yif ie[0:rt+l], с попарно различными вторыми координатами такие, что п+\ п+1 Σ*ιΖ(Υι)=*0; α,>0, 2at = l.
296 НЕПРЕРЫВНАЯ МИНИМАКСНАЯ ЗАДАЧА [ГЛ, VI Будем считать, что Тогда из леммы 8.1 следует sign Si —— sign |m. (8.10) Поскольку Yi^R(A*)f то, учитывая (8.2), получим max I / (t) - Рп (А% t) | = max F (А\ Y) = ^F(A\Yt)^-h(J(ti)-Pn(A\td). Отсюда и из (8.10) очевидным образом следуют равенства (8.8) и (8.9). Теорема доказана. 3. Теорема Валле-Пуссена. Если в η + 2 точках tt отрезка [с, d], <?</<></, < ... </„+i<d, уклонение Δ(Λ0, t) попеременно меняет знак, то р> min | Δ (Л0, 01- i <= |0:я+Ц Доказательство. Положим £i = -~signA(,40, t) и рассмотрим точки У* = (£,*, /,), /e[0:« + lj. В силу леммы 8.1 начало координат пространства Еп+Х принадлежит выпуклой оболочке, натянутой на точки Ζ (УД /s[0:n+l]. Отсюда и из (8.4) следует, что выполняется неравенство / dF (Д>, Υι) \ ^ Λ mm max —\Λ' >g >°- IJgH^l £в|0:я+1]\ 0Л / Учитывая следствие 2 из теоремы 2.3, окончательно имеем ρ > min F(AQ, Υ ι) = min [—. £,Δ (Л0, /,)] == * β {0:«-flJ / ^ |0: η+1|* . = min |Д(Л0* /,)|. /€=[0:n+lj Теорема доказана.
ПРИЛОЖЕНИЕ I АЛГЕБРАИЧЕСКАЯ ИНТЕРПОЛЯЦИЯ § 1. Разделенные разности Пусть задана таблица значений некоторой функции: Vk~y{ta ke[0:fi]. Значения аргумента — узлы — предполагаются попарно различными; никаких других ограничений на них не накладывается. Отношения j/fc.^+1J=f:'Z?', se[0:JV-l], *5 + 1 lS называются разделенными разностями первого порядка. Разделенные разности второго порядка определяются следующим образом: y[t„ ts+l,ts+2]=y[ts+i'ts;*]Zyt[ts'is+l] , s<=[0:N-2}. Вообще разделенные разности п-го порядка (я ^ N) получаются из разделенных разностей {п— 1)-го порядка с помощью рекуррентного соотношения = y[ts+i,...,ts+n]-y\ts U+n-t] s(s[0:N-n]. h+n — h Ниже приведена характерного вида таблица, в которой содержатся значения функции вместе со всеми разделенными разностями (Af —3).
298 ПРИЛОЖЕНИЕ I t U h - h У Уо У\ У2 Уг Разделенные разности I У [*о. *ι] У Uu /2] У l*i t9] II У [*о> tu t2] У Vu *2> h] III Wo. M*'el Известно следующее представление разделенных разностей непосредственно через значения функции: У Us» ts+\> ···> ^s+/i]— Zj ys+k k=*0 (/,+*-M...( ) · ■ ■ ('i+A -/,+n) ' где s e [0 : N —- η] и Us+fe ~~ ts) · · · ( ) · · · (*s+k — ts+n) : π a ί==0, t =^ ft s+k ' (i.i) 4-и). Укажем основные свойства разделенных разностей. 1. Разделенная разность есть симметрическая функция своих аргументоз, т. е. y[tSi ..., ts+i, ..., is+/> ···» ^s+/i! == i\ / e= [0 : n], i ^ /. 2. Пусть заданы две таблицы yk = y(tk), 4=-*{tkl 'ke[0:N]. Составим еще одну таблицу Wh = W(tk)£Lay{tk) + fr(th)9 где α и β —- произвольные постоянные. Тогда ^ Us» ^s + l> ···» 's+/»]==a^Us> ^s + l> ···> 4 + tt] ~l·
АЛГЕБРАИЧЕСКАЯ ИНТЕРПОЛЯЦИЯ 299 3. Пусть /0, /1? ..., /rt+1 — произвольный набор узлов, y(t) = tn+l и yk = y(tk)t. *е[0:л+1]. Тогда У [*0> Ч> · · ·> *n+lJ ~ 1· 4. Если в условиях предыдущего пункта y(t) = Qn(t), где Qn(t) — произвольный алгебраический полином степени к^п, то y[t0f tu ..., /rt+1] = 0. Учитывая (1.1), этот результат можно переписать так: л+1 у я*т β0 (12) Положим для k e [0 : η + 1] (-0* „ _ (fr-<o)--.( > — </jfe — /^-n) 2^ и*-*,,)... (-!)* *=o ( ).,№-ω n+l Очевидно, 2aft = l. С помощью чисел α* равенство (1.2) можно переписать в следующем эквивалентном виде: 2(-i)4Q*(i*) = o. Если узлы tk упорядочены по возрастанию ^0 ^ Ί ^ · · · ^ *л+1» то, как легко проверить, числа a*>, fee[0!n+ 1], положительны „, = _Πι_-'·ΐ-( )-1'»-'.Д->0. Σ- |ίί-ί0|...( )...|<ί-ί«+,| *—0
300 ПРИЛОЖЕНИЕ t § 2, Интерполяционные полиномы 1. Алгебраический полином Ln{t) степени <!я, Ln(t) = bQ+b{t+ ... +6Λ/\ удовлетворяющий соотношениям Ln(tk) = Uk> kez[0:n], называют интерполяционным полиномом таблицы (tk> yk), fc e= [0 : n]. Если узлы таблицы tk попарно различны, то интерполяционный полином существует и единствен. При этом 6, = A, /S[0:4 где Δ — определитель Вандермонда, 1 to ·.. to ι и ... ti л*= 1 / tn i 'П · · · */1 = Π {tk - *ь * n>k>!>0 а определитель Δ{ получается из Δ заменой /-го столбца на столбец {yk}> k e [0 : η]. Если разложить определитель Δ; по элементам /-го столбца, то придем к следующей формуле: ь,- Σ yk4t *=0 [0: η], (2.1) где Δ*,; есть алгебраическое дополнение элемента определителя Δ, стоящего на пересечении &-й строки и /-го столбца. Заметим, что числа Δ и \ki зависят только от узлов интерполядии {/J. Пусть Ρη(ί)-"ο + αιί+...+αηίη и tJk = Pn{tk)y A e [0 : л]. В этом случае интерполяционный полином Ln(t) в силу его единственности совпадает с Pn(t).
АЛГЕБРАИЧЕСКАЯ ИНТЕРПОЛЯЦИЯ 301 Учитывая (2.1), получим η α<· = ±Ξ±-Δ > /e=[0:/i]. (2.2) Отсюда следует, в частности, что если Pn{t) обращается в нуль в /ι|Ι точке, то все его коэффициенты равны нулю. 2· В дальнейшем через Л будем обозначать вектор коэффициентов полинома Рп (Л, /) = 2 я**'» Л = (α0, α,, ..., αη). Будем говорить, что последовательность векторов As = (а(*\ a[s\ ..., α^), 5 = 1, 2 ..., сходится к вектору Л* = (ад, α*, ..., α*) при $->оо, и писать если имеет место покоординатная сходимость <4S)—.-><> /е[0:я]. Лемма 2.1. Имеется последовательность полиномов Pn(As> 0» 5=1, 2, ..., степени ^п и полином Pn{A*t t). Для того чтобы достаточно, чтобы для некоторого множества попарно различных точек tk> k s [0 : η], выполнялось предельное соотношение Pn(Aa.tk)-;^Pa(A\tk). Следует из (2.2). Лемма 2.2 (о компактности). Пусть задана последовательность полиномов Pn(As, /), s = 1, 2, ..., равно- мерно ограниченная на множестве, состоящем из (п+ \)-й точки 4, k <= [0 : я], |Яп(Л„ /Λ)|<Λί.
302 ПРИЛОЖЕНИЕ t Тогда найдутся подпоследовательность векторов [As.) и вектор Л* такие, что Доказательство. Поскольку при каждом k e е [0 : п] числовые последовательности Pn(As, tk)> s = = 1, 2, ..., ограничены, то найдется подпоследовательность индексов {sj такая, что при k е [0 : п] Пусть Рп(А*> t) — интерполяционный полином, определяемый из соотношений Рп(А'>*н) = У» ке[0:п]. Теперь имеем Рп (A*r tk) "т^^ Рп (А\ tkl k<=[0: η]. В силу леммы 2.1 отсюда следует, что Лемма доказана. 3· Возвращаясь к интерполяционной задаче, £«(**) = У*. *е=[0:л], запишем формулу Лагранжа для интерполяционного полинома 1л(0-£иА(0. ft=0 где / а\— У-*о)У-*\) ··· (*-ft-i)(*-ft+i) ... (t-tn) kK) {tk - t0) (tk -/,)... (th - tk-t) Uk - /* + i) · · ■ Uk - tn) · В частности, для любого алгебраического полинома РЛ(Л, /) степени ^п справедливо представление Pn(A,t)=i>Pn(A,tk)lk(t). (2.3) k~Q Лемма 2.3. Пусть задана последовательность алгебраических полиномов Pn(Asi /), s= 1, 2, ·. ·, равно-
АЛГЕБРАИЧЕСКАЯ ИНТЕРПОЛЯЦИЯ 303 мерно ограниченная на множестве, состоящем из (п + 1)-ы точки отрезка [с, d]9 \Pn(A89tk)\<M9 *€=[0:/t], 5=1,2,... Тогда при любом натуральном г производные Pn](As> t) ограничены на отрезке [с, d] равномерно по s= 1, 2, ..., \pV(as, о|<м<". Доказательство. В силу (2.3) \PV(As,t)\ ΣΡη(Αε, tk)iV(t) k=0 <ΑίΣ|/ίΓ,(0|. k=0 Заключение леммы следует теперь из того, что правая часть полученного неравенства не зависит от s. Лемма доказана. Лемма 2.4 (о непрерывной зависимости). Пусть интерполяционный полином Рп(А*, t) и последовательность интерполяционных полиномов Pn(As, t), 5=1,2, ..., определяются соотношениями k(=[0:n], $=l, 2, ... Если при s-+°o будет *?-+Ъ п*->У1 *e=[0:/i]. то AS-*A\ Утверждение леммы непосредственно следует из (2.3). 4. В заключение этого параграфа выпишем еще формулу Ньютона для интерполяционного полинома МО = 0о+2Ы*о>*1 W-<o)(<-'i) ·■·('-W·
ПРИЛОЖЕНИЕ II ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ § 1. Выпуклые оболочки. Теорема отделимости 1. Пусть Εп обозначает /г-мерное евклидово пространство векторов Х = (х{9 ..., хп). Отдельно запишем представление для нуля пространства Еп и вектора с индексом 0 = (0,...,0), ^-(^*)f.:., х{*>). Введем обозначения (*. . х2) = Σ *W il * II = VOTxT. Известно, что для любых векторов Хи Х2^Еп справедливо неравенство (Коши — Буняковского) |(^^2)1<||ΧιII· 11*2II. - По определению соотношения Xs-7-rz+X* и \\X$-X*\\-j^*0 равносильны. Система векторов Х{> ..., Хп принадлежащих Еп, называется линейно независимой, если равенство 'ΣαΛ = 0 возможно тогда и только тогда, когда все коэффициенты aki ke=[l : г], равны нулю. Как известно, при г^п+ 1 любая система векторов Хи ..., Хг из £д линейно зависима. Это значит, что найдутся числа β{ βΓ, г не равные нулю одновременно, Σ 1 β/e I > 0> Для которых ΣΡΛ = ο. (l.i)
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 305 Если г^п + 2, то одновременно с (1.1) можно добиться выполнения равенства Σβ* = 0. (1.2) Действительно, введя в рассмотрение векторы *,«(*!«,..., *?>, 1)е£я+11 fte[i:r], г>я + 2, Г найдем, в силу предыдущего, числа β^, 2ΐβ&1>0, та- кие, что ΣβΛ = ο. (1.3) Легко понять, что равенство (1.3) эквивалентно совокупности равенств (1.1) и (1.2). . 2. Через 56(ЛГ0) будем обозначать Ь-окрестность точки Х0: S6(X0) = {XeEn\\\X-XJ<6}9 δ>0. Множество G <ζζΕη называется открытым, если для любой точки X0^G найдется такое δ > 0, что Sb(X0)czG. Множество F с Еп называется замкнутым, если из соотношения следует, что X* s F. Замыканием произвольного множества Я cz En на вается множество точек Z, допускающих представление Х== lim X5; 15еЯ, 5=1, 2, ... S-»oo Точка Z0 называется внутренней точкой множества Я, если при некотором δ > 0 Sb{XQ)czH. Точка Х0 называется граничной точкой множества Я, если ее δ-окрестность 50(J0) при любом δ>0 содержит хотя бы одну точку, не принадлежащую Я, и
303 ПРИЛОЖЕНИЕ И хотя бы одну точку, принадлежащую Η и отличную от Х0. Множество L называется выпуклым, если вместе с любыми двумя точками X{i X2^L оно содержит отрезок, соединяющий эти точки: aXl + (l-a)X2<=L, 0<α<1. Замкнутое выпуклое множество L называется строго выпуклым, если для любых Хх, Х2 ^ L и любого aG(0, 1) точка аХ{ -f (1 — а)Х2 является внутренней точкой множества L. Множество Я называется ограниченным, если существует такое число Μ > 0, что для всех 1еЯ будет ||*)|<М. 3. Выпуклая оболочка произвольного множества GczEn, обозначаемая coG (или co(G)), определяется следующим образом: coG = jZ=2aA|^eG; a*>0, 2 a* —1, }·(1·Ί г — произвольное натуральное число f. (1.4) Лемма 1.1. Любой вектор IgcoG может быть представлен в виде выпуклой комбинации не более чем (п+ \)-го вектора множества G. Доказательство. Пусть для некоторого X е со G в представлении (1.4) после выбрасывания слагаемых с а^ = 0 оказалось, чго г^/г + 2: Г Г Я=2«А; Xk^G\ aA>0, 2 <**=!· Согласно замечанию, сделанному в п. 1, найдутся г числа β&, 2 I β* I > 0 такие, что 2βΛ = ο, Σβ* = ο.
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИЙ 30? а. Положим ε== min />0 и ak = ak — e&k, k&llir]. {k\h>°) P* Очевидно, г г Рассматривая отдельно положительные и неположительные β^, найдем, что ctfe>0, k^[l : г]; при этом хотя бы одно ak обращается в нуль. Таким образом, вектор X представлен как выпуклая комбинация не более чем (г — 1)-го вектора из G. Повторяя описанный процесс, придем к представлению, в котором г<я+ 1. Лемма доказана. Лемма 1.2. Если G а Еп — ограниченное замкнутое множество, то со G есть ограниченное замкнутое выпуклое множество. Доказательство. Если все компоненты векторов из G ограничены по модулю числом Af, то все компоненты векторов из со G ограничены по модулю тем же числом Λί. Действительно, при всех νε[1:φ силу (1.4) имеем Отсюда следует ограниченность coG. Докажем выпуклость со G. Пусть Xесо G и Υ е со G, причем X = Σ ct*Jfft> У = 2 «Л; ^/г е G; Γι —Ι Γ» Σ α*— Σ α* = 1; afe>0, fce=[l:r2]. Покажем, что aX\-f (1 — а) У е со G при всех ае[0,1]. Имеем а* + (1 - а) У - Σ аа*Xk +2(1- a)akXh = Σ ahXh9 где ί aa*, если ^[1:^-1], k \(1—а)а^, если k^[rx\r2]*
308 ПРИЛОЖЕНИЕ II Очевидно, ά^^Ο, k^[llr2]> и г2 г,—1 г2 2 afe = a 2ай + (1-а)2 схл = 1. Значит, по определению точка aJ + (l — a)У при всех ае[0,1] принадлежит coG, чем доказана выпуклость множества со G. Осталось доказать замкнутость со G. Пусть Xs-^^+X*, Xs^coG, s= 1, 2, ... Покажем, что X*<^coG. Представим каждый вектор Xs в виде выпуклой комбинации не более чем (п + 1)-го вектора из G: rs rs Xs= Σ «5Д^; <^>0, 2aJfc=l; (1.5) Jsfee=G, fte=[l :rj, 5=1, 2, ... Пополняя, если нужно, представление (1.5) произвольными векторами из G с нулевыми коэффициентами, добьемся того, чтобы rs = n + 1, 5 = 1, 2, ... Пользуясь тем, что G — ограниченное замкнутое множество и O^a^^l, fee [1 :/г-|-1], 5=1,2,..., выделим такую подпоследовательность {sj, что для всех fe е [1 : /ι+ 1] будет На основании (1.5) получим X = 2j а0яХ0£, причем л + 1 Значит, X* ecoG. Лемма доказана. Нетрудно проверить, что если G — выпуклое множество, то со G = G.
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 30$ Действительно, по определению выпуклой оболочки G czcoG. г Покажем, что со GczG. Пусть X е со G, -У =2 α А; г J^ gG, ak > 0, ^«^ 1· Если г = 1 или г = 2, то оче- видно, JiGG. В общем случае следует воспользоваться определением выпуклого множества и соотношением 4. Лемма 1.3. Пусть QczΕη — некоторое замкнутое выпуклое множество. Тогда найдется точка Гей такая, что для всех IgS будет (Χ,Γ)ΧΓ,Χ*). Доказательство. Рассмотрим функцию F(X) = = (Х, X). Нетрудно показать, что F{X) достигает на Ω своего наименьшего значения в некоторой точке X* е Ω: minF(X) = F{X*)^0. (1.6) Докажем, что для любого XgQ (Х,Г)>{Х\Х·). (1.7) Действительно, в силу (1.6) и выпуклости Ω при 0< α < 1 будем иметь (Г + α (X - Г), Г + α (* - Г)) ^ (Г, Г). Отсюда 2{Х-Х\ Г) + а(Х-Х\ Х-Г)>0. Теперь легко доказать от противного, что (Х-Г, Г)>0. Последнее же неравенство равносильно (1.7). Лемма доказана. Замечание. В силу (1.6) точка X* имеет наименьшую норму среди всех точек Ie=Q. В связи с этим X* называют ближайшей к началу координат точкой множества Ω.
$10 ПРИЛОЖЕНИЕ И Рассмотрим теперь два замкнутых выпуклых множества Ω! и Ω2, причем одно из них предполагается ограниченным. Пусть р= inf И ДГ — К ||. Лемма 1.4. Существуют такие точки XQ^Q и Y0 e Ω2, что \\Xo- УоИ = р. При этом для любых ΙεΩ, и Уей2 будет (X - У, Х0 - Υ0) > (Х0 - У0, Ζ0 - Υ0). Доказательство. Введем множество Ω —■ Ω{ — Ω2: Ω^ίΧ-ΚΙΧΞΞΩ^ Κ€=Ω2}. Нетрудно показать, что Ω является замкнутым выпуклым множеством. Остается воспользоваться леммой 1.3 и замечанием к ней. Лемма доказана. Теорема 1.1 {теорема отделимости). Пусть Ω α<Εнезамкнутое выпуклое множество и XQ ψ Ω. Тогда найдутся вектор g06£ft) IIgoII— Ь и число а>0 такие, что для любого ΙεΩ будет Доказательство. Рассмотрим множество Ω0: Ω0 = {Χ-Χ0\Χ€ΕϊΩ}. Нетрудно проверить, что Ω0 является замкнутым выпуклым множеством и что 0 φ Ω0. В силу леммы 1.3 найдется точка Ζ* е Ω0(Ζ*=^0) такая, что для всех Ζ е Ω0 будет (ζ,ζ·)>(ζ·,ζ·). Положим g0 = ~~ Ό ^* Ik я = II £*Н > 0. Тогда для любого ΖεΩ0 получим (2, go)r==— "Ρτ][(ζ> Z*^"^"|irf (£*>Ζ*) = —α, чго равносильно утверждению теоремы. Теорема доказана.
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 311 Следствие. Если Ω cz Εп —замкнутое выпуклое множество и Х0 — граничная точка множества Ω, то существует вектор g0^En, ||g0||=l такой, что (X-X0,ga<0 для всех ΧεΩ. Доказательство. Так как Х0 — граничная точка Ω, то найдется последовательность точек {Xt} со свойствами Ζ,<£Ω, \\x0-xt\\-—*Qm Поскольку Xi φ. Ω, то по теореме 1.1 имеем для всех 1ей (X-Xi*giX-ai9 (1.8) где a,= min||Z-*HI=|z;-Xj>0, Ζ «ξ Ω Ζ* —Χ ^="μΓ^Γ' |1ы==1· Заметим, что по определению at О < β, < lUTo-JT, ||. Отсюда следует соотношение Не ограничивая общности, будем считать, что последовательность {gi} сходится к вектору g0> \\g0\\— 1. Перейдем теперь к пределу при i->oo в неравенстве (1.8). Получим для всех X €= Ω (X-Xo,go)<0, что и требовалось доказать. § 2. Выпуклые конусы 1. Множество Г аЕп называется конусом, если вместе с вектором X оно содержит вектор λ*, λ>0. Примерами конусов могут служить {0} и Еп. Пусть йс£„- замкнутое выпуклое множество и ΓεΩ. Рассмотрим конус Γ(Γ)=*{ν=λ{Χ — χ·)\λ> 0, X € Ω}.
312 ПРИЛОЖЕНИЕ И Очевидно, 0^Г(Х*). Замыкание конуса Τ (X*) называется конусом возможных направлений множества Ω в точке X* и обозначается Т(Х*). По определению замыкания (см. § 1, п. 2) точка V принадлежит Г(Х*) тогда и только тогда, когда V= limk8(Xs-Xm), (2.1) где λ$ > О, Xs <= Ω, 5 = 1, 2, ... Лемма 2.1. Если Ω — замкнутое выпуклое множество и ΓεΩ, то Г(Х*) является замкнутым выпуклым конусом. Доказательство. В силу (2.1) ясно, что Г(Х*) является конусом и что этот конус замкнутый. Докажем его выпуклость. Для этого достаточно установить выпуклость V(X*). Пусть Vit У2€=Г(Г). Vf=k{{Xx-r), V2 = k2(X2-X*)> где λ!, λ2>0, X[f Ι2εΩ. Покажем, что при Ο^α^Ι α^ + (1-α)1/2ΕΓ(Γ). Положим λ = αλ! + (1 — α) λ2 > 0, <h = ^FL* 0<<χ0<1. Поскольку Ω — выпуклое множество, то ^0=00^ + 0-Oo)^aeQ. Теперь имеем aVx + (1 - α) V2 = αλ, (Χ, - Χ*) + (1 - α)λ2(Χ2 - Г) = = λ [οο № - Г) + 0 - «ο) № - Л] - — Л(*0-Г)еГ(Г). Лемма доказана. 2. Пусть Fczf^—конус. Введем понятие сопряженного конуса Г+: Г+ = {1Гб£й|(Г^)>0 для всех КеГ}. Заметим, что если Г = Еп, то Г+ ={0}. Действительно, 0еГ+. С другой стороны, если бы ΐΓ0<=Γ+> ||1ΡοΙΙ>0, то, положив V = — W0 e Г, получили бы (1F0, V) = 8=5 -" II Ψ о II2 < °> что противоречит условию WQ е Г+·
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 313 Другой пример. Пусть Г —{* — (*„ ... ,*„)!**>(), /е[1: л]}. Нетрудно проверить, что в этом случае Г+=Г. Лемма 2.2. Если ГсЯй- конус, то Г+ с£„ является замкнутым выпуклым конусом. Доказательство легко следует из определения сопряженного конуса. Теорема 2.1. Пусть Г cz Еп — замкнутый выпуклый конус, G cz Εп~ ограниченное замкнутое выпуклое множество. Для того чтобы Г и G не имели общих точек, т. е. ГПО = 0> (2.2) необходимо и достаточно, чтобы нашелся вектор W0 e Г+ такой, что тах(Г0, Х)<0. (2>3) Доказательство. Достаточность. Поскольку №0^Г+, то для любого 7еГ (W0, У)>0. С другой стороны, в силу (2.3) для любого X е G (№0, *)< 0. Отсюда следует, что Г и G не могут иметь общих точек. Необходимость. Положим Ω = Γ— G: Ω = {V - ΧΙ V e Г, X €= G}. Нетрудно проверить, что Ω является замкнутым выпуклым множеством, не содержащим начала координат 0. В силу леммы 1.3 найдется вектор WQ & Ω, WQ Φ 0, такой, что для всех W е Ω будут выполняться неравенства • (Г, Г)>(№0, Г0), (2.4) (V, W0)^(W0, Г0). (2.5) Пусть ТГ0 — К0 — ΛΌ, К0 е= Г, Х0 <ξ G. Докажем, что (w0,ig«o. (2.6) Поскольку Kq е Г, то λΚ0 €= Г при всех λ > 0, и потому ^=λ70-^ο = (λ-1)Κ0 + ΙΓ06Ω.
314 ПРИЛОЖЕНИЕ II Теперь имеем W» Щ = «λ - 1) Vo + W0, (λ - 1) V0 + W0) - =(λ - 1) [(λ - 1) (V0t V0) + 2 (Г0, l/0)] + (Г0, W0). Предположение о том, что (WQ, V0) φ О, приводит нас к заключению, что при некотором положительном λ (большем единицы, если {W0, V0) < 0, и меньшем единицы, если {W0, V0) > 0) будет выполняться неравенство WK, WK) < (Г0, W0). Но это противоречит (2.4). Итак, доказана справедливость равенства (2.6). Подставим в (2.5) W = V - XQi V e Г: (V-X0,WQ)>(W09V0-X0). Отсюда, учитывая (2.6), получим для всех УеГ т.е. «^0еГ+. Теперь подставим в (2.5) W = V0 — Xf (V0-X, W0)>(W0i W0). Учитывая (2.6), получим для всех X ^ G (Wq, X)<-{Wq, Wo). В частности, тах(1Г0, Х)<0. Теорема доказана. Лемма 2.3. Если Г с Еп — замкнутый выпуклый конус, то Г++=Г. (2.7) Доказательство. Пусть V0 ε Г. Тогда для любого 1УеГ+ будет (W, Vo)>0. Значит, F0 g Г++ и, следовательно, Гс:Г++. Обратное включение будем доказывать от противного. Пусть К0еГ++, но V0(£T. Положим G=={K0}·
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 315 В силу теоремы 2.1 найдется вектор 1Г0еГ+ такой, что (W0, V0)<0. Значит, ν0φΓ++, что противоречит предположению. Лемма доказана. Следствие. Если Г с= Еп — выпуклый конус и Г — его замыкание, то Г++ = Г. (2.8) Действительно, Г — замкнутый выпуклый конус, и потому в силу (2.7) Г++ =Г. Остается заметить, что Г+==Г+. Пусть Гг с: Еп> i е [1 : s],— произвольные конусы и ΣΓ,^ίν-Ικιΐν^Γ,, ie=[l:s]|. i=i I /-ι J Имеет место равенство Σ Г, «ПГ£+. (2.9) г=1 ί«1 Справедливость этого равенства легко следует из определения сопряженного конуса и того факта, что 0^Г{> /е=[1 :s]. На основании (2.7), (2.8) и (2.9) заключаем, что если I\ cz En9 i е [1 : s], — замкнутые выпуклые конусы, то 'ήΓ<)+«ΣΓ,+. Действительно, ν+ / s ,\+ / s \+ + ПЧ - П(Г|+)+ - Σ^η -Σιί. 3. Пусть G — произвольное множество из Еп. Через /C(G) будем обозначать выпуклый конус, натянутый на G: K(G)=JU = IJa^l^eC, αΑ>0, fte=[l:r], г — любое натуральное число >.
316 ПРИЛОЖЕНИЕ II Лемма 2.4. Любая точка V^K(G) может быть представлена в виде y=J3a**V. ^eG, αΛ>0, *G[l:r], (2.10) где l^r^n и векторы Vki k^[l : г], линейно независимы (см. § 1, п. 1). Доказательство. Пусть Vs/((G). Среди всех представлений вектора К в виде (2.10) выберем представление с наименьшим г. Докажем, что в этом случае векторы Vu ..., Vr линейно независимы. Допустим г противное. Тогда найдутся числа βΑ> Σΐβ&|>0, для которых Положим α. ε = min τρ-, αΑ = αΑ —εβ*, fte[l:r]. {fe Ι β^ > 0} Pfe Очевидно, ^=ΣάΛ (2.11) причем все коэффициенты ak неотрицательны и хотя бы один из них обращается в нуль. Выбрасывая слагаемые с afc —0, получим на основании (2.11) представление для V вида (2.10), в котором число слагаемых меньше г. Но это противоречит предположению. Итак, векторы Vu ..., Vr линейно независимы. Неравенство Ι^γ^αζ следует из того, что в Еп не может быть более чем η линейно независимых векторов. Лемма доказана. Лемма 2.5. Пусть Gc£„- ограниченное замкнутее множество и начало координат не принадлежит выпуклой оболочке множества G: O^coG. Тогда /((G)-— замкнутый выпуклый конус. Доказательство. Очевидно, что /((G) — выпуклый конус. Докажем его замкнутость.
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 317 Пусть Vt-j+z+V; Vi<=K(G), / = 1,2,... (2.12) Требуется доказать, что V*^K{G). Нетрудно проверить справедливость следующего утверждения: для того чтобы V е/С(С),__необходимо и достаточно, чтобы V=%V, где λ>0 и KecoG. В связи с этим соотношение (2.12) можно переписать в виде λ^-π?^*; λ/>0, К, есо С. (2.13) Поскольку O^coG, то найдется с>0 такое, что llFill>c равномерно по /. Отсюда и из (2.13) следует, что последовательность {λ;} ограничена. Выделим теперь такую подпоследовательность индексов {/J, для которой Κ-ί?*Ζ* *» (2Л4) Vii-jp^V. (2.15) β силу леммы 1.2 множество coG замкнутое, поэтому PgecoG. Учитывая (2.13), (2.14) и (2.15), получим V\=lV\ λ>0, KgecoG. Значит, V*^K(G). Лемма доказана. 4. Предположение 0 ψ со G в лемме 2.5 существенно, о чем свидетельствует следующий пример: Пусть <3 = {* = (*р л:2)[(ATj — 1)2 + *|<1}. В этом случае 0 е со G. Конус К (G) имеет вид ff(G) = {0}U{* = (*i, *a)|*!>(>}. Получили, что /((G) не является замкнутым множеством. Однако если G состоит из конечного числа точек, то требование 0 φ со G в лемме 2.5 может быть опущено. Справедлива
318 ПРИЛОЖЕНИЕ II Лемма 2.6. Если множество G состоит из конечного числа точек, то K{G) является замкнутым выпуклым конусом. Доказательство. Пусть V.-ЭТ^·; VsezK(G), s=l,2, ... (2.16) Требуется доказать, что V*^K(G). В силу леммы 2.4 справедливо представление rs причем система векторов V\s> ..., Vr8 линейно независима. Поскольку множество G конечно, то среди наборов {VksYkLv 5=1, 2, ..., хотя бы один набор встретится бесконечное число раз. Поэтому, не ограничивая общности, будем писать Κ5=2λ*5Κ'„ λΑβ>0, V'ke=G. (2.17) Существенно, что система векторов V\, ..., Vrr линейно независима. Покажем, что все последовательности {Яй5}, k е [1 : г], ограничены. Допустим противное. Тогда для некоторой подпоследовательности индексов {sj будем иметь ^=1,141-^°°· <2Л8> Из (2.17) следует равенство s,vi-vv (2Л9> где *-'ksf — hs{fts{· Очевидно, для всех 5, Σ №,1 = 1. (2.20) Не ограничивая общности, можно считать, что все последовательности ίλ£5], ts[l:r], сходятся
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 319 Переходя к пределу при s,-> оо в равенствах (2.19) и (2.20), получим в силу (2.16) и (2.18) что противоречит линейной независимости системы Vu · · ·> Уг. Итак, все последовательности{lks}, fee[l : г], в (2.17) ограничены. Очевидно, найдется такая подпоследовательность индексов {sj, для которой ^kh s.+oo* ^°> k^[l: г]. Переходя в равенстве (2.17) к пределу по подпоследовательности индексов {Si}t получим Г-2я,оП, λ,0>0, Г*еС, откуда следует, что К* е /((G). Лемма доказана. § 3. Выпуклые функции * 1. Функция F(X) называется выпуклой на выпуклом множестве Ω с: Еп, если для любых Х{ и Х2 из Ω и любого аЕ[0, 1] выполняется неравенство F(aXl + (\-a)X2)<iaF(Xi) + (l-a)F(X2). (3.1) Если при Х{ Φ Х2 и aG (0, 1) неравенство (3.1) строгое, то функция F(X) называется строго выпуклой на Ω. Неравенство (3.1) можно переписать в эквивалентном виде F (Х2 + а (Хг - Х2)) < F {X2) + a[F (Хх) - F (Х2)]. Функция F(X) называется вогнутой на выпуклом множестве Ω cz Еп, если для любых Х{ и Х2 из Ω и любого a e [0, 1] выполняется неравенство F{aX{ + (l-a)X2)^aF(Хх) + (1 - a) F(Х2). Из определений следует, что если функция F (X) выпукла на Ω, то функция (— F(X)) вогнута на Ω.
320 ПРИЛОЖЕНИЕ II Примеры. 1. Покажем, что функция F{(X) — (X, X) выпукла на Еп. Действительно, при всех αε[0, 1] имеем Fi{aXi + {l-a)X^(aXl + (l-a)X2,aXt + {l-a)XJ+ + a(l-a){Xl-X2, Χι-Χ2) = -α№, Χ{) + (1-α){Χ29 Χ2) = = α/4*ι) + (1-α)/>,№), что и требовалось доказать. Нетрудно понять, что функция F{(X) является строго выпуклой на Еп, II. Покажем, что функция F2(X) = (A, Xf выпукла на Еп. Действительно, при всех а^[0, 1] имеем F2 (аХ} + (1 - а) Х2) < (Л, „*, + (1 - а) Х2)2 + + а(1-а)(Л, Xx-Xj* = a(A, Χχ?+(1-α)(Α9 X2f^ ^aF2(X{) + (l-a)F2(X2), что и требовалось доказать. 2. Отметим два свойства выпуклых функций, которые используются в основном тексте. Лемма 3.1. Пусть Qc£ft- выпуклое множество и Ft {X)y i е [0 : N]> — выпуклые на Ω функции. Тогда функции <рСЮ= max Ft{X) U /«о где все λί7 i s [0 : Ν], неотрицательны, являются выпуклыми на Ω. Доказательство. Докажем, например, выпуклость φ(Χ) на Ω. По определению выпуклых функций имеем для Х{9 Χ2^Ω и ае[0, 1] Fi(aXl + {l-a)X2)<aFi(Xl) + (l-a)Fi(X^< <а max F^X^ + (1 - α) max Ft(X2). Отсюда следует: max Λ№ + Π—α)*2)< <a*max Ft{X{) + (1 - a) max Ft{X2)9 1<ξ-[0:Ν} ϊε[0:Λί]
ВЫПУКЛЫЕ МНОЖЕСТВА И ВЫПУКЛЫЕ ФУНКЦИИ 321 или, что то же самое, φ(α^,+(1-α)^8)<αφ№) + (1-α)φ(^. Но это и требовалось доказать. Лемма 3.2. Пусть функция F(X) непрерывно дифференцируема на открытом множестве Ω' с: Еп. Если к тому же функция F(X) является выпуклой на некотором выпуклом множестве Ω с: Ω', то для всех Хи Х2 s Ω будет выполняться неравенство {^Яг1* X*-Xi)<F{X2>-F{Xx), где dF(X) _(dF(X) dF(X)\ дХ ~\ dXi ' ' * ' * дхп )β Доказательство. Нетрудно проверить, что ШМ *,-*,)- |im ^(Х, + «№-*.))-МХ.). (з.2) В силу выпуклости F(X) на Ω имеем для 0<а<1 Ρ(Χι + α(Χ2-Χι))-Ρ(Χι)<α[Ρ{Χύ-Ρ{Χχ)1 Поделив обе части последнего неравенства на а>0, перейдем в нем к пределу при а-> + 0. Получим на основании (3.2) (МШ 9χ2-χ^<Ρ (χ2) _ F {Х{), Лемма доказана. Замечание. Если в условиях леммы функция F(X) является вогнутой на Ω, то для всех Χι, Х2е^,
ПРИЛОЖЕНИЕ III НЕПРЕРЫВНЫЕ И НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ § 1. Непрерывные функции Функция F(X)9 заданная на множестве GtzEn9 называется непрерывной в точке I0eG, если по любому ε>0 найдется такое δ>0, что для всех XeG, для которых ||X — Х01|<δ, будет \F{X)-F(X0)\<b. Функция F(X) называется непрерывной на (2, если она непрерывна в каждой точке этого множества. Если G cz Еп — ограниченное замкнутое множество, то любая непрерывная на G функция F(X) достигает наибольшего и наименьшего на G значения, т. е· существуют такие точки Хи X2^G> что F (Х{) = sup F (X), F (Х2) = inf F (X). Функция F(X)> непрерывная на ограниченном замкнутом множестве G cz Fn9 является равномерно непрерывной на G. Последнее означает, что по любому ε>О найдется такое δ>0, что для всех Х{> Х2^ G9 для которых \\Х1—Х2\\<Ь, будет \F{Xx)-F(X^\<b. Вектор-функция Φ (Χ) = (Ζ7, {X)t ..., Fr{X)) называется непрерывной на множестве G, если непрерывными на G будут все Fi{X)9 ге[1 : г]. Рассмотрим функцию двух переменных F(X, К), где Х=*(х» ..., ^)ей, Υ= (у{, ..., ym)^G. Введем обозначение QXG-{r = (*„ ..., ха9 у[9 ..., ут)е еЕя+т\Х=*(хи ..., ^)ей, Υ = {Ух> ..., ym)^G}.
НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 323 Будем говорить, что функция F(X, Y), XeQ, KeG, непрерывна no совокупности переменных, если функция F(W) непрерывна на Ω Χ G. Заметим, что если Qc£„ и Gc£m-ограниченные замкнутые множества, то ограниченным и замкнутым будет также множество Ω X G cz En+m. § 2. Некоторые равенства и неравенства для непрерывных функций 1. В этом пункте рассматриваются функции, непрерывные на ограниченном замкнутом множестве G с: £„. Имеют место следующие соотношения. I. max F {X) = - min (- F (X)), (2.1) X&G X&G min F {X) = - max (- F (X)). (2.2) Доказательство. Обозначим через leG точку, в которой достигается максимум функции F(X) на G, а через I0gG точку, в которой достигается минимум функции — /7^) на G. Тогда max F{X) = F (Χ) = - (- F (X)) < - min (- F (X)). (2.3) С другой стороны, - min (- F (X)) = - (- F (Х0)) = F (Х0) < max F (X). (2.4) 'Объединяя (2.3) и (2.4), получим (2.1). Равенство (2.2) доказывается аналогично. II. max KF {X) = lmaxF(X)> (2.5) *€=G X&G min λ^ (Χ) = λ min F (X). ' (2.6) 3dec& λ^Ο —кочетами. Доказательство. Поскольку при λ^Ο, ZeG будет KF (Ζ) < λ max F (X), Χ<Ξ·β ΤΟ max KF (Ζ) = max λ/7 (Ζ)< λ max/7 (Ζ). (2.7) Ze=G XSQ XsO
324 ПРИЛОЖЕНИЕ HI С другой стороны, λ max F {X) = KF (Χ) < max KF (X). (2,8) X&Q X&G Объединяя (2.7) и (2.8), получим (2.5). Равенство (2.6) доказывается аналогично. III. max [F {X) + С] = max F (X) + С, Χεβ X<=G min [F (X) + С] = min F (X) + С. X&G XeG 3ctec& С — произвольная константа. Доказательство предоставляется читателю. IV. | max F {X) | < max | F {X) |, (2.9) X&G X&G \mlnF{X)\^m2ix\F{X)\. (2.10) X&G X&G Доказательство. Имеем |maxF(X)| = |F(J)|<max|F(X)|. X&G X^G Тем самым доказано неравенство (2.9). Неравенство (2.10) является следствием (2.9) и (2.2). Действительно, \minF(X)\ = \-max{-F{X))\<:max\-F{X)\ = X&G X^G X&G = max\F{X)\. X&G V. m2ix[Fl(X) + F2(X)]<:maxFl(X) + maxF2{X), (2.11) X&G X&G X&G max [Fx (X) + F2 (X)] > max F{ {X) + maxF2 {X), (2.12) X&G X^G X&Q где Q = {X&G\Fl{X) = max Fx (Z)}. Доказательство. Неравенство (2.11) очевидно. Докажем неравенство (2.12). Для этого надо заметить, что функция F{{X) на Q постоянна, и воспользоваться
НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 325 соотношением, III. Получим max [F{ (Χ) + F2(X)] > max [Fx (X) + F2(X)] = Υ a f* Υ ex f\ = maxF,(X) + maxF2(X). XeO XaQ VI. min [F, (X) + F2 (X)] > min F, {X) + min F2 (X), isC Xe=Q Xe=Q min [F, (X) + F2(X)] < min F, (X) + min F2{X), X^Q ie(! *e=Q, г&? Q, = {X s G IF, (J) = min F, (Z)}. Zee Доказательство этих неравенств предоставляется читателю. VII. | max F, (Ζ) - max F2(X) | < max | F, (X) - F2(X) \, (2.13) хе-а х&а x&a | min F, (X) - min F2 (X) |< max [ F, (X) - F2 (X) |. (2.14) Xea X&Q Xec Доказательство. В силу (2.11) имеем max F, {X) < max F2 (X) + max | F, (X) - F2 (X) |, maxF2(^)<max/71W + max|f2(;0-/7iWl· ' *€=<? *es<5 *€=G Отсюда очевидным образом следует (2.13). Для доказательства неравенства (2.14) надо воспользоваться (2.13) и (2.2). VIII. |min max F^X) — min max Фг(Х)|< X&G Ш{0:М) X^G i^[0:N] <max max | F, (*) - Φι (*) I- Доказательство. Нетрудно понять,что функции <р{{Х)= max Ft(X) и φ2(#)= max Ф^*) te[0:W] i<a[0:N] непрерывны на G. Учитывая (2.14) и (2.13), получим |min max F{(X) — min тахФ<(^)1^ <тах|ф1(1)~ф2(Х)|<тах max | Ft(X)-Ф*(X)I, что и требовалось доказать.
326 IX. ПРИЛОЖЕНИЕ III (mzx\F{X)\)2 = max(F{X))\ X&G X<=G (mm\F{X)\? = min(F(X)f. X&G XeO (2.15) (2.16) Доказательство. Имеем (max\F(X)\Y = (\F(X')\Y^max(F(X)f. (2.17) X<sG X&G С другой стороны, для всех ХеС (F(X)Y = (\F(X)\f^(mzx\F(Z)\Y. Отсюда следует, что max (F (X)Y < (max \F(X)\ f. (2.18) Объединяя (2.17) и (2.18), получим (2.15). Равенство (2.16) доказывается аналогично. Заметим, в частности, что в силу (2.15) max | F (X) \ = , Лпах (F (Ζ))2 X€=G \ Xt=G X. Если G = \J Gk, то maxF{X)= max sup F(X), (2.19) XeG k&llir) X^Gk minF(X)=* min ihf F(X). (2.20) X&G k^{\:r] X&Gk Доказательство. Поскольку для всех έε[1 :г] maxF(x)> sup F(X\ X<=G XeEGk TO maxf(X)>max sup F(X). (2.21) XeG ke={\ :r) X^Gk С другой стороны, если X — точка, в которой достигается максимум F{X)h2l G, to X принадлежит одному из Gk, например Gx. Поэтому maxF(X) = F(Z)<sup F(X)< max sup F(X). (2.22) jfeG ^eGj fce[l:r] X^Gk Объединяя (2.21) и (2.22), получим (2.19).
НЕПРЕРЫВНО 'ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 327 Равенство (2.20) доказывается аналогично. 2. Пусть ^(^ — непрерывная на отрезке [с, d] функция. Тогда имеют место следующие соотношения. XI. maxF(/)= max F{— ζ), max F (t) = max F (c + 4^ (* — *Λ · (2·23) Докажем для примера равенство (2.23). Зафиксируем /0 s [с, с£] и положим Очевидно, г0 е [α, β]. Теперь имеем Поскольку последнее неравенство справедливо для произвольного t0 е [с, d], то max F (t) < max F (с + |—- (2 — α))." (2.24) c<*<d α<ζ<β ν Ρ~"α / Докажем обратное неравенство. Пусть ζ е [α, β]. Положим *~* + -jEif(2-a). Очевидно, ?е[с, d]. Теперь имеем F(c + {^(z--a))=F(i)^maxF(t). Поскольку последнее неравенство справедливо для произвольного ζε[α, β], то max Wc + £=^ (ζ - α)) < max F (t). (2.25) Объединяя (2.24) и (2.25), получим (2.23). § 3. Непрерывно дифференцируемые функции 1. Лемма 3.1. Пусть функция F(X) непрерывна и имеет непрерывные частные производные первого порядка на открытом множестве Ω' с: Еп. Тогда для произвольных ХеЙ' и g^En, ||g|| — It при достаточно
328 ПРИЛОЖЕНИЕ III малых α справедлива формула F(X + *g) = F(X) + a(^£P-9 g) + o(X, g; α), где dF(X) _ ( dF (X) dF (X) \ dX ~[ дхг ' "" дхп j и o(X, g, а) — величина, для которой равномерно по g, || g || = 1, выполняется соотношение о(X* g; α) .л α α-ю' υ' Доказательство. Положим при фиксированных X к g h(a) = F(X + ag). (3.1) Функция одной переменной' А (а) имеет непрерывную производную в окрестности точки а = 0, причем, как нетрудно проверить, A-eo-F^.*)· <м> Запишем для ft (а) формулу Ньютона — Лейбница α Α(α) = Α(0) + jh'{t)dt. (3.3) о Эту формулу можно переписать в другом виде α ft (α) = Λ (0) + aft' (0) + J* [ft' (t) - ft' (0)] Λ. (3.4) о Учитывая (3.4), (3.1) и (3.2), получим F(X + aS)=F(X) + a (iffi-, g) +
НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 329 Введем обозначение О ' Для завершения доказательства леммы осталось установить, что равномерно по g, ||g||=l, Это немедленно следует из неравенства и непрерывности вектор-функции dF(X)/dX в окрестности точки X. Лемма доказана. Замечание 1. Пусть Χ^Ω' и X + tg <^Ω' при t e [0, а], а > 0. Из (3.3) по теореме о среднем для интегралов следует, что при некотором τ, 0 < τ < α, будет Λ(α) = Λ(θ; + αΛ'(τ). (3.5) Учитывая (3.1), (3.2) и (3.5), получим F(X + ag)^F(X) + a(dF^^ ,g), где 0 < τ < α. Замечание 2. Если Мей'- ограниченное замкнутое множество, то найдется такое а0 > 0, что для всех а е [0, а0] будем иметь F(X + ag) = F(X) + a(-2^,g) + o(X,g;a), где °(*'/;а) -£5о*° равномерно по Х*=М и ge=£„, 2. Пусть функция F(X) задана на некотором открытом множестве Ω' с: £„. Говорят, что функция F (X) дифференцируема в точке X е Ω', если существует такой вектор V {Х)9 что для
330 ПРИЛОЖЕНИЕ III всех g<^En, || g || = 1, будет F (Χ + <xg) = F (X) + a(g,V (X)) + ο (Χ, g; a), (3.6) о (X, g: α) Λ где a ΊΓ^ό*0 равномерно по g. Функция F (X) называется непрерывно дифференцируемой на Ω', если она дифференцируема в каждой точке этого множества и вектор-функция V {X), фигурирующая в (3.6), непрерывна на Ω'. В лемме 3.1 было, по существу, установлено, что если функция F(X) непрерывна и имеет непрерывные частные производные первого порядка на открытом множестве Ω', то она непрерывно дифференцируема на Ω'. Приведем еще одно достаточное условие непрерывной дифференцируемости. Лемма 3.2. Пусть для всех X е Ω' и g e £n>|| g ||=1, выполняется соотношение jFffl.Alim Fd + m-FW.^y^ (3.7) °8 a-»+0 a где вектор-функция V (X) непрерывна на Ω'. Тогда функция F (X) является непрерывно дифференцируемой на Ω', причем dF(X) дХ V(X). Доказательство. Зафиксируем g, Hg||=l, и Χ0&Ω'9 и рассмотрим функцию одной переменной h(a) = F{X0 + ag). (3.8) Поскольку J0e Ω'', то найдется δ > 0 такое, что Xq + <*>gеΩ' при ое(-6, б). Докажем, что функция Λ (α) имеет непрерывную производную на (— о, б). Действительно, в силу (3.7) lim ~-ίΜα + β)-Α(α)] = - Umo j [F ((X0 + ag) + £g)-F (XQ + ag)] = = (g, V(X0 + ag)). (3.9)
НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 33! С другой стороны, Urn *<« + »)-*(«>« β->-ο Ρ = _ lim F «χο + α£> + (~ Ρ) <- g» - ^ (*q + og)" _ β-»-ο *"β = _ lim /y((^o + ag) + Y(-g))-/y№ + gg) = = -(-8>V(X0+ag)) = {g9V{X0 + ag)). (ЗЛО) Таким образом, функция А (а) в любой точке интервала (-— б, 6У имеет производную слева и производную справа, причем эти односторонние производные совпадают. Значит, А (а) имеет обычную производную в каждой точке интервала (— δ, δ), причем в силу (3.9) и (ЗЛО) h'{a) = (g9V(X0+ag)). (ЗЛ1) Учитывая непрерывность вектор-функции V(X) на Ω', заключаем, что А'(а) непрерывна на (—б, б). Запишем для функции А (а) формулу Ньютона — Лейбница a A(a) = A(0)+ J Α7(ΟΛ- ο a = Λ (0) + aA' (0) + J* ψ (t) - W (0)] dt. о В силу (3.8) и (ЗЛ1) эту формулу можно переписать иначе ^(*ο+α*)«*(*α) + α(ί. V(XQ)) + o(X0, g; α), (ЗЛ2) где a o(Xo, g, a)= Jfc. V(X0 + tg)-V(X0))dt. 0 Нетрудно понять, что о (Xq> gi a) . n равномерно по g, \\g\\=l> Отсюда следует, что функция F(X) дифференцируема в произвольной точке
332 ПРИЛОЖЕНИЕ III Χ0&Ω'. Учитывая непрерывность функции V(X), входящей в формулу (3.12), заключаем, что F(X) непрерывно дифференцируема' на Ω'. Формула дХ —у^ло) следует из соотношения (3.12), если в нем в качестве g взять поочередно все координатные орты. Лемма доказана. 3. Лемма 3.3. Пусть функция F(X) непрерывна и имеет непрерывные частные производные до 1-го порядка включительно на открытом множестве Ω' с: Еп. Тогда для фиксированных X = (xif ..., ^jeQ' и g = ==:(fifi» ···> ёп)> II511= It n>Pu достаточно малых α справедлива формула Р(Х + аё) = Р(Х)+%^1^+о(Х,ё;а'), где dkF(X) _ γ dkF (Χ) dgk ~ 2и дх. ... dxiu 8*ι ··· 6lk и о (X, g; а1) — величина, для которой равномерно по g, \\g\\ssal9 выполняется соотношение Доказательство. Функция одной переменной h(a) = F(X + ag) (3.13) в окрестности точки а = 0 имеет непрерывные производные до /-го порядка включительно, поэтому при достаточно малых α справедлива формула Маклорена /-ι k h (α) = h (0) + J-ξρΛ^ (<>) + *, (α), (3.14) *«1
НЕПРЕРЫВНО ДИФФЕРЕНЦИРУЕМЫЕ ФУНКЦИИ 333 где остаточный член /?/(а) может быть представлен в виде /?ι(α) = 7f-A(/)(T), 0 < Ι τ |< Ι α Ι, (3.15) или О Положив Ri(*) = ^hm{0) + o(X9 g\ a% где α о(Х, g; оО—π=Τ5Γ'/(α""τ)Ι""^Λ<0(/) "~Α<0<0)1Λ' (ЗЛ6) О будем иметь в силу (3.14) ' k h (α) » h (0) + J] ΊΓ hik) (°) + ° (*> ίϊ «0- Ο· 17) *—ι Теперь заметим, что на основании (3.13) /-1 ' ft (0)_ -j a*, dx, Siteit—sp-' /,. /2=1 Ί '2 /,W^_ V ^ (*) „ „ df_dlF(X) ()~,,.Д-,а'л···^ "■-'"—W- Подставляя эти формулы в (3.17), получим F(* + ag) = JF(X) + J-SJ-i^gL + c^, *; a'). Для завершения доказательства леммы осталось установить, что равномерно по gy ||g||=l, -^4^-^Γο^Ο. (3.18)
334 ПРИЛОЖЕНИЕ ТИ В силу (3.16) имеем \о(Х9&а*)\< <V" max Ζι " /«Hoi, |o|] i-\ η dlF(X + tg) dlF(X) дх* ... dxf dxf ... дх, Теперь (3.18) следует из непрерывности на Ω' всех частных производных /-го порядка функции F{X). Лемма доказана. Замечание. Введем обозначение / d2F {X) d2F(X)* wvold*ldx> "\ дх\д*п дх* \ д2р (X) d*F (Χ) \ дхп дх\ ' ' * дхп дхп Тогда будем иметь d2F(X) df \л d2F{X) (d2F{X) \ /0 im Пусть X s Ω' и X + yg € Ω' при γε [0, α]. Положив в (3.14) / = 2, получим на основании (3.15) и (3.19) F(X + ag) = d/v\ ι fdF(X) \ , a2/W(*+T£) \ где 0<τ<α.
ПРИЛОЖЕНИЕ IV НАХОЖДЕНИЕ БЛИЖАЙШЕЙ К НАЧАЛУ КООРДИНАТ ТОЧКИ МНОГОГРАННИКА. ИТЕРАТИВНЫЕ МЕТОДЫ 1. Пусть в n-мерном евклидовом пространстве Еп задано конечное множество точек H = {Zjf{mmV Обозначим через L выпуклую оболочку, натянутую на Я: L = \Z = 2α^ α*>0, 2at=lf. ι *=ι I t=i . J Очевидно, L является ограниченным замкнутым выпуклым множеством. Через Z* будем обозначать ближайшую к началу координат точку множества L: (Z\ Ζ*) = min (Z, Ζ). Нетрудно показать, что точка Z* e L существует и единственна. Кроме того, для любого Ζ^L выполняется неравенство (см. лемму 1.3 из Приложения II) (Z,Z*)>(Z\ Г). (1) Нашей целью является описание двух методов последовательных приближений для нахождения точки Ζ*. 2. Лемма 1. Для любых V, Z&L выполняется неравенство (V, Z)> min (Ζί, Ζ). (2) Доказательство. Пусть Тогда (V, Ζ) =2 αΗ^, Ζ)> [min (Ζ<, Ζ)]2αί= min (Zi9Z). i=l is[!:s] (S| (6[I:j]
336 ПРИЛОЖЕНИЕ IV Лемма доказана. Для любой точки Z^L введем величину δ(Ζ): δ(Ζ)=={Ζ, Ζ)- min (Z„ Ζ). fell;*] В силу (2) ό(Ζ)>0. Лемма 2. Для любого Z^L выполняется неравенство || Ζ-ПК min {^бЩ, IIΖ ||}. Доказательство. Неравенство ||Ζ-ΖΚΐ/ό(ΖΤ (3) эквивалентно следующему неравенству: {Z-Z\Z-Z*)-{Z,Z)+ tain (Z„ Z)<0, ie[i:5] или после простейших преобразований -2(Г, Z) + (Z\ Z*)+ min (Z„ Z)<0. /e[i:s] Справедливость последнего неравенства следует из (1) и (2). Действительно, -2(Ζ·,Ζ) + (Ζ·,Ζ·)+ tain (Ζ,,Ζ)- /sll:s] = {(Г, Г)-(Ζ, Z*)} + { min (Ζ„ Ζ)-(Г, Ζ)}<0. ie[l:s] Неравенство (3) точное. В ситуации, изображенной на рис. 35, неравенство (3) обращается в равенство. Докажем теперь, что Π Ζ - Г 1KB Ζ 0. (4) m Неравенство (4) следует из (1). ι Действительно, ^-^ | 2(Z, Г)>2(Г, Ζ·)>(Ζ% Г). О Отсюда Рис. 35. (Ζ, Ζ)-2 (Ζ, Ζ*)+(Ζ*, Ζ*)^(Ζ, Ζ), что эквивалентно (4). Заметим, что неравенство (4) также точное. Оно обращается в равенство, когда Ζ* = 0, τ. е. когда начало координат принадлежит L. Объединяя (3) и (4), получим требуемое.
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 337 Лемма доказана. Следствие 1. Если последовательность точек {Vk}, Vk^L> k = Q, 1, 2, ..., такова, что &{Vk) к^^0, то Очевидным образом следует из (3). Следствие 2. Если последовательность точек {Vk}, Vk^Ly k = 0, 1, 2, ..., такова, что и существует такая подпоследовательность [VkA, что Доказательство. Поскольку числовая последовательность {||К*||} не возрастает и ограничена снизу, то она имеет предел С другой стороны, в силу (3) Таким образом, ||Vk\\-^^>||Z*|[. В силу единственности Z* (если ZsLh ||Z|| = ||Z*||, то Ζ —Ζ*) любая сходящаяся подпоследовательность последовательности {Vk} имеет пределом Z\ Отсюда следует, что вся последовательность {Vk} сходится к Z*. Утверждение доказано. Теорема 1. Для того чтобы точка Ζ е L была ближайшей к началу координат точкой множества L, необходимо и достаточно, чтобы δ(Ζ) = 0. Доказательство. Достаточность следует из (3). Необходимость. Пусть Ζ —Ζ*. Тогда, во-первых, δ(Ζ*)>0. (5)
338 ПРИЛОЖЕНИЕ IV С другой стороны, в силу (1) для любого is[l:s] будет (Ζ*, Г)>(Г, Г), ибо Zi&HczL. Отсюда min (Zi9 Z*)>(Z*, Z*), или, что то же самое, ό(Ζ*)<0. (6) Объединяя (5) и (6), получим требуемое. Теорема доказана. 3. Первый метод последовательных приближений. В качестве начального приближения VQ возьмем любую точку из L (в частности, в качестве V0 можно взять точку Ζιύ из Я, для которой (Ζίο> Ζίο)= min (Zi9 Ζι)). Пусть уже найдено k-e приближение Vk e L. Опишем построение V*+I. Обозначим через Zk точку множества Я, для которой (ZkfVk)= min(Z„ К,) (если таких точек несколько, берем любую из них). В этом, случае MV*) = {Vk-Zk,Vh). (7) Рассмотрим отрезок Vk(t) = Vk + t(Zk-Vk)9 0<ί<1. (8) Пусть tk, O^^^l, определяется соотношением (Vk(tk),Vk(tk))= min(Vh(t)9Vh(t)). is [0.1] Положим 7Λ+ι==νΑ(/Λ) (рис. 36). Очевидно, 7HlsI.
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 339 Продолжая описанный процесс, получим последовательность Fj^gL, β=0, Ι, 2, ..., причем II ^+ι 1KB Г* II. (9) Лемма 3. Справедливо предельное соотношение \imb{Vk) = 0. Доказательство. Заметим, во-первых, что в силу (7) и (8) {vk{t\ vk(t))={vk,vk)-m<yk) + nzh-vkf. (ίο) Будем использовать обозначение δΑ, = 6(ΚΛ). Допустим, что утверждение леммы не имеет места. Тогда найдется подпоследовательность [Vkj}> для которой όΛ/>ε>0. Имеем в силу (10) (Vkj(t), Vkj(t))<(Vkr ^)-2fc + W, где rf= max ||Z —V||>0. Z, V^L Отсюда следует, что для /0 = niin< -Jp 1 > (очевидно, 0</0^l) будет выполняться неравенство Учитывая, что по определению (VV+i, VV+t)^ ^(VkiQ* Ук-{Щ> получим равномерно по 6/ (7*/+ь Vkj+l)^(Vkj, КЛ/)-<ов. (11) Последнее неравенство немедленно приводит нас к противоречию. Действительно, в силу (9) числовая последовательность {|| Vk |p} не возрастает и ограничена снизу. Значит, она имеет предел причем IIК*|р>μ, Ά = 0, 1, 2,... (12)
340 ПРИЛОЖЕНИЕ IV Выберем kj столь большим, чтобы выполнялось неравенство Тогда получим в силу (11) что противоречит (12). Лемма доказана. Теорема 2. Последовательность {Vk}, построенная описанным выше методом, сходится к точке Z*. Доказательство очевидным образом следует из леммы 3 и следствия 1 из леммы 2. Замечание. Если при некотором k оказалось, что b(Vk) = 0, г. е. Vk = Z*> то для всех /=1, 2, ... будет 4(Уа+/) = 0, так что Vk+l = Z*. Следует из (10). 4. Обозначим через Ξ множество векторов А вида S А = (а{, ..., as); а<>0, 2аг==1. Положим Ζ{Α)=ΣαίΖι\ Z(A)<=L Введем величину Δ (Л): А(Л)= max (Ζ,,ΖίΛ))- min (Z„ Z(Л)). (13) [i\at>Q\ *<=[l:s) Через /' = /'(Л) обозначим индекс, на котором достигается максимум в правой части (13) (если таких индексов несколько, берем любой из них). Таким образом, аг > 0 и (Zr, Z(A)) = max (Z/f Z(Л)). {*|at.>0} Лемма 4. Для любого вектора Ζ (А), ЛеВ, с/гра- ведливы неравенства α.,Δ(Λ)<δ(Ζ(Λ))<Δ(Λ).
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 341 Доказательство. Заметим, что (Ζ(Λ), Ζ(Λ))-Σα,(Ζ„ Ζ(Λ))< max (Z„ Ζ(Λ)). Отсюда следует неравенство δ(Ζ(Λ))<Δ(Λ). Обозначим через Ζ^, /" = /"(Л), точку множества Я, для которой (Z,*, Z(i4))= min (Zit Z (A)). /ε[Ι:5] В этом случае A(A) = (Zr-ZrtZ(A)). (14) Положим Α = (ά{, ..., ciJeS, где . 0, / = i'; α* Очевидно, Z(i)-ZM) + ar(Zr-Zr). (15) Поскольку Z(i4)eL, то имеем в силу (2) (Z(A)tZ(A))> min (Ζ*, Ζ (Л)). (16) Учитывая (16), (15) и (14), получим ό(Ζμ))>αΓΔΗ). Лемма доказана. Теорема 3. Для того чтобы точка Ζ(Α)> ^εΞ, была ближайшей к началу координат точкой множества L, необходимо и достаточно, чтобы Д(Л) = 0. Доказательство очевидным образом следует из леммы 4 и теоремы 1. 5. Второй метод последовательных приближений. Выберем произвольным образом вектор У10еЗ и положим VQ ==Z (Л0). Пусть уже найдено &-е приближение Vk eX,
342 ПРИЛОЖЕНИЕ IV Опишем построение Vk+l. Прежде всего найдем векторы Zj' и Z{» из Η такие, что V k ι (ii4 >0} В этом случае ^4Ak) = {Zik-Z^Vky (17) Рассмотрим отрезок VkW = Vh+t$4Zf-ZAt. 0</<l. (18) Λ \ к к) Пусть ^, 0<^<1, определяется соотношением = min(Vk(t),Vk(t)). Положим 7Λ+, = Vk (tk) (рис. 37). Нетрудно проверить, что Vk+x=Z{Ak+l), где ΛΑ+ι-Κ+Ι)·····α?+ι,)ε8· α(*+ι> = Рис. 37. а(к) (fe) , „(ft) ;_;'. /г /г αί" » *Λ >l Ьк% В дальнейшем для простоты будем использовать следующие обозначения: a'k = αΤ· Zk = ζϊ> ^* = 2*"# Продолжая описанный процесс, получим последовательность {Vk}> Vk&L, fc = 0, 1, 2, ·.., причем IIVVnlKtinil. (19) Лемма 5. Справедливо предельное сооотношение lima^ = 0. (20)
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 343 Доказательство. Заметим, йо-первых, что в силу (17) и (18) _ (МО. М0)«(и4, Ук)-*К\ + *2(*'ь12ь-2'ЛГ· (М) Допустим, что утверждение леммы не имеет места. Тогда найдется подпоследовательность {Vkj), для которой < Δ, > ε >0. Имеем в силу (21) для всех t е [0, 1] равномерно по kj (Пу (t)> Vkj (<)) < (К*,. V*,)- 2te + *2d2, где d= max ||Ζ; — ZJ|>0. /,pe[l:s] Последнее неравенство вместе с (19) немедленно приводит нас к противоречию (см. доказательство леммы 3). Лемма доказана. Лемма б. Справедливо равенство Итд* = 0. (22) Доказательство. Допустим противное: ton Δ*==Δ'>0. (23) Тогда для достаточно больших k > К\ будет "Δ*>τ-:- (24) Учитывая (20), заключаем, что "£т^о. ;(25) Обозначим через F* точку, в которой {Vk{t)y Vk(t)) достигает глобального минимума. Очевидно (см. (21)), ak\\z В силу (24) и (25) ?*~~ «'117 -7rf ι*~Τ- -> 00.
344 ПРИЛОЖЕНИЕ IV Отсюда и из (21) следует, что для достаточно больших k>K^K\ минимум (Vk(t), Vk{t)) на отрезке 0</<1 достигается при f*=l, так что для этих k Vk+l = Vk + a'k(Zk-Z>k). (26) Пусть [Vk,} — подпоследовательность, для которой -*Δ'. (27) ч Прореживая, если нужно, подпоследовательность {^*Л> можно добиться выполнения следующих условий: Ι· Φ]-τμ^^ tell: *1 В этом случае II. Zkj = Zs=H. Это значит, что min (Zif Vki) для всех kt дости- гается при одном и том же ί: III. Zfkj=-Z'ей, Таким образом, (Ζ'. У»,)- max (Z,.Z(A,)). {l|«i*/>>0} Учитывая (27) и свойства I — III подпоследовательности {Vk,}, нетрудно показать, что· {Z'-Z, F) = A'. (28) Введем обозначения: р*= min^XZ,, Г), я;={2г11ея|(^,*г)=р*}, н; = н\н\. Для того чтобы Z{ e Я*, необходимо и достаточно, чтобы (z„n>P*. Заметим, что Z^H*V a Zf e Я*. Это следует из II и (28).
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 345 Положим р'« min (Z„ П. Р'>Р*; τ = min {Δ', ρ' —ρ*}. Заметим, что для kt e H\ будет (Ζ„η>ρ· + τ. (29) Выберем δ0 > 0 так, чтобы из неравенства || V — V*||< б0 следовало max|(Z„ K)-(Z„ Щ<т· (30) Возьмем любой номер kjt для которого \Vk — V*| < 60. Тогда *i(^,)<=*;. (so где Я, (У4/) - {Z, е Я | (Z„ Vki) = ;ш (ZZ, Kfe/)}. Действительно, пусть Zt& Hi(Vk\ Тогда в силу (30) (Z„ К*) = (Z„ К4/) + (Z„ Г - К,у) = в| min ^ (Z„ К4/) + (Z„ V* - К*,) = ρ* + (Z|f V - Vkf) + + f min (Z„ КО - min (Z„ Щ <P* + (*i. ^ - Г*,) + + max |(Z„ Vkj)-{Zh Щ<Р* + т· Учитывая (29), заключаем, что Zt e #*. Таким образом, соотношение (31) доказано. Выберем теперь такой индекс .&/> /С, чтобы выполнялись следующие условия: а) Δ*>Δ' — j для £>£,; б) |ν4/-ν·|<Α; в) iLa*/+^-*^ 25"·
346 ПРИЛОЖЕНИЕ IV где d = max || Zx — Zp || > 0. 1,рЩ\:з) Выполнения неравенства в) можно добиться в силу (25). Учитывая (26), запишем для pG[l : s]: ρ _ Заметим, во-первых, что на основании в) 2 /=1 так что в силу б) для ре[1 : s] будет цп/+Р-п<б0. Отсюда следует, что для тех же ρ ", (V>)с я·· (32) (Доказательство аналогично доказательству соотношения (31).) Далее для всех Ζ^Η\ и pe[l:s] выполняется неравенство (Ζ„ ^/+ρ)<Δ' + ρ*--£. (33) Действительно, (Zi, Vkj+p) = {Zt, V) + (Z„ V~H< <ρ· + -Ι<Δ'+ρ*—|. Теперь легко доказать, что для одного из Vk,+P, pe[l:s], будет max (Zb η,+Ρ)<Δ' + ρ*--^-. (34) Μ*'+ρ>>ο} Действительно, если для какого-нибудь ρ неравенство (34) не выполняется, то в силу (33) Zkj+p^Hz. ..
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 347 Учитывая (26) и (32), заключаем, что в представлении Vk ,+ρ+ι вектор Z'k}+p будет иметь нулевой коэффициент, а для вводимого в представление вектора Zk +p выполняется неравенство (33). Поскольку множество #2 состоит не более чем из (s— l)-ro вектора, а для всех вводимых в представление векторов выполняется неравенство (33), то найдется р' е[1 : s], для которого будет выполняться неравенство (34). С другой стороны, min (Zh VW)>p·-!· (36) Таким образом, в силу (34) и (35) получаем bk,+?= max (Zu Vk.+A — — min (Zu 7*/+P')<A' — ~, что противоречит а). Лемма доказана. Теорема 4. Последовательность {Vk}> построенная выше, сходится к точке Z*. Доказательство очевидным образом следует из лемм 6 и 4 и следствия 2 из леммы 2. Замечание. Если при некотором k оказалось, что Δ^ — 0» т. е. Vk = Z*t то для /=1,2, ... будет Д*+/—0> так что Vk+j = Z*. Следует из (21). в. Отметим некоторые особенности второго метода последовательных приближений. Введем гиперплоскость G: G={Z\(Z,Z*) = (Z\Z*)}. Теорема 5. Если Ζ* φ О, т. е. начало координат не принадлежит L, то, начиная с некоторого номера k, будет Доказательство. Заметим, что в силу теоремы 1 min (ZifZ*) = {Z*,Z*). i€=[l:s]
348 ПРИЛОЖЕНИЕ IV Положим H^iZtZB Η \(Zh Z*) = {Z\ Г)}, #2= # \ #, ={Z* e= // |(Z„ Г) > (Г, Z*)}. Если Η2 — пустое множество, то Vk e G для всех &= =0, 1, 2, ... Поэтому в дальнейшем будем предполагать, что #2 — не пустое множество. Введем обозначение: τ= min (Zh Г) - (Ζ*, Г) > 0. Поскольку Vk fe>00> Z*, то для достаточно больших номеров к > /Ci будет max ΚΖ,,^-ίΖι,ηκ!. Нетрудно, показать, что для тех же к>К\ выполняются соотношения H{(Vk)czHl9 (36) (Ζ„ν*Χ(Ζ·,Ζ·) + -£, если ^еЯ, ^^ХГ.Л + т» если Ζ,€=#2. Отсюда следует, что если в представление Vk, k > Kl9 входит с ненулевым коэффициентом Zt e #2, то Δ*>1· (37) Пусть К*- Σ αί»Ζ,+ Σ а\к%. В силу определения Н{ и τ (η-Ζ*,Ζ*)= Σ α№-Ζ*,Ζ')>τ 2 а(Д Поскольку левая часть этого неравенства стремится к нулю при &->оо, то Σ αΡ'-τ^Ο.
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 34$ Выберем столь большое К>Кц чтобы для k^K выполнялось неравенство Σ α?]<Ήϊ> (38) {'I *,«*,) где d= max \\Zi~ Z/||>0. Zi<=HvZJe=H2 Обозначим через tk точку, в которой (Vk(t)t Vk(t)) достигает глобального минимума. Если в представление К*, k^K, входите ненулевым коэффициентом точка Zt еЯ2, то в силу (37) и (38) получим Отсюда следует, что Vk+\ = Vk + о* (Zk — Zk). Теперь нетрудно показать, что в представлении вектора VK+S отсутствуют (имеют нулевые коэффициенты) векторы Zi e #2 (см. доказательство леммы 6). Учитывая (36), заключаем, что для всех k^K + s будет откуда очевидным образом следует, что (V*, Z*)=(Z*, Z*), т. е. Vk^G. Теорема доказана. Теорема 6. При k -> <χ> выполняется предельное соотношение Δ*-*0. Доказательство. Если Ζ* = 0, то утверждение теоремы следует из определения Δ* и того, wo II К* II s+z* о· Поэтому будем считать, что Ζ* φ 0. В силу теа- ремы 5 для k^K + s будет ν*- Σ Λ<; al»>o. Σ βί»-ι. {< I 2, β Я,} {Ί^β^,}
350 ПРИЛОЖЕНИЕ IV Кроме того, H{(Vk)czHlt Отсюда следует, что Δ* < max (Zt·, Vk) — min (Zit Vk). Правая часть этого неравенства в силу определения Нх стремится к нулю при &->оо. Таким образом, и Δ*-^^0' ибо Δ*^0. Теорема доказана. Положим IIV* II ^k ЦТ/,.|i2 » Я 0, 1, 2, . . Если ||7А|| = 0, то по определению считаем, что Aft = oo. Теорема 7. Для того чтобы начало координат принадлежало множеству L, необходимо и достаточно, чтобы при всех & = 0, 1,2, ... выполнялось неравенство Δ*>1. (39) Доказательство. Необходимость. По условию Ζ* = 0. Учитывая, что Vk e L, получим в силу лемм 2 и 4 Afe ^6(Ffe) II^H2 ^ ll^ll2 Достаточность. Допустим, что Ζ* φ 0. Имеем Δ* Δ&<· \\Ζ *„2 В силу теоремы 6 Afe—jpj^O, что противоречит (39). Теорема доказана. Итак," если Z* = 0, то ЦУ^|| fe>oo>0 и при всех £=0, 1,2, ... выполняется неравенство Δ*>^ 1. Если же Г Φ 0, то || К* || > || ГЦ и Δ^^^Ο. ^Бсли при некотором k выполнилось неравенство Ak< 1, то в силу теоремы 7 начало координат не принадлежит множеству Z,. Более того, нетрудно показать, что в этом случае гиперплоскость (Κ*,Ζ)-(ΚΛ,Ζ*)«0 строго отделяет начало координат от множества L.
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 351 7. Продолжим рассмотрения, связанные со вторым методом последовательных приближений. Пусть Vk = Z{Ak)9 Л^Н. Положим /4-{/И»>0}. Введем множество Вк: Bk = [Z = Zio + ^2 άί(^-^0)|α^(~οο, οο)1 I i Φ h I J Здесь /0 — произвольный фиксированный индекс из Jk. Очевидно, В*—-'выпуклое множество. Обозначим через Vk вектор из Bk с наименьшей нормой: ||К»И- min ||Ζ||. Z*Bk Заметим, что точка Vk e Bk единственна, хотя неединственным может быть ее представление в виде Vk = ZiQ+ Σ «/(Ζ<-Ζ<0). i Φ Η Нетрудно показать, что числа at-, i е Jk, i Φ /0, являются решением следующей линейной системы: fZio + i Σ α, (Ζ, - Z,o), Zy - ΖΛ = 0, /€=/*, }Φι0. (40) Ι «>ίο ' Теорема 8. Существует бесконечная подпоследовательность векторов {Vk,} такая, что при всех kj будет Vkj = Z*. Доказательство. Будем считать, что Ζ* Φ О (если Ζ* = 0, то доказательство лишь упрощается). Выделим вначале такую подпоследовательность {У*Л» чтобы I. a\kfl fe,^ΟΘ-» ajj*, /g[I : 5]; в этом случае II. V^. e G (см. теорему 5). i=l
35.2 ПРИЛОЖЕНИЕ IV Положим Г = {/|а;>0}. Очевидно, что при достаточно больших kj будет /•с=/*у. (41) В дальнейшем только такие &/ и рассматриваются. Через L* обозначим выпуклую оболочку, натянутую на точки Zit i e /*. Очевидно, Z* e I*. Через Lk. обозначим выпуклую оболочку, натянутую на точки Zi, i^Jk. В силу (41), II и определения множества Bkj имеем V czLkic:Bkt<=.G. || Ζ* ||-min || Ζ ||< min ||Z||. Поскольку Ζ* € L*, το Ζ* <= fife/. Значит, ||Щ= min || Ζ ||. ZGBkf Учитывая, что точка множества Bk., имеющая наименьшую норму, единственна, получаем vkJ-r. Теорема доказана. На основании этой теоремы можно утверждать, что нахождение ближайшей к началу координат точки множества L сводится к решению конечного числа систем линейных уравнений вида (40). Заметим, что решать эти системы целесообразно лишь для тех kt для которых величины || Vk || или Δ& достаточно малы. 8. Полученные выше результаты допускают обобщение. Рассмотрим вектор V~Z{A), AgE, и пусть ρ (К)- min (Z„V). При фиксированном се[0, 1] введем множество F^F,{Z{A)) = {Z^H\ai>01 (Z,, V)- p(V) > сЦА)}.
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 353 Положим далее где Υί= Σ α*. Введем величину h.c (V): bc{V) = (V'e,V)- min (Zi,V). Из определения следует, что \(V)^Ac(V)>cA(V). В частности, A(V) = A,(V). Нетрудно проверить, что . 6(F) = A0(V). Действительно, если с = 0, то γο = 1, Vq — V, так что Ao(V)=>b(V). Лемма 7. £сли 0 ^ С! ^ с2 ^ 1, го (Эля любого век- тора V — Z{A), ЛеВ, выполняется неравенство Доказательство. Очевидно, что ^=>^2> Усг>Усш- (42) Имеем в силу (42) и определения множества F<.: + Р(Ю) Σ «/-7-(c2A(l/)+p(K)) J «< =
854 ПРИЛОЖЕНИЕ IV Итак, (V'*-V'cl9 К)>0, откуда очевидным образом следует утверждение леммы. Лемма доказана. Теорема 9. Для того чтобы тонка V —Z(Л), Лей, была ближайшей к началу координат точкой множества L> достаточно, чтобы при некотором сб[0, 1], и необходимо, чтобы при всех с е= [0, 1] выполнялось равенство Следует из соотношений δ (V) - Δ0 (V) < Δ, (V) < ΔΙ (V) = Δ (V) и теорем 1 и 3. 9. В заключение опишем еще один метод нахождения ближайшей к началу координат точки множества L, являющейся обобщением первого и второго методов последовательных приближений. Зафиксируем некоторое се [0, 1]. Возьмем произвольным образом вектор i40eS и положим V0 = Z(A0). Пусть уже найдено &-е приближение Vk e L, ^-Z(44),^-(oi».....ai1»»)eS. Опишем построение ν*+ι· Найдем вектор Zk^H, для которого _ (Zk9Vk)= min (ZhVk). (Если таких векторов несколько, берем любой из них.) Рассмотрим отрезок Vk(t) = Vk + tyk(Zk-Vk}> 0</<1, где {i\Zi*Fc(Vk)} {*\Ζι*Ρ€(νΗ)} Заметим, что
НАХОЖДЕНИЕ БЛИЖАЙШЕЙ ТОЧКИ МНОГОГРАННИКА 355 Через tk, 0<^<!1, обозначим число, определяемое соотношением (Vk(tk), Vk(tk))= min (Vk(t), Vk(f)). Положим Vk+{ = Vk(tk). Нетрудно показать, что η+ι = ΖμΗι), где Λ+ι=(α(,*+,),..., a? + 1))eS. Если Zk&Fe{Vh), то a\k\ если Zi £ Fe(V*). Zt ψ Zb a\k) — tka{t\ если Ζ* e= ftf (К*), at>ik) + tk\k> если Z,=2b Если же Zfe e ^ (Кл), то |a<» если Zt&Fe(Vk), 0j*+i) ю j ajw _ ^ajW> если Zt e Fc (ΚΑ),Ζ, ^ ZA, [α?)_/4α») + /Λ, если Z, = ZA. Продолжая описанный процесс, получим последовательность {Vk}> Kftel, β = 0, 1,2, ..., причем ΙΙΚ*+ιΙΙ<ΙΙ^Ι|. Если с — О, то γΛ=1, ^ = 1^, и мы приходим к первому методу последовательных приближений. Пусть £=1. В этом случае Λ (И*) = {Zi €S Я |aife) > 0, {Zt - Zk, Vk) - Δ (Κ*)}· Любая точка множества F{ (Vk) может быть взята в качестве Z'k (см. п. 5), так что при с = 1 получается естественное обобщение второго метода последовательных приближений. Сформулируем основные результаты, относящиеся к общему методу. Теорема 10. При Л-*оо выполняется предельное соотношение vk->r.
356 ПРИЛОЖЕНИЕ IV Теорема 11. Если Ζ*φΰ и се(0, 1], то, начиная с некоторого номера k, будет где G={Z\{Z,Z*) = {Z*,Z% Доказательство этих утверждений вполне аналогично доказательству теоремы 4 и 5. 10. Описанные в пп. 3 и 5 методы плохо сходятся, когда начало координат принадлежит многограннику L· В связи с этим рекомендуется делать следующее. Вна-' чале решить задачу линейного программирования в пространстве векторов W = {a{9...9 ast и): найти minu при условиях ivf-KO, *е[1:л], — Σ aizk] "" и <°> * е [1 : я]» s 2«ί—1"» ^>0, /e[l:s]; и>0, где Ζ, =(г{*\ . ♦. > 2^) — точки из Я. Обозначим через №0 = (а(,0), .··, а<.0), и(0)) решение этой задачи. Нетрудно проверить, что OgL тогда и только тогда, когда «(О) =0. Если н(0) = 0, то Z* = 0. Если же и{0) > 0, то для нахождения Z* можно воспользоваться первым или вторым методами последовательных приближений, взяв в качестве начального приближения точку Zq= i ctj Z;, /«ι где вектор (α*0*, .·., α(50)) составлен из первых s координат вектора WQ. Заметим, что во многих случаях достаточно найти первый элемент последовательности {Vk}, сходящейся к Z*, для которого min (Ζ, Vk) •iV*Vk) ^Oy где 0<θ<1 (см. § 9 гл. III). Такая точка Vk может быть найдена в конечное число шагов.
ДОБАВЛЕНИЕ О ЗАДАЧЕ МАНДЕЛЬШТАМА В этом Добавлении приводится пример численного решения одной непрерывной минимаксной задачи. 1. Постановка задачи. Положим Z = {zv z2, ...» £η+ι) ^ £*λ+ρ и + 1 №„(Z>0=2cos(H+.z*), Φ„(Ζ)= max \Wn(Z,t)\. t <= [—π, π| Требуется минимизировать функцию Φη{Ζ) на Еп+Х. 2. Предварительные рассмотрения. Прежде всего, заметим, что Φη(ζί9 г2 ζη+{) — непрерывная на Еп+[ функция, 2тс-периодическая по каждому аргументу. Поскольку «nf Φ„(Ζ) = inf Φ„(Ζ), ζ<ΞΕη+ι zs(3n+i где Qrl+l={Z=(2'1,2г2 *я+|)| —π<*Λ<*, ke[U я+1]} — ограниченное замкнутое множество, то инфимум Φη(Ζ) на Еп+{ достигается, т. е. существует точка Ζ*, для которой ФЯ(Г) = inf Φη(Ζ). Ze£n + i Далее, справедливы соотношения: I. max Φη(Ζ) = Φ„(0) = (η+1)2. II. ΦΛ(-Ζ) = ΦΛ(Ζ). III. При любом вещественном λ ΦΛ(Ζ + λρ) = ΦΛ(2), где ρ = (1, 2 л+ 1). Докажем, например, равенство III. Поскольку максимумы 2я-периодической функции на любых двух
358 ДОБАВЛЕНИЕ отрезках длиной 2π равны, то Фп {Ζ -f λρ) = max t е= [-π,π] я+1 2 COS (kt + Zk + λ&) *=1 = max n+1 = Φ«(2), что и требовалось доказать. Лемма. Если через Z{s) обозначить произвольный {п+ \)-мерный вектора у которого s-я координата равна нулю у то для любого se[l :n+ 1] будет min On(Z) = mmOn(Zis)\ {ζ} {гЩ Доказательство. Очевидно, mmOn(Z)^min(&n(Zis)). {ζ} {2Щ (О Далее, произвольный вектор Ζ = (z[t z2 гп+1) можно представить в виде Ζ = (Ζ —у- р\ + — р. Так как zS s-я координата вектора Ζ -ρ равна нулю, то в силу III Ф„ (Ζ) = Ф„ (ζ - -^ ρ) > min Φη (Z(s)). Отсюда следует, что minO„(Z)>minO„(Z(s)). Ю {z<*>} (2) Объединяя (1) и (2), получим требуемое. Лемма доказана. В дальнейшем будем считать, что z{=0. 3. Результаты вычислений. Введем обозначения ^ = (*ι> · · ·> *п) ^Еп, Vn (Χ, ί) = cos / + Σ cos {(k + l)t + xk), φη(Χ)= max \Vn{X, t)\, /<=[-π, π] R (X) = {/ e [- η, π] | V„ (Jf, /) = φ„ (Χ)},
О ЗАДАЧЕ МАНДЕЛЬШТАМА 359 и будем решать следующую задачу, эквивалентную исходной: минимизировать функцию φη(Χ) на Еп. В табл. 4 приведены результаты вычислений для яе[1 :5] (в четвертом столбце t*&R(X*)y При η = 1 и η = 2 вектор X* является точкой глобального минимума функции φη{Χ) на Еп\ при η е [3 : 5] гарантируется лишь, что X* есть точка строгого локального минимума. Таблица 4 η 1 1 2 1 3 I 4 1 5 X* 1,570 796 2,859 712 2,146 750 1,396 481 1,072 719 -1,209 531 1,084 832 2,087 535 -0,250345 -1,277 773 1,927 212 2,311026 -2,514 500 2,102 134 1,076 190 R(X*) -2,506 726 -0,634 867 -0,840 986 1,399 331 2,707 688 -1,991 906 -0,083 577 1,860 299 2,769 081 -1,874 150 -0,953 170 0,833 524 1,545 230 2,277 249 -1,881 850 -1,058 158 -0,481 051 0,249 616 0,855 029 1,988 655 у*Р-Ъ -1,760 173 1,760173 1,979 806 1,979 806 -1,979 806 -2,039 103 2,039 103 2,039 103 -2,039 103 -2,343 516 1 2,343 516 -2,343 516 2,343 516 -2,343 516 -2,549 372 1 2,549 372 2,549 372 -2,549 372 2,549 372 2,549 372 4. О методе решения. При п=1 легко найти точное решение задачи: Х* = п/2. При п — 2 и я = 3 разными способами было получено начальное приближение Х0, которое обладало следующим свойством: в ε-полосе {<е[-Я,я]|Л(^-|7я(40К·}, где ε = 0,01, содержалось ровно п+ 1 точек локального максимума функции \Vn{XQ, t)\. Обозначим эти точки
360 ДОБАВЛЕНИЕ через tf\ /e[l :/!+ 1]: — π<ίι <ί2 < ... < Γη-и ^5 я. При я е [4 : 5] для получения хорошего начального приближения рассматривали дискретную минимаксную 4>πν(χ)= max vl(x> *д-у min > где /£ = — π+ l~ff· Положив N = 400 и ε = 0,05, находили ε-стационарную точку Х0 функции φηΝ (X). Отметим, что множество {*1\%мМ-у1{Х*'*д<* Vl(X0, ti)>V2n(Xo, <<-i); VliXo, ίζ)>νΙ{Χο9 tw)} состояло из п+ 1 точек: — π<ίΐ <. Г2 < ... <i/i+l^:3t. На втором этапе при всех пе[2: 5]производили выравнивание максимумов, которое заключалось в решении следующей нелинейной системы (2п + 1)-го порядка: <*kVn{X, yk) - Ok+iVAX* Ук+ι) = 0, k s [1: я], 1 V*(*>*/*) = 0, fee[l: λ+1]. J w Здесь a^ — sign νη{Χο, 40))> a неизвестными являются Для решения системы (3) использовалась специальная модификация метода Ньютона, предложенная Б. Ф. Митчеллом. В качестве начального приближения брали точку, составленную из компонент вектора Х0 и чисел tf\ ..., *{?+!. Обозначим решение системы (3) через а:*, ..., я*, /ρ ^, ..., ί*+ι. Тогда вектор Х* = (л;* л:*) является стационарной точкой функции φ„ (J), а числа f |, t*v .. . ·»·> C+i образуют экстремальный базис R(X*). Выполнение условия ^ tta|y»(*'.Ql 0 2<а< Έχ = 0 при некоторых а/>0, 2 <*/= 1, гарантировало то, что Я* является точкой строгого локального минимума функции %{Х).
КОММЕНТАРИИ И БИБЛИОГРАФИЯ Принцип выбора оптимальных значений параметров на основе минимизации максимального уклонения был предложен П. Л. Чебы- шевым и подробно описан в его классическом мемуаре [80]. Предисловие Задача Мандельштама как пример минимаксной задачи ветре- чается в работе Н. Г. Чеботарева [79]. Теория матричных игр подробно освещена в монографиях С. Карлина [39] и Дж. фон Неймана и О. Моргенштерна [57]. Глава 1 Дискретная задача наилучшего приближения функций алгебраическими полиномами рассматривалась Валле-Пуссеном [6]. В частности, Валле-Пуссену принадлежит идея построения теории наилучшего приближения на основе чебышевской интерполяции. Им же разработан алгоритм построения полинома наилучшего приближения, описанный в § 3. ^-алгоритм предложен в [49]. К § 5. Первая геометрическая интерпретация задачи о наилучшем приближении (теорема 5.1) имеется в книге Е. Я. Ремеза [65]. Сведение задачи о наилучшем приближении к задаче о крайней точке пересечения оси с многогранником осуществлено, вероятно, впервые Г. Ш. Рубинштейном [70]. М. Д. Калашников [35] и И. И. Этерман [84] изучали с разных точек зрения полиномы (2.9). В частности, в [84] эти полиномы используются для решения различных задач вычислительной математики. Глава II В этой главе рассматривается принципиальный вопрос о переходе от дискретной задачи к непрерывной. Предельные теоремы (§ 3) и метод последовательных чебышевских интерполяций Е. Я. Ремеза (§ 4) можно найти в монографии [65]. Близкие вопросы обсуждались в [64 и 4]. При некоторых дополнительных предположениях теорема 5.1 о сходимости сеточного метода была доказана еще Валле-Пуссеном. Приводимое в книге доказательство предложено в [50]. Относительно теоремы 5.2 см., например, [4]. Понятие плохой обусловленности полиномов было введено Б. А. Самокишем. Ему же принадлежит теорема 6.1 и другие более тонкие результаты о поведении коэффициентов полиномов наилучшего приближения, опубликованные в [72].
362 КОММЕНТАРИИ И БИБЛИОГРАФИЯ Глава III Принципиальным достижением последних лет в теории минимаксных задач является вывод формулы производной по направлению для функции максимума. Эта формула в некоторых частных случаях была получена в [10 и 61]. В общем случае она установлена в работах [14, 15, 17—19]. Теорема 2.2 доказана в [20]. К § 3. Теоремы 3.1 и 3.2 были, по существу, известны еще Н. Г. Чеботареву [79]. Выражение для направления наискорейшего спуска функции максимума (теорема 3.3) получено в [20]. К § 4. Некоторые из приведенных здесь оценок имеются в [18]. К § 5. Идея метода наискорейшего спуска восходит еще к Коши [44] и Адамару [1]. Детально этот метод был изучен в 40-х годах Левенбергом [47], Л. В. Канторовичем [37] и Карри [40]. Для случая непрерывно дифференцируемых функций и метод покоординатного спуска, и метод наискорейшего спуска приводят к стационарной точке. В минимаксных задачах, как показано в основном тексте, дело обстоит хуже. Пример «заедания» метода наискорейшего спуска взят из [23]. Хороший обзор работ по методу наискорейшего спуска имеется в статье Г. Дж. Келли [41]. К § 6. Первый метод последовательных приближений был опубликован в [18]. Описанная в п. 5 модификация этого метода по идее близка к алгоритму Зойтендейка [30—32] и С. И. Зуховицкого, Р. А. Поляка, Μ. Ε. Примака [33]. К § 7. В одном частном случае минимаксных задач метод, описанный в п. 1, рассматривался в [3]. К § 8. D-метод был предложен в [21, 23]. К § 9. Теория линейного программирования подробно излагается в [16, 34 и 85]. О методах минимизации функции одной переменной см. [75]. В [2] имеются программы, оформленные в виде процедур на языке АЛГОЛ-60, которые могут быть использованы для решения минимаксных задач. О других методах решения дискретных минимаксных задач, в частности о методах второго порядка см. [86]". Глава IV Сопряженные конусы для формулировки необходимых условий экстремума впервые были использованы А. Я. Дубовицким и А. А. Милютиным [28, 29]. Теорема 3.1. по существу, установлена в [61, 62] (см. также [51]). К § 5. Некоторые из приведенных здесь оценок имеются в [18]. Глава V Эта глава содержит результаты применения общей теории, развитой в главах III и IV, к обобщенной задаче математического программирования. Теория решения задач математического (или оптимального, нелинейного) программирования в настоящее время бурно развивается. Мы не имеем возможности дать здесь подробную библиографию по этому вопросу; отметим лишь монографии [32, 39, 54, 71], работы [-12, 48] и обзор Кюнци и Эттли [46], где имеется обширный список литературы.
КОММЕНТАРИИ И БИБЛИОГРАФИЯ 363 К § 2. Условие Слейтера было сформулировано в [73]. К § 5. Теорема Куна и Таккера (для случая N == 0) опубликована в [45]. Различные обобщения этой теоремы приведены, например, в монографии С. Карлина [39]. §§ 6—9 написаны на основе [20, 22]. К § 10. Идея штрафных функций встречается в [41]. Дальнейшие результаты о применении метода штрафных функций к решению минимаксных задач получены в [8, 9]. К § И. Другие методы решения задач нелинейного программирования разработаны в [67—69, 82, 83 и 60]. Глава VI В §§ 2—3 полученные в главах III—V результаты обобщаются на непрерывный случай. По этому поводу см. [18, 51, 61]. Теорема 3.3 является частным случаем одной общей теоремы Л. Г. Шнирельмана [81] (см. также [74]). Необходимым условиям экстремума посвящены работы [7, И, 26, 28, 29, 36, 54, 59, 63]. К § 4. Теорема 4.1 о сходимости сеточного метода опубликована в [52]. К § 5. Относительно теоремы о минимаксе см., например, [39]. § 6 написан на основе [24]. О других методах нахождения сед- ловых точек см. [13, 27, 57, 66]. Как известно [16, 57], матричные игры эквивалентны задачам линейного программирования. К § 7. Идея доказательства теоремы 7.1 о существовании полинома наилучшего приближения заимствована из [38]. Теорема 7.2 установлена в [43, 5, 58]. Вопрос о сходимости сеточного метода в задаче о наилучшем приближении функции нескольких аргументов исследовался в [53]. К § 8. Тот факт, что теорема Чебышева является следствием теоремы 2.2, был замечен еще Н. Г. Чеботаревым [79]. Приложение I Доказательство приведенных здесь результатов по алгебраической интерполяции можно найти, например, в [56]. Приложение II При написании этого приложения использовались монографии [39 и 76]. Приложение III Более подробную информацию по изложенным здесь вопросам можно найти в [77]. Приложение IV Относительно первого метода последовательных приближений см. [78, 25, 42]. Второй метод предложен в [55]. Добавление Написано Е. Ф. Войтоном, В. Н. Малоземовым и Б. Ф. Митчеллом.
ЛИТЕРАТУРА 1. Адам ар (Hadamard J.), Memoire sur le problem d* analyse re- latif a Tequilibre des plaques elastiques encastrees, Mem. pres. Acad. Sci. France 2 33, № 4 (1908). 2. Алгол-процедуры. Методические материалы по программному обеспечению ЭВМ под ред. И. В. Романовского, ВЦ ЛГУ, 1971, вып. 9, Ротапринт. 3. Б и ρ з а к Б., Пшеничный Б. Н., О некоторых задачах минимизации негладких функций, Кибернетика, № 6 (1966), 53—57. 4. Б у ρ о в В. Н., Некоторые эффективные способы решения задачи П. Л. Чебышева о наилучшем приближении, Известия высших учебных заведений, Математика, № 1 (1957), 67—79. 5. Б у ρ о в В. Н., Об аппроксимации функций полиномами, удовлетворяющими нелинейным связям, ДАН СССР 138, № 3 (1961), 515—517. 6. Валле-Пуссен (Valee Poussin J. Ch.), Lecons sur Гаррго- ximation des fonctions d'une variable reelle, Paris, 1919. 7. Г e ρ μ e й e ρ Ю. Б., Необходимые условия максимина, Журнал выч. матем. и матем. физики 9, № 2 (1969), 432—438. 8. Г е ρ м е й е ρ Ю. Б., Приближенное сведение с помощью штрафных функций задачи определения максимина к задаче определения максимума, Журнал выч. матем. и матем. физики 9, № 3 (1969), 730—731. 9. Г е ρ м е й е ρ Ю. Б., К задаче отыскания максимина с ограничениями, Журнал выч. матем. и матем. физики 10, № 1 (1970), 39—55. 10. Г и ρ с а н о в И. В., Дифференцируемость решений задач математического программирования, Тезисы докладов Всесоюзной межвузовской конференции по применению методов функционального анализа к решению нелинейных задач, Баку (1965), 43—45. 11. Г ирс а нов И. В., Лекции по математической теории экстремальных задач, Изд-во Московского университета, 1970. 12. Голь штейн Е. Г., Выпуклое программирование (Элементы теории), «Наука», 1970. 13. Данскин Дж. М., Итеративный метод решения непрерывных игр, Сб. «Матричные игры», Физматгиз, 1961, 123—132. 14. Данскин (Danskin J. M.), The theory of max-min, with applications, SIAM J. on Applied Math. 14 (1966), 641—664. 15. Данскин (Danskin J. M.), The theory of max-min and its application to weapons allocation problems, Springer-Verlag, New York Inc., 1967. 16. Данциг Дж., Линейное программирование, его обобщения и применения, «Прогресс», 1966.
ЛИТЕРАТУРА 365 17. Демьянов В. Φ., К минимизации максимального уклонения, Вестник ЛГУ, Кя 7 (1966), 21—28. 18. Демьянов В. Ф., К решению некоторых минимаксных задач, I, II, Кибернетика, № 6 (1966), 58—66, № 3 (1967), 62—66. 19. Демьянов В. Ф., Метод последовательных приближений для решения одной минимаксной задачи, Тезисы кр. научн. сообщений Международного конгресса математиков, Секция 14, М. (1966), 31. 20. Демьянов В. Ф., Algorithms for some minimax problems, J. Computer and System Sciences 2, № 4 (1968), 342—380. 21. Демьянов В. Ф., К задаче о минимаксе, ДАН СССР 187, №2 (1969), 255—258. 22. Демьянов В. Ф., К разысканию минимакса на ограниченном множестве, ДАН СССР 191, № 6 (1970), 1216—1219. 23. Д е м ь я н о в В. Ф., Дифференцирование функции максимина. I, III, Журнал выч. матем. и матем. физики 8, № 6 (1968), 1186—1195; 10, № 1 (1970), 26—38. 24. Д е м ь я н о в В. Ф., Нахождение седловых точек на многогранниках, ДАН СССР 192, № ι (1970), 13—15. 25. Д е м ь я н о в В. Φ., Ρ у б и н о в А. М., Минимизация гладкого выпуклого функционала на выпуклом множестве, Вестник ЛГУ, № 19 (1964), 5—17. 26. Д е м ь я н о в В. Φ., Ρ у б и н о в А. М., Приближенные методы решения экстремальных задач, Изд. ЛГУ, 1968. 27. Д ρ е ш е ρ Μ., К а р л и н С, Решение выпуклых игр методом неподвижных точек, Сб. «Бесконечные антагонистические игры», Физматгиз, 1963, 180—194. 28. Д у б о в и ц к и й А. Я., Μ и л ю τ и н Α. Α., Задачи на экстремум при наличии ограничений, ДАН СССР 149, № 4 (1963), 759—762. 29. Д у б о в и ц к и й А. Я., Μ и л ю τ и н Α. Α., Задачи на экстремум при наличии ограничений, Журнал выч. матем. и матем. физики 5, №3 (1965), 395—453. 30. Зойтендейк (Zoutendijk G.), Maximizing a function in a convex region, J. Roy. Statist. Soc, Ser. B, 21 (1959), 338—355. 31. Зойтендейк (Zoutendijk G.), Nonlinear programming: A numerical survey, SIAM J. on Control 4 (1966), 194—210. 32. Зойтендейк, Методы возможных направлений, ИЛ, 1963. 33. 3 у χ о в и ц к и й С. И., Π о л я к Р. Α., Π ρ и м а к Μ. Ε., Алгорифм для решения задачи выпуклого программирования, ДАН СССР 153, № 5 (1963), 991—994. 34. 3 у χ о в и ц к и й С. И., А в д е е в а Л. И., Линейное и выпуклое программирование, изд. 2-е, «Наука», 1967. 35. Калашников М. Д., О полиномах наилучшего квадратичного приближения в заданной системе точек, ДАН СССР 105 (1955), 634—636. 36. Канторович Л. В., Об одном эффективном методе решения некоторых экстремальных проблем, ДАН СССР 28 (1940), 212—215. 37. К а н τ ο ρ о в и ч Л. В., О методе наискорейшего спуска, ДАН СССР 56 (1947), 233—236. 38. К а н τ ο ρ о в и ч Л. В., А к и л о в Г. П., Функциональный анализ в нормированных пространствах, Физматгиз, 1959.
366 ЛИТЕРАТУРА 39. К а р л и н С, Математические методы в теории игр, программировании и экономике, «Мир», 1964 40. Карри (Curry H. В.), The method of steepest descent for nonlinear minimization problems, Quart. Appl. Math 2, № 3(1944), 258—261. 41. Келли Генри Дж., Метод градиентов, Сб. «Методы оптимизации» под ред. Дж. Лейтмана, «Наука» (1965), 244— 306. 42. К о з и н е ц Б. Н., Об одном алгоритме обучения линейного пер- септрона. Сб. «Вычислительная техника и вопросы программирования», вып. 3 (1964), 80—83. 43. К о л м о г о ρ о в А. Н., Замечания по поводу многочленов П. Л. Чебышева, наименее уклоняющихся от заданной функции, УМН 3, № 1 (1948), 216—221. 44. Коши (Cauchy A. L.), Methode generate pour la resolution des systemes d'equations simultanees, Compt. rend. Acad. Sci. 25 (1847), 536—538. 45. К у н, Τ а к к е ρ (К u h η Η Μ., Τ и с k e r A. W.), Nonlinear programming, Proceedings of the second Berkeley Symposium on Mathematical Statistics and Probability, Univ. of California Press, Berkeley (1951), 481—491. 46. Кюнци, Эттли (Kunzi Η. P., Oettli W.), Nichtlineare Optimierung: Neuere Verfahren Bibliographie, Springer-Verlag, Berlin — Heidelberg — New York, Л969. 47. Левенберг (Levenberg Κ. Α.), A method for the solution of certain nonlinear problems in least squares, Quart. Appl. Math. 2 (1944), 164—168. 48. Левитин Ε. С, Поляк Б. Т., Методы минимизации при наличии ограничений, Журнал выч. матем. и матем. физики 6, № 5 (1966), 787—823. 49. Μ а л о з е м о в В. Н., К нахождению алгебраического полинома наилучшего приближения, Кибернетика 5 (1969), 125—131. 50. Μ а л о з е м о в В. Н., О сходимости сеточного метода в задаче наилучшей полиномиальной аппроксимации, Вестник ЛГУ, № 19 (1970), 138—140. 51. Μ а лоз ем о в В. Н., К теории нелинейных минимаксных задач, Кибернетика 3 (1970), 121—125. 52. Μ а л о з е м о в В. Н., О сходимости сеточного метода в нелинейных минимаксных задачах, Вестник ЛГУ, № 19 (1971), 35—37. 53. Μ а л о з е м о в В. Н., Наилучшее равномерное приближение функций нескольких аргументов, Журнал выч. матем. и матем. физики 10, № 3 (1970), 575—586. 54. Μ а н г а с а р я н (Mangasarian О. L.), Nonlinear programming, McGraw-Hill Book Company, Inc., New York — Toronto — London, 1970. 55. Митчелл Б. Ф., Демьянов В. Φ., Μ а л озе м о в В. Н., Нахождение ближайшей к началу координат точки многогранника, Вестник ЛГУ, № 13 (1971), 38—45. 56. Μ ы с о в с к и χ И. П., Лекции по методам вычислений, Физмат- до, 1962. 57. Нейман Дж. Φ., Μ о ρ г е н ш τ е ρ н О., Теория игр и экономическое поведение, «Наука», 1970.
ЛИТЕРАТУРА 367 58. Η ико л ьск и й В. Н., Характеристический признак наименее уклоняющихся элементов в выпуклых множествах, Сб. «Исследования по современным проблемам конструктивной теории функций», Изд. АН Азерб. СССР, Баку (1965), 80—84. 59. Ньюстад (Neustadt L. W.), An abstract variational theory with applications to a broad class of optimization problems, I, II, SIAM J. on Control 5 (1966), 505—525; 5 (1967), 90—137. 60. Π о л я к Б. Т., Один общий метод решения экстремальных задач, ДАН СССР 174, № ι (1967), 33—36. 61. Пшеничный Б. Н., Двойственный метод в экстремальных задачах, I, II, Кибернетика 3 (1965), 89—95; 4 (1965), 64—69. 62. Π ш е н и ч н ы й Б. Н., Выпуклое программирование в нормированном пространстве, Кибернетика 5 (1965), 46—54. 63. Π ш е н и ч н ы й Б. Н., Необходимые условия экстремума, «Наука», 1969. 64. Ρ е м е з Е. Я., О методе последовательных чебышевских интерполяций и о различных вариантах его реализации, Украинский матем. журнал 12, № 2 (I960), 170—180. 65. Ρ е м е з Е. Я., Основы численных методов чебышевского приближения, «Наукова думка», Киев, 1969. 66. Робинсон Дж., Итеративный метод решения игр, Сб. * «Матричные игры», Физматгиз, (1961), 110—117. 67. Розен (Rosen J. В.), Nonlinear Programming. The gradient projection method, Bull. Amer. Math. Soc. 63 (1957), 25—26. 68. Розен (Rosen J. В.), The gradient projection method for nonlinear programming, Part I. Linear Constraints, Part II. Nonlinear constraints, SIAM J. on Appl. Math. 8 (1960), 181—217; 9 (1961), 514—532. 69. Розен (Rosen J. В.), Gradient Projection as a least squares solution of Kuhn — Tucker conditions, July 1965, Univ. of Wisconsin, TR. 70. Рубинштейн Г. Ш., Задача о крайней точке пересечения оси с многогранником и ее приложение к исследованию конечной системы линейных неравенств, ДАН СССР 100 (1955), 627—630. 71. Рубинштейн Г. Ш., Конечномерные модели оптимизации. Курс лекций, Новосибирский университет, 1970, Ротапринт. 72. С а м о к и ш Б. Α., О поведении коэффициентов многочленов, приближающих регулярную на отрезке функцию, Сб. «Методы вычислений», Изд. ЛГУ, вып. 1 (1963), 58—65. 73. Слейтер (Slater Μ.), Lagrange multipliers revisited. A contribution to nonlinear programming, The RAND Corp. RM-676 (1951), Santa Monica, California. 74. С μ и р н о в / В. И., Лебедев Η. Α., Конструктивная теория функций комплексного переменного, «Наука», 1964. 75. Уайлд Д. Дж., Методы поиска экстремума, «Наука», 1967. 76. Φ а д д е е в Д. К., Φ а д д е е в а В. Н., Вычислительные методы линейной алгебры, Физматгиз, 1960. 77. Φ ихтен го л ьц Г. М., Курс дифференциального и интегрального исчисления, т. 1, Физматгиз, 1962. 78. Фра нк, By л φ (Frank M., Wolfe P.), An algorithm for quadratic programming, Naval Res. Logist. Quart. 3 (1956), 93— 110.
368 ЛИТЕРАТУРА 79. Ч е б о т а р е в Н. Г., Об одном критерии минимакса, ДАН СССР 39 (1943), 373—376 (см. также Собр. соч., т. 2, Изд. АН СССР, 1949). 80. Ч е б ы ш е в П. Л., Вопросы о наименьших величинах, связанных с приближенным представлением функций, Собр. соч., т. II, Изд. АН СССР (1947), 151—238. 81. Шнирельман Л. Г., О равномерных приближениях, Изв. АН СССР, сер. матем., 2, № 1 (1938), 53—59. 82. Шор Н. 3., Применение обобщенного градиентного спуска в блочном программировании, Кибернетика 3 (1967), 53—55. 83. Шор Н. 3., Обобщенный градиентный спуск, Труды первой зимней школы по математическому программированию в г. Драго- быче, вып. 3, М. (1969), 578—585. 84. Э τ е ρ м а н И. И., Аппроксимация полиномами и решение некоторых задач прикладной математики, Изд. Пензенского политехи, ин-та, 1960. 85. Юдин Д. Б., Г о л ь шт е й н Е. Г., Линейное программирование, Физматгиз, 1963. 86. Д е м ь я н о в В. Φ., Μ а л о з е м о в В. Нм К теории нелинейных минимаксных задач, УМН 26, № 3 (1971), 53—104.