ЖУРНАЛ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ФИЗИКИ, 2015, том 55, № 10, с. 1637-1645
УДК 519.642.8
ИТЕРАЦИОННЫЕ МЕТОДЫ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ ДЛЯ РЕШЕНИЯ НЕРЕГУЛЯРНЫХ НЕЛИНЕЙНЫХ ОПЕРАТОРНЫХ УРАВНЕНИЙ
© 2015 г. А. Б. Бакушинский*, М. Ю. Кокурин**
(* 117312 Москва, пр-т 60-летия Октября, 9, Ин-т системного анализа РАН; ** 424000 Йошкар-Ола, пл. Ленина, 1, Марийский гос. ун-т) e-mail: bakush@isa.ru; kokurinm@yandex.ru Поступила в редакцию 20.01.2015 г. Переработанный вариант 28.03.2015 г.
Строятся и исследуются итерационные методы решения нерегулярных нелинейных операторных уравнений в гильбертовом пространстве в условиях случайных помех, использующие усреднение входных данных. Задание числового значения дисперсии помех не предполагается. В качестве базовых используются итеративно регуляризованный метод нулевого порядка для уравнений с монотонными операторами и итеративно регуляризованные методы типа Гаусса—Ньютона для уравнений с произвольными гладкими операторами. Устанавливается среднеквадратичная сходимость вырабатываемых приближений к искомому решению, либо стабилизация итераций в среднеквадратичном смысле в малой окрестности решения. Библ. 24.
Ключевые слова: нерегулярное уравнение, нелинейный оператор, итерационные методы, итеративная регуляризация, случайные погрешности, усреднение, среднеквадратичная сходимость, устойчивость.
DOI: 10.7868/S0044466915100051
1. Предметом изучения в работе является проблема аппроксимации элемента из множества решений операторного уравнения
F(x) = f, (1.1)
где F: H1 —»- H2 — нелинейный оператор, H1 и H2 — гильбертовы пространства. Обозначим через X* множество решений уравнения (1.1). Всюду далее предполагается, что X* Ф 0 . Пусть x* е X* — интересующий нас элемент из множества решений. Методы стохастической аппроксимации привлекаются для решения уравнений вида (1.1) в том случае, когда оператор F и (или) правая часть f заданы со случайными погрешностями. Исторически первым методом этого класса был метод Роббинса—Монро (см. [1])
xn +1 = xn - Yn(Ф(Х„,Ю„) - fn), Yn > 0 lim Yn = 0 (L2)
n ^ да
предназначенный для решения уравнений регрессии Еф(х, ю) = f в пространстве H1 = H2 = R. Здесьfn есть случайная аппроксимацияf, Efn = f, n = 0, 1, ... . Конструкция метода (1.2) и его более поздних модификаций (см., например, [2], [3]) предполагает, что в ходе процесса имеется возможность провести неограниченное число независимых измерений ф(хп, юп), fn, n = 0, 1, ... . Подходящая регулировка шага y„ обеспечивает сходимость вырабатываемых приближений xn к искомому решению x* п.н. или в среднеквадратичном. С практической точки зрения существенно, что сходимость достигается без привлечения детальной априорной информации о распределениях ф(х, ю) и fn. Достаточными являются, например, весьма общие требования квадратичного роста Еф2(х, ю) по x и равномерной ограниченности по n дисперсий E(fn — f)2, при этом значения констант, входящих в оценки, процессы стохастической аппроксимации не используют. В дальнейшем были построены обобщения процедур (1.2) для уравнений (1.1) в пространстве Rn и произвольном гильбертовом пространстве H1 = H2 (см. [4]). Отметим, что сходимость методов сто-
1637
хастической аппроксимации для уравнений (1.1) в случае конечномерного или гильбертова пространства H1 достигается за счет жестких условий на структуру нелинейности оператора F. В качестве типичного примера укажем условие
(F(x) - F(x*), x-x*)H >k||x-x*\\2Hi Ух e H1, к> 0, (1.3)
означающее сильную монотонность оператора F относительно точки x*. Условие (1.3) обеспечивает среднеквадратичную сходимость простейшей схемы стохастической аппроксимации для уравнения (1.1) в гильбертовом пространстве H1 (см. [4]). Здесь и далее через (•, -)Xи || • ||Xобозначаются, соответственно, скалярное произведение и норма пространства X.
Объектом нашего интереса являются нелинейные уравнения вида (1.1), оператор которых не удовлетворяет условиям сильной монотонности (1.3), в случае дифференцируемости этого оператора его регулярность также не предполагается. Следуя [5], оператор F и определяемое им уравнение (1.1) называем регулярным, если для всех точек х из некоторой окрестности решения x* непрерывно обратим оператор F'(x), либо оператор F*(x)F'(x). В отсутствие свойств сильной монотонности и регулярности оператора F задача (1.1) в общем случае оказывается некорректной. Некорректные операторные уравнения со случайными ошибками в задании (F, f) имеют разнообразные приложения в прикладных обратных задачах и привлекают в последние годы растущее внимание исследователей (см. [6]—[8]). Сложившийся в настоящее время подход к построению и исследованию итерационных методов решения нерегулярных уравнений с зашумленными данными сводится к тому, что на первом этапе устанавливается сходимость изучаемого процесса при отсутствии погрешностей, после чего в конструкции процесса точные данные заменяются имеющимся приближением, детерминированным или стохастическим. Если для определения входных данных (F, f) производится единственное измерение, предшествующее расчетам, то сходимость получаемого процесса {xn} при n —► да, как правило, отсутствует. Поэтому в качестве приближения к решению выбирается элемент итерационной последовательности с некоторым конечным номером n = N(5), зависящим от уровня 5 погрешности данных (F, f) и, возможно, от самих приближенных данных. Во многих случаях точность ||xN(5) — x* ||H получаемого приближения xN(g) удается оценить в терминах уровня погрешности 5 (см., например, [5]). Как видим, реализация описанной общей схемы предполагает наличие точной информации об уровне погрешности задания (F, f). В случае стохастической погрешности с нулевым средним в качестве уровня шума 5 обычно выступает величина среднеквадратичного отклонения случайных аппроксимаций элементов задачи. Однако практическое получение указанной величины зачастую требует проведения трудоемких дополнительных экспериментов, особенно в случаях многомерного и бесконечномерного пространства H2. В этом отношении процедуры типа стохастической аппроксимации, не предполагающие априори задания каких-либо статистических характеристик случайных погрешностей, выглядят привлекательной альтернативой методам итеративной регуляризации, построенным по вышеописанной классической схеме. Возможность проведения серии независимых измерений, синхронных с итерациями, является естественной платой за получение в пределе точного решения x* при отсутствии априорных данных о распределении случайных ошибок.
В последующих построениях ограничимся случаем, когда оператор F в (1.1) задан точно, а случайным ошибкам подвержена лишь правая частьf Будем считать, что на итерации с номером n становится доступной реализация случайного элемента^ пространства H2, аппроксимирующего точный детерминированный элемент f e H2. Случайные элементы fn предполагаются независимыми, имеющими математическое ожидание f и среднеквадратичные отклонения, равномерно по n ограниченные сверху некоторой величиной 5, значение которой может быть неизвестно. Такая модель погрешностей характерна для задач адаптивного управления системами, характеристики которых определяются в ходе реализации итерационного процесса, см., например, [9].
При построении методов стохастической аппроксимации в случае нерегулярного монотонного оператора F в качестве базового будем использовать известный регуляризованный итерационный процесс нулевого порядка (см. [10, гл. III, §4]), совмещенный с процедурой усреднения наблюдений^. В применении к уравнениям (1.1) с линейным оператором F(x) = ^x, A e L(H1, H2), такого рода процесс исследовался в [10, гл. II, §6]. В применении к некорректным задачам данная схема усреднения независимых наблюдений впервые, по-видимому, рассматривалась в [11], см. также [12]. Идейно близкие алгоритмы решения монотонных операторных уравнений и выпуклых экстремальных задач с усреднением итерационных точек строились и изучались в [13], [14, гл. V].
Если F — произвольный дифференцируемый оператор, то интересующие нас методы стохастической аппроксимации будем строить с использованием итеративно регуляризованных процессов типа Гаусса—Ньютона (см. [5, гл. 4]), совмещая их с усреднением случайных элементов fn. В конечномерном нелинейном случае методы стохастической аппроксимации с усреднением ранее изучались в [15], [16].
Перечислим основные результаты работы. Если H1 — вещественное гильбертово пространство, оператор F : H1 —H1 в уравнении (1.1) удовлетворяет условию монотонности
(F(x) - F(y), x - y)Hi > 0 Vx, y e H (1.4)
и условию Липшица
IIF(x) - F(y)||h1 < M\x -y\\Hl Vx, y e H, (1.5)
то на базе итерационного процесса из [10, с. 72], предназначенного для приближенного решения уравнения (1.1) в детерминированном случае, можно построить процесс стохастической аппроксимации ближайшей к нулю точки из множества X*. Процесс сходится в среднеквадратичном смысле (см. ниже п. 2).
Если отказаться от условия монотонности (1.4), но предположить гладкость оператора F: H1 —► H2 на выпуклом замкнутом ограниченном множестве Q с H1, содержащем искомое решение x*, именно, наложить условие
||F'(x) - F'(y)||L(Hhh2) < L||x - ylH, Vx, y e Q, (1.6)
то процессы стохастической аппроксимации могут быть построены на базе группы итеративно регуляризованных методов типа Гаусса—Ньютона (см. [5, гл. 4], ниже п. 3). Устанавливается, что вырабатываемые приближения стабилизируются в среднеквадратичном смысле в окрестности решения радиуса 0(5). В обоих случаях величина 5, оценивающая сверху среднеквадратичное отклонение случайного шума, в конструируемых итерационных процессах не используется.
2. Напомним используемые в дальнейшем изложении понятия, относящиеся к случайным элементам в гильбертовом пространстве H (см. [17], [18]).
Пусть (Q, 9, Р) — вероятностное пространство, где Q. = {ю} есть пространство элементарных исходов, 9 есть ст-алгебра подмножеств Q. и Р — вероятность на Q. Рассмотрим гильбертово пространство H с ст-алгеброй В его борелевских подмножеств. Произвольное (9, В) — измеримое отображение ф : Q. —X называ
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.