Автоматика и телемеханика, № 5, 2014
© 2014 г. Ю.С. ПОПКОВ, д-р техн. наук (popkov@isa.ru), А.Ю. ПОПКОВ, канд. техн. наук (apopkov@isa.ru), Ю.Н. ЛЫСАК (yuri.lysak@phystech.edu) (Институт системного анализа РАН, Москва)
ОЦЕНИВАНИЕ ХАРАКТЕРИСТИК РАНДОМИЗИРОВАННЫХ ДИНАМИЧЕСКИХ МОДЕЛЕЙ ДАННЫХ (ЭНТРОПИЙНО-РОБАСТНЫЙ ПОДХОД)1
Предлагается новый подход к определению зависимостей между малыми объемами входных и выходных данных, основанный на использовании рандомизированных динамических моделей и оценивании плотностей распределения вероятностей их параметров. Рандомизированные динамические модели описываются функциональными полиномами Вольтер-ра. Для построения процедур робастного непараметрического оценивания развивается энтропийный подход, использующий функционалы обобщенных информационных энтропий Больцмана и Ферми.
1. Введение
В разных научных дисциплинах разработаны многочисленные методы восстановления зависимостей между массивами данных при специфических для каждого метода гипотезах о свойствах данных [1—7].
В [8, 9] был предложен новый, робастный, подход решения этой проблемы, основанный на рандомизированных моделях данных, вероятностные характеристики которых (функции плотности распределения вероятностей параметров) максимизируют соответствующие энтропийные функционалы. Были введены определения робастных энтропийных оценок и изучены их свойства для рандомизированных статических моделей данных.
Данная работа посвящена робастному энтропийному оцениванию рандомизированных динамических моделей данных(РМД-PQ). Рассмотрены дискретные нелинейные модели, описываемые функциональными полиномами Вольтерра ( [10-12]) со случайными весовыми функциями интервального типа. Для этих функций строятся ^-оценки (см. [9]), исследуются их свойства, и приведен пример модели второй степени при двух измерениях ее входа и выхода.
2. Математическая модель нелинейной динамической РМД-РР
Рассмотрим дискретную динамическую РМД-PQ с конечной «памятью» т, вход которой измеряется точно, а выход — с шумом £[к], где к € € Т = [т, т+в]. Процессы £[к] предполагаются случайными и независимыми.
1 Работа поддержана Российским фондом фундаментальных исследований (проект № 13-07-00129).
Значения случайных переменных £[к] определены на интервалах г, = [£ , £+] и характеризуются плотностями распределения вероятностей ^ ).
Связь между наблюдаемыми входом и выходом описывается дискретным функциональным полиномом Вольтерра Я-й степени [10-12]:
я
(1) и[к] = ^ ^ и(Л)[п1,...,пЛЩ х[к - пг]) + №
Л=1 (щ,...,пь)=0 \
г=1
Функции -ш(Л)[п1,..., п^] — случайные, с независимыми ординатами, принимающими значения в следующих интервалах:
(2) ^(Л) = [в(/1) ехр (-а(^)(щ + ••• + пЛ)) , в+Л) ехр (—а(Л)(щ + ••• + пЛ))
д(й) (Л)
где р± , а± — заданные константы.
Хотя модель дискретной динамической системы описывается нелинейным соотношением (1), ее можно преобразовать к линейной, используя лексикографическое упорядочивание переменных {п1,...,п^}. Получившиеся наборы перенумеруем, в соответствии с лексикографическим правилом, от нуля до = (т + 1)Л — 1. Введем локальный индекс г(Л) € [0,^] и набор
(3)
В соответствии с принятой нумерацией, определим индексацию случайных параметров, соответствующих значениям весовых функций в (1):
(4) ^ ^[пь...,пЛ], ^ € [0А]. Образуем случайный вектор
(5) а(Л) = ^ ,...,а(Л)}. Компоненты вектора а(Л) принимают значения в интервалах:
(6) А(Л)(г(Л)) = [а^(г(Л)), а+Л)(г(Л))" , где согласно (2)
(7)
а^(г(Л))= ехр а+Л)(г(Л))= в+Л) ехр
—г(Л)а(_Л)
—г 'а
+
По аналогии с (3)-(4) введем лексикографическое упорядочивание переменных {к — щ,..., к — п^}, где к — фиксированный параметр и индексы П1,..., пл принимают значения в интервале [0, т]. Для каждого фиксированного к перенумеруем получившиеся наборы в соответствии с (3):
(8) 84
{к — щ,...,к — пЛ} ^ (к,г(Л))
н
т
Тогда в (1) лексикографически упорядоченные произведения переменных ж [к — пг] образуют для фиксированного к вектор
(9)
Таким образом, равенство (1) можно представить в виде
я
(10)
г [к] = (а(^>, х(^>[к]) + {[к],
й=1
где (•, •) — скалярное произведение векторов • и •.
Рассмотрим интервал Т = [т,т + в], в течение которого производятся измерения входа и выхода РМД-PQ в моменты времени т + к, к € [0, в]. Примем следующие обозначения:
(11) х(^>[к] = х(^>[т + к], г [к] = г[т + к], {[к] = {[т + к]; к € [0,в].
Определим матрицы измерений входа, строки которых состоят из векторов (9)
(12) = Гх(Л>[к], к € [0, в]1 , Н € [1, Л], и блочную матрицу X, характеризующую вход РМД-PQ:
(13)
X =
X(1>,...,X(я>
Наблюдаемый выход РМД-PQ и шум характеризуют векторы (14) у = {г[0],..., г[в]}, { = {{[0],..., {[в]}.
Образуем блочный вектор
(15)
а = |а(1>,
,(я>
т
Случайный вектор а (15) характеризуется функцией плотности распределения вероятностей (ПРВ) Р(а), которая, в силу независимости компонент вектора, имеет вид:
я гк
(16)
Р(а) = П ГШ^>)
й=1г=0
где р(^>(а(^>) — функция ПРВ для блока Н в (10). Вектор шума { (14) имеет независимые компоненты, принимающие значения в интервалах
(17)
= [{-(;'),{+(;')], з € [0,в],
л
с функцией плотности распределения вероятностей
(18) д(0 = П ^ &),
7=0
где 97 (е^) — функция ПРВ для компоненты шума ^.
Таким образом, с учетом введенных переменных (12)—(15) динамическая РМД-PQ (1) трансформируется в линейную форму вида
(19) у = X я +
По структуре это выражение аналогично линейным статическим моделям данных, рассмотренным в [9], но матрица входа формируется с учетом нелинейности и динамики РМД-PQ (1).
3. д-оценивание ПРВ характеристик динамической РМД-РР
Согласно [9] задача 5_1д-оценивания функций ПРВ сводится к задаче функционального энтропийно-линейного программирования:
/ Р(Л)(а(Л)), 1п Рпа а4
й=1
Н[Р(а),д(С)] = I Р(Л)(а(Л)), 1п Р(Л)(а(Л))аа(Л)-
(20) - Е / &), 1п &&)а& ^ р
7=0 «у е з, а'
при ограничениях:
— на класс ПРВ (нормированных):
J Р(Л,)(а(Л,)) аа(Л) = 1, Ь € [1,Д];
(21)
/ 97-&) ае = 1, ; € [0,5];
е:
— на баланс между вектором Ф[Р(а), ф(£)] первого момента наблюдаемого выхода у и вектором измерений у [9].
Для РМД^ (1), (10) и (19) функция Ф[Р(а),^(£)] имеет вид:
Ф[Р(а),ф(е)]=^J а(^) Р(Л,)(а(Л,)) аа(^ +
(22) + ¿ / е,- 97&) ае^ = у.
_а
7=0 «у€3^
Применяя стандартную технику решения задач функционального энтропийно-линейного программирования, получим выражения для энтропийно-оптимальных функций ПРВ параметров и шума:
(23) = ]€[ол
где (0) — нормировочные константы, 0 — вектор множителей
Лагранжа для ограничений (22).
4. Пример энтропийного оценивание ПРВ характеристик динамической РДМ второй степени
Рассмотрим РДМ-PQ вида
2
V[к] = ^ [п1|ж[к — П1] + «1=0
2
(24) + ^(2)[щ,П2]ж[к — щ]ж[к — «2 + £[к], к ^ 2.
«1,«2=0
Таким образом, рассматриваемая динамическая РДМ-PQ имеет 9 параметров:
(1) (2) (2)г0,2]+ ^(2)[2,0],
(25)
ао = а01) = w(1) [0], а5 = а<2) = w
а1 = а(11) = w(1) [1], аб = а32) = w
а2 = а21) = w(1)[2]; а7 = а42) = w
аз = а02) = w(2) [0, 0], аз = а52) = w
а4 = а(12) = w(2) [0,1] + w(2) [1, 0],
wv
Значения констант в (2) приведены в табл. 1.
В табл. 2 показаны интервалы (7), которым принадлежат компоненты вектора параметров а.
Таблица 1. Значения в+'2), в-'2), ®+'2\ а-1'2)
0 /¿2) а« (2) аЯ (2) а_
1,0 2,0 0,5 1,0 0,08 0,08 0,08 0,08
Таблица 2. Интервалы для параметров
3 1 2 3 4 5 6 7 8 9
от 0,50 0,46 0,42 1,00 0,92 0,85 0,85 0,79 0,72
4 1,00 0,92 0,85 2,00 1,84 1,70 1,70 1,58 1,44
Имеем два измерения входа и выхода. Сформируем блоки X(1), X(2) (13):
(26)
X(1) ( Ж [2] ж[1] ж[0] \ = / Жоо Ж01 Жо2 ^ ж[з] Ж[2] ж[1] ^ ^ Ж10 Ж11 Ж12
х(2) = ( ж2[2] ж[2]ж[1] ж[2]ж[0] ж2[1] ж[1]ж[0] ж2[0]
= 1 ж2[з] ж[з]ж[2] ж[з]ж[1] ж2[2] ж[2]ж[1] ж2[1]
(27)
Жоо Ж01 Ж02 Ж03 Ж04 Жо5
Ж10 Ж11 Ж12 Ж13 Ж14 Ж15
Матрица X (13) имеет вид:
(28)
X =
3,9 1,9 2,8 0,9 1,6 5,2 3,6 1,9 4,2 9,3 3,9 1,9 3,8 8,5 4,9 0,9 1,6 2,6
Компоненты шума {[0] = {0 € = [-3, 3]; {[1] = € = [-6, 6]. Измеренные значения выхода у[2] = у0 = 18,51, у[3] = у1 = 43,36.
5рд-оценка ПРВ параметров ), 3 € [0, 8], и ПРВ шума 9о({0), зКСО имеют вид:
(29)
Ро(а3) = ехР ^-1 - Т? - Х0 0хЖхзаз^ , 3 € [0, 8К 4*({г)=ехр( - 1 - шг - 0г{г) , г € [0, 1],
где множители Лагранжа 7,, ш,, 0х определяются из уравнений:
(30)
3
Г (7,0) =У ехр
-1 - Тз - ^ °хЖх.
3"3
х=о
^а, = 1, з € [0, 8],
^¿(ш, 0) = у ехр - 1 - Ш, - = 1, г € [0, 1],
«Г
4
Фг(7,ш,0) = ^ ж, / аз ехр
3=0 Г
-1 - 73 - °хжхз
х=0
^а,- +
+ У { ехр - 1 - Шг - 0г{г ^ = у,, г € [0,1], 3 € [0, 8]. «Г
+
3
3
Рис. 2. Функции плотности распределения вероятностей шума.
Для реализации необходимых расчетов использовался пакет MATLAB с расширениями для оптимизации (Optimization Toolbox) и символьных вычислений (Symbolic Math Toolbox). Аппарат символьных вычислений применяется для аналитического вычисления интегралов в левых частях уравнений. Поиск решения уравнений (3) осуществлялся с помощью реализованного в MATLAB алгоритма Trust-region dogleg2. Результаты расчета множителей Лагранжа приведены в табл. 3 и 4.
На рис. 1 показаны графики функций плотности распределения вероятностей параметров pj (aj1), j Е [0, 2] (кривые 0, 1, 2) и pj (aj2)), j Е [3, 8] (кривые 3-8). На рис. 2 показаны графики функций плотности распределения вероятностей шума qo (£о) и qi (£i).
2 Метод искривленных оврагов (авторская версия русского термина).
3 0 1 2 3 4 5 6 7 8
ъ -10,0475 -6,8421 -13,7688 1,5448 11,2746 -37,2191 -32,9907 -15,0797 -29,7189
Таблица 4. Множители Лагранжа w и
г 0 1
Wj 26,6458 14,7240
0i 9,9822 -2,7918
5. Заключение
Рассмотрена динамическая модель, описываемая функциональным полиномом Вольтерра со случайными весовыми функциями. Предложен метод робастного энтропийно-оптимального оценивания плотностей распределения вероятностей весовых функций и шума. Разработана процедура численного решения задачи функционального энтропийно-линейного программирования, использующая символьные вычисления в среде MATLAB. Приведен пример расчета ПРВ весовых функций и шума для рандомизированной динамической модели второй степени.
СПИСОК ЛИТЕРАТУРЫ
1. Айвазян С.А., Мхитрян В.С. Прик
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.