Автоматика и телемеханика, № 10, 2012
© 2012 г. В.Б. ГОРЯИНОВ, канд. физ.-мат. наук (Московский государственный технический университет им. Н.Э. Баумана)
ОБОБЩЕННЫЕ М-ОЦЕНКИ КОЭФФИЦИЕНТОВ АВТОРЕГРЕССИОННОГО ПОЛЯ1
Для процесса пространственной авторегрессии порядка (1,1) установлена асимптотическая нормальность обобщенных М-оценок. Методами компьютерного моделирования проведено сравнение обобщенных М-оценок с классическими М-оценками и оценками наименьших квадратов.
1. Введение
Важной задачей теории распознавания образов и обработки изображений является фильтрация изображений на фоне шума. Одним из распространенных способов фильтрации различных характеристик изображений (яркости, интенсивности, градации серого и т.д.) является их описание процессом двумерной авторегрессии
(1) = а10Хг-1,2 + а01Хг,2-1 + ацХ1-1,2-1 + , = 0 ■ ■■,
с последующей оценкой авторегрессионных коэффициентов а = (а10,а01,а11)Т по наблюдениям X^, г = 1, ■ ■ ■ ,т, ] = 1, ■ ■ ■ ,п [1]. Такие модели часто встречаются в самых разнообразных технических, экономических и естественнонаучных приложениях [2-8]. При этом обычно предполагается, что обновляющее поле представляет собой независимые одинаково распределенные гауссовские случайные величины с нулевым средним и конечной дисперсией, и в качестве оценок параметра а берутся оценки наименьших квадратов [9], определяемые как точка минимума функции
т п
(2) £ЬЯ(а) = ^ ^ (Х2 — а10Хг-1,2 - а01Хг,]-1 - а11 Хг-1,]-1)2 ■
г=1 2=1
Однако предположение о гауссовости £2 (а значит, и Х^) часто не является оправданным [10]. Более реалистичным является предположение о нарушении гауссовости £2 и о наличии грубых ошибок в измерении Х^. К сожалению, оценки наименьших квадратов, как впрочем и оценки максимального правдоподобия [11], являются чрезвычайно чувствительными даже к очень малым отклонениям распределения £2 от гауссовского [12-14] и уступают
1 Работа выполнена при поддержке Аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы (2009-2011 годы)", проект № 2.1.1/227.
в эффективности в этом случае оценкам наименьших модулей [14], которые определяются как точка минимума функции
т п
(3) Сьо(а) = ^ ^ \Ху — — - — ацХ—х^-1).
г=13=1
Например, оценки наименьших модулей, как правило, эффективнее оценок
наименьших квадратов, если плотность / случайных величин еу является
смесью двух гауссовских плотностей
2 2 __—?7 1 __
(4) /(ж) = (1 - 7) е 2,т1 +7 е , 0 < 7 < 1,
л/2па1 \/2па2
имитирующих появление с небольшой вероятностью 7 среди еу, Оеу = а2, величин с аномально большой дисперсией а|, а22 ^ а2. Однако в отсутствие загрязнений (7 = 0) эффективность оценок наименьших модулей невысока. Достоинства оценок наименьших квадратов и оценок наименьших модулей объединяются в М-оценках, которые определяются как точка минимума функции
тп
(5) СМ(а) = ^ ^ Р(Х3 — а10Хг-1у — а01Хгу-1 — а11Хг-1у-1),
г=1 з = 1
где, например,
х2, если \х\ ^ к,
2к\х\ — к2, если \х\ > к,
(6) Р(Х) = Л о!.1„1 7,2
- семейство функций Хьюбера [15, 16], к > 0. Изменение параметра к от нуля до те позволяет балансировать в (5) между оценками наименьших модулей и оценками наименьших квадратов. Действительно, если величина
(7) ез (а) = Хз — а10Хг-1у — а01 Хг,3-1 — а11Хг-1у-1
мала, то соответствующее слагаемое в (5) является таким же, как в (2), а если еу (а) достаточно велика - таким же, как в (3). Для к € (1,5; 2) М-оценки почти не уступают в эффективности оценкам наименьших квадратов при 7 = = 0 в (4) и почти так же эффективны, как оценки наименьших модулей при 7 € (0,05; 0,2), когда эффективность оценок наименьших квадратов невысока. Однако М-оценки теряют эффективность в случае, когда Ху наблюдаются с ошибкой, т.е. когда вместо Ху наблюдаются
(8) Zij = Ху + Уу,
где случайные величины Уу с небольшой вероятностью 5 являются гауссов-скими с дисперсией ОУу ^ ОХу и математическим ожиданием ЕУу, возможно, отличным от нуля, а с вероятностью (1 — 5) Уу = 0.
В работе рассмотрены оценки, обобщающие М-оценки параметра а. Доказана состоятельность и асимптотическая нормальность таких обобщенных М-оценок. При помощи компьютерного моделирования проведено сравнение обобщенных М-оценок с обычными М-оценками и оценками наименьших квадратов.
2. Постановка задачи и формулировка основных результатов
В формуле (5) функция р может быть достаточно произвольной. Так, если р(х) = х2, то М-оценки превращаются в оценки наименьших квадратов, а если р(х) = |х|, то М-оценки совпадают с оценками наименьших модулей, / '(х)
если же р(х) = —„. . , то М-оценки становятся оценками максимального / (х)
правдоподобия.
Если предположить, что р - выпуклая дифференцируемая функция, то минимизация См (а) в (5) равносильна решению системы уравнений
~ ±г] а I Угз
(9) - а)Угз = 0,
г=1 3 = 1
где ф(х) = р'(х), Угз = (Хг-^з,Хг,з-1,Хг-1,3-1)т.
Потеря эффективности М-оценок при загрязнениях вида (8) связана с неограниченным множителем Угз в системе уравнений (9), влияние которого на решение этой системы может быть сколь угодно велико при достаточно больших значениях Уг3 в (8). Определим обобщенные М-оценки а параметра а как решение системы
т п
(10) ЕЕЧХгз - Ут а)дгз =0,
г=1 3=1
где дгз = (д(Хг-1,з ),д(Хг,з-1),д(Хг-1,з-1 ))т, ад - некоторая функция. Выбрав в качестве д ограниченную функцию, можно ограничить влияние экстремальных значений Угз на решение уравнения (9). Например, в качестве д можно взять половину производной
1 ,, . ( х, если 1х1 ^ к, -р (х) = < ,
2 I к, если 1х1 > к,
р-функции Хьюбера (6). В этом случае, если Хг-1,з, Хг,з-1, Хг-1,з-1 невелики, то слагаемое ф(Хгз — УТа)дгз в (10) совпадает со слагаемым ф(Хгз — УТа)Угз в (9). В противном случае вектор ф(Хгз — УТа)дгз будет "подрезан" и его длина никогда не превысит к2 \/3.
Теорема 1. Пусть а - решение уравнения (10), где Хгз - стационарное поле, описываемое уравнением (1), в котором егз, г,] = 0, ±1,. .. , - независимые одинаково распределенные случайные величины с конечной дисперсией, а а0 - истинное значение параметра а. Пусть также
(11) Е[ф(еп )]=0,
(12) Е[ф2(еи)] <
(13) Е[ф'(ец)] > 0,
а д(х) и ф"(х) ограничены на М.
Тогда при т, п оо случайный вектор у/тп(а — а°) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей
ШЫ)})2
где С - ковариационная матрица вектора д11, а В - взаимная ковариационная матрица векторов д11 и У11.
Доказательство теоремы 1 приведено в Приложении. Сделаем несколько замечаний.
Достаточные условия стационарности поля (1) приведены в [9, 17]. Обычно функция р в (5) четная, поэтому ф = р является нечетной и условие (11) выполнено для любой четной плотности /, для которой существует Е\ф(ец)\, в частности, для плотности нормального, логистического и двойного экспоненциального распределений.
Если д - тождественная функция, то В = С и обобщенные М-оценки превращаются в обычные М-оценки а*, являющиеся решением системы (9). В этом случае вектор л/тп(а* — а°) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей
ШЫ)})2 '
где В - ковариационная матрица вектора (Х10,Х01,Х11).
3. Сравнение оценок наименьших квадратов, М-оценок и обобщенных М-оценок
Рассмотрим поведение обобщенной М-оценки а, М-оценки а* и оценки наименьших квадратов а, построенных по загрязненным наблюдениям вида (8) поля Хгу. Другими словами, пусть
(14) ^ = (1 — Щу )Ху + Щу (гу,
где случайные величины Ху, еу и ^гу имеют гауссовское распределение, а случайные величины Vij принимают значения ноль и единица с вероятностями 1 — 5 и 5 соответственно, 5 € [0,1]. Будем предполагать Vij, ^гу и еу независимыми. При помощи компьютерного моделирования сравним между собой качество а, а* и а в условиях (14). Для определенности возьмем а = = (0,7; 0,4; —0,2), Ееу = 0, Оеу = 1, = 9. В этом случае ОХу и 2,7< . Отдельно рассмотрим случаи, когда Е(гу = 0 и Е(гу = 0. В системах (9) и (10) в качестве ф возьмем производную функции Хьюбера (6), а функцию д в (10) положим равной ф.
§ ш § ® со ^ Обобщенные М-оценки М-оценки Оценки наименьших квадратов
«10 «01 «и «10 «01 «и «10 «01 «и
7 = 0 ЕСу = о 0,69818 (0,0206) 0,40065 (0,0285) -0,19890 (0,0332) 0,69826 (0,0164) 0,40065 (0,0202) 0,40065 (0,0224) 0,69821 (0,0149) 0,40033 (0,0180) -0,19937 (0,0197)
7 = 0,001 ЕСу = о 0,69785 (0,0201) 0,39727 (0,0295) -0,19642 (0,0329) 0,69727 (0,0169) 0,39636 (0,0207) -0,19545 (0,0233) 0,69448 (0,0155) 0,39499 (0,0190) -0,19282 (0,0211)
7 = 0,01 ЕСу = о 0,68444 (0,0209) 0,37657 (0,0290) -0,17086 (0,0331) 0,67876 (0,0182) 0,36684 (0,0227) -0,15885 (0,0252) 0,65608 (0,0209) 0,35498 (0,0228) -0,13867 (0,0270)
7 = 0,001 ЕСу=9 0,69780 (0,0204) 0,39521 (0,0293) -0,19474 (0,0330) 0,69084 (0,0176) 0,38288 (0,0244) -0,17956 (0,0277) 0,66586 (0,0294) 0,36440 (0,0314) -0,15208 (0,0399)
7 = 0,01 ЕСу=9 0,67774 (0,0222) 0,36346 (0,0314) -0,15325 (0,0340) 0,62611 (0,0231) 0,27696 (0,0274) -0,05416 (0,0259) 0,48128 (0,0420) 0,23532 (0,0271) 0,02641 (0,0305)
Точность каждого метода оценивалась выборочным средним и выборочной дисперсией 500 значений оценок а, а* и а, полученных по 500 реализациям матриц У], г,] = 1, 2,..., 50. Расчеты проводились в компьютерной среде МЛТЬЛБ. Системы уравнений (9) и (10) решались с использованием функции £во1уе пакета МЛТЬЛБ, начальным приближением для £во1уе служила оценка наименьших квадратов а.
Результаты эксперимента для различных значений 5 и приведены в таблице. В каждой ячейке таблицы верхнее число означает выборочное среднее (по 500 реализациям) соответствующей оценки соответствующего параметра, а нижнее число (в скобках) - соответствующее выборочное средне-квадратическое отклонение.
Из таблицы видно, что в отсутствие (5 = 0) засорения наблюдений X] грубыми выбросами оценки наименьших квадратов являются наилучшими. При 5 = 0,001 и = 9 более предпочтительными являются М-оценки. Если же 5 = 0,01, то наилучшим вариантом является использование обобщенных М-оценок.
4. Заключение
Обобщенные М-оценки параметров пространственной авторегрессионной модели являются состоятельными и асимптотически нормальными. Они
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.