Автоматика и телемеханика, № 8, 2012
© 2012 г. В.Б. ГОРЯИНОВ, канд. физ.-мат. наук (Московский государственный технический университет им. Н.Э. Баумана)
М-ОЦЕНКИ КОЭФФИЦИЕНТОВ ПРОСТРАНСТВЕННОЙ АВТОРЕГРЕССИИ1
Доказывается асимптотическая нормальность М-оценок коэффициентов авторегрессионного поля на плоской прямоугольной решетке. Изучаются робастные свойства М-оценок. Сравнивается эффективность М-оценок и оценок наименьших квадратов.
1. Введение
Во многих научно-технических задачах, например при обработке изображений [1], в физике [2], экономике [3], геологии [4], медицине [5] наблюдения представляют собой случайное поле на многомерной целочисленной решетке (обычно й = 2 или 3). Одной из важнейших задач при анализе таких данных является их описание математическими моделями с небольшим числом параметров [6]. Для этой цели оказалось удобным использовать модель пространственной авторегрессии [7-10] - стационарное поле X^, описываемое уравнением
(1) Хгз = в10Х—1,з + в01Хг,з- 1 + в11Х—1,з-1 + егз, = 0, ±1, ±2, ...
где в = (в10,в01,в11)Т - авторегрессионные коэффициенты, а егз - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием Еегз = 0.
Обычно коэффициенты в оцениваются методами максимального правдоподобия и наименьших квадратов [11, 12]. Эти оценки являются оптимальными при известном распределении Хгз. Однако в реальных задачах поле Хгз, как правило, описывается уравнением (1) лишь приближенно и его вероятностное распределение неизвестно. В этом случае оценки максимального правдоподобия и наименьших квадратов теряют свою эффективность, т.е. не являются робастными [13, 14].
В [15-17] предложены более устойчивые к "выбросам" в наблюдениях знаковые, ранговые оценки и оценки наименьших модулей параметра в.
В данной работе изучаются асимптотические и робастные свойства М-оценок (оценок, обобщающих оценки максимального правдоподобия, наименьших квадратов и наименьших модулей) коэффициентов в в модели (1). М-оценки хорошо зарекомендовали себя в более простых моделях
1 Работа выполнена при поддержке Аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы (2009-2011 годы)", проект №2.1.1/227.
(одно- и двухвыборочная задача и линейная регрессия [13, 14], процессы авторегрессии—скользящего среднего [18]). Использование М-оценок в этих моделях оказалось лучше применения метода наименьших квадратов с предварительным отбрасыванием резко выделяющихся наблюдений и лучше двухшаговой процедуры, состоящей из предварительной проверки гипотезы о нормальности наблюдений и последующего применения метода наименьших квадратов или метода наименьших модулей, в зависимости от того, принимается гипотеза о нормальности наблюдений или не принимается. В статье доказана асимптотическая нормальность М-оценок коэффициентов в. Исследованы робастные свойства М-оценок при нарушении предположения о нормальности обновляющего (инновационного) поля е^ и при засорении наблюдений Х^ случайными ошибками.
2. Постановка задачи и формулировка основных результатов
Рассмотрим поле (1), где в = (вю,во!,вц) - неизвестный вектор параметров, а е^ - независимые одинаково распределенные случайные величины с плотностью / (х). Как показано в [11], достаточным условием стационарности Х^ является отсутствие корней уравнения
1 - вю^1 - во!^2 - в 11X1 ¿2 = 0 внутри единичного полидиска
Ы < 1, Ы < 1,
что равносильно выполнению условий (см. [19]):
\врд\ < 1 для любых (рл) еХ = {(1, 0), (0,1), (1,1)}, (1 + в2о - в021 - в21)2 - 4(вю + во1ви)2 > 0, 1 - в01 > \в10 + в01в11 \-
М-оценку втп параметра в по наблюдениям X^, г = 1,---,т, ,] = 1,---,п, определим как точку минимума функции
тп
(2) Стп(в) = ^ ^Р(ХУ - в10Хг-1,з - в01Хг,]-1 - в11Х—1,]-1),
г=2 j=2
где р - подходящим образом выбранная функция. Рекомендации по выбору р(х) имеются в [13, 14]. В частности, если р(х) = х2, то получаются оценки наименьших квадратов, а если р(х) = \х\ - оценки наименьших модулей. Обозначим через К ковариационную матрицу вектора (Х10,Х01,Х11 )т:
/ Г0,0 Г1-1 Г0-1 \
К = Г-1 ,1 Г0 ,0 Г-1 ,0 ,
\ Г0,1 Г1 ,0 Г0,0 )
где Та-рв-д = Е(ХавХрд), (а, в) е х, (р,д) е X. Имеет место следующая теорема.
Теорема 1. Пусть поле Хгз, описываемое уравнением (1), является стационарным, р - выпуклая функция, р" непрерывна почти всюду и ограничена, а плотность (х) независимых одинаково распределенных случайных величин ез в (1) удовлетворяет следующим условиям:
Еегз = 0,
(3) Ер'(ец) = 0, Е(р'(еп)2) > 0.
(4) а2 = Dе11 < ж,
(5) 0 < Ер"(еп) < ж.
Тогда прит,п —> оо случайный вектор \/тп(9тп — 9) является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей
р-1 ЕИ,-п)2] (Е№п)])2'
Доказательство теоремы 1 приведено в Приложении. Основная идея доказательства состоит в том, чтобы аппроксимировать Стп(в) квадратичной функцией, минимум которой имеет асимптотически нормальное распределение, и затем показать, что М-оценка втп близка к этому минимуму настолько, что имеет то же асимптотическое распределение.
3. Сравнение М-оценок и оценок наименьших квадратов
Оценка наименьших квадратов втп определяется как точка минимума функции
т п
Лтп(в) = ^ ^ (Хгз - в10Хг-1,з — в01Хг,з-1 — впХг-1,з-1)2 . г=1 з = 1
В [11] показано, что вектор у/тп{9 — 0) асимптотически нормален с нулевым математическим ожиданием и ковариационной матрицей а2 Я-1, где а2 - дисперсия егз.
Согласно асимптотической теории оптимальности [20, гл. 5 и 6] из двух состоятельных асимптотически несмещенных и асимптотически нормальных оценок лучшей считается оценка с меньшей асимптотической дисперсией, а величина, обратная отношению этих дисперсий, служит количественной мерой сравнения оценок и называется их асимптотической относительной эффективностью.
В многомерном случае при сравнении оценок векторного параметра этот подход применим, если матрицы ковариаций оценок пропорциональны друг другу. В этом случае асимптотическая относительная эффективность оценок определяется как величина, обратная коэффициенту пропорциональности соответствующих ковариационных матриц. Следовательно, асимптотическая относительная эффективность e(f) М-оценок втп по отношению к
оценкам наименьших квадратов втп равна а2(Е[р" (ец)])2
(6) е(/) =
Е[р'(ец)2]
Если е(/) > 1, то М-оценки предпочтительнее оценок наименьших квадратов, а если е(/) < 1, то наоборот. Другими словами, для того чтобы получить то же самое предельное распределение для М-оценок, требуется в е(/) раз больше наблюдений, чем для оценок наименьших квадратов.
3.1. Загрязнение обновляющего поля
Исследуем поведение е(/) при отклонении плотности / распределения е^ от нормального. Идея моделирования приближенно нормального распределения состоит в том, что основная доля 1 - 7 случайных величин е^ моделируется нормальным распределением, а остальная небольшая доля 7 имеет другое распределение, например нормальное с тем же средним, но с большей дисперсией т2 (см. [14, с. 49]). Без ограничения общности можно считать, что основная доля 1-7 величин е^ имеет стандартное нормальное распределение. В этом случае отклонение распределения е^ от нормального моделируется распределением Тьюки, которое имеет плотность
1 х2 1 __
/(Ж) = (1-7)-=е"-+7-^е , 0 < 7 < 1. у2п \/2пт
В качестве р рассмотрим семейство функций Хьюбера [13, 14]
( ) (х2, если \х\ ^ к,
[ 2к\х\ - к2, если \х\ > к,
где к - неотрицательный параметр. Эти функции являются квадратичными в окрестности (-к, к) начала координат и растут линейно на бесконечности. Интуитивно ясно, что М-оценки с такой функцией должны наследовать лучшие свойства оценок наименьших квадратов и наименьших модулей. При к ^ ж М-оценки с р-функцией Хьюбера переходят в оценки наименьших квадратов, а при к ^ 0 - в оценки наименьших модулей. В этом случае входящие в (6) величины а2, Е[р'(ец)2] и Е[р"(ец)] имеют вид:
а2 = 1 + т°7 -
Е[р'(7п)2] = 4 + 2(1 - 7)(1 - к2)Ф0(к) + 27(т2 - к2)Ф0 +
+ к\/2(7 1 )е-Ь- _ \ ^
'П л/П /
Е[р"(7п)] = 4( (1-7)Фо(Л)+7Фо ( *
Рис. 1. Зависимость e(f) от т при различных к: 1) к = 0; 2) к = 0,1; 3) к = 0,3; 4) к = 0,5; б) к = 1; 6) к = 1,5; 7) к = 2; 8) к = 5.
где
Фо (х)
=е 2 сИ
функция Лапласа. Следовательно,
^ ) =
4(1 + т27 - 7) (1 - 7)Фо(к) + 7Фо
Р + 2(1-7)(1-Р)Фо(А0 + 27(Т2-А;2)ФО ^ + ((7-
Видно, что с ростом т значение е^) неограниченно возрастает при любых к > 0 и 7 Е (0,1). Таким образом, асимптотическая относительная эффективность М-оценок по отношению к оценкам наименьших квадратов при т — ж может быть сколь угодно велика.
Исследуем поведение е^) при изменении к, т и 7. На рис. 1 показаны зависимости е^) от т для различных к при фиксированной доле выбросов в 2% (7 = 0,02). С ростом т эффективность е^) монотонно возрастает с всё увеличивающейся скоростью. При изменении к от нуля до приблизительно двух е^) также монотонно растет, причем равномерно для сравнительно небольших т Е (0, 5). Далее с ростом к, т.е. когда М-оценки становятся похожими на оценки наименьших квадратов, эффективность е^) падает.
На рис. 2 построены зависимости е^) от к для различных т. Видно, что значения к, при которых е^) максимальна, почти не зависят от т и приблизительно равны двум. То же самое наблюдалось на аналогичных, не вошедших в статью, графиках при других значениях 7.
На рис. 3 для близкого к оптимальному значения к = 2 исследована зависимость е^) от 7 при различных т. Видно, что даже при отсутствии загрязнений (7 = 0), т.е. в ситуации, наиболее благоприятной для оценок наименьших квадратов, е^) ~ 1, т.е. М-оценки практически не уступают оценкам
X
1
2
2
к
2 4 6 8 10 12 14 16 18 к 20
Рис. 2. Зависимость е(/) от к при различных т: 1) т = 1; 2) т = 3; 3) т = 5; 4) т = 10.
у 1,0
Рис. 3. Зависимость е(/) от 7 при различных т: 1) т = 1; 2) т = 3;
3) т = 5; 4) т =10.
наименьших квадратов в эффективности. При увеличении 7 от нуля до ~0,3, т.е. с ростом доли загрязненных ец, эффективность М-оценок начинает расти и тем стремительнее, чем больше т (т.е. чем грубее выбросы). Отметим, что при дальнейшем росте 7 от 0,3 до единицы эффективность е(/) на
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.