ИЗВЕСТИЯ РАН. ТЕОРИЯ И СИСТЕМЫ УПРАВЛЕНИЯ, 2011, № 4, с. 58-65
ОБРАБОТКА ИНФОРМАЦИИ И ИДЕНТИФИКАЦИЯ
УДК 519.234.3
ОЦЕНКИ НАИМЕНЬШИХ МОДУЛЕЙ КОЭФФИЦИЕНТОВ ПРОСТРАНСТВЕННОЙ АВТОРЕГРЕССИИ*
© 2011 г. В. Б. Горяинов
Москва, МГТУим. Н. Э. Баумана Поступила в редакцию 24.12.10 г., после доработки 21.03.11 г.
Для процесса пространственной авторегрессии порядка (1, 1) установлена асимптотическая нормальность оценок наименьших модулей, вычислена относительная асимптотическая эффективность этих оценок по отношению к оценкам наименьших квадратов. Методами компьютерного моделирования исследована устойчивость оценок наименьших модулей к "выбросам" в наблюдениях.
0. Введение. В работе изучается авторегрессионное поле Ху, описываемое уравнением
Ху = аыХ + а01Хи-_1 + апХ(-_и_1 + &у, I,у = 0,±1,±2,..., (0.1)
где а = (а10, а01, а11)т — вектор авторегрессионных коэффициентов, а бу — независимые одинаково распределенные случайные величины с нулевым математическим ожиданием Е&у = 0 и конечной дисперсией а2 = Бе у.
Такие поля со второй половины XX в. широко используются в самых разнообразных технических [1, 2], экономических [3, 4] и естественно-научных [5] приложениях. Одной из важнейших задач, связанных с моделью (1), является оценивание параметра а по наблюдениям Ху на прямоугольной решетке I = 1,...,т, у = 1,...,п. В большинстве работ по оцениванию вектора а предполагается гауссовость поля бу, а сами оценки — различные модификации оценок максимального правдоподобия и наименьших квадратов [6—9]. Между тем хорошо известно [10], что оценки наименьших квадратов чувствительны к нарушению предположения нормальности бу. В линейных регрессионных моделях и авторегрессионных процессах в этом случае обычно используются оценки, более устойчивые к загрязнению выборки резко выделяющимися наблюдениями, например оценки наименьших модулей [11], знаковые [12] и ранговые [13] оценки. Потребность в такого рода устойчивых оценках возникает и для авторегрессионного поля (0.1), например при обработке изображений [1, 5]. Знаковые оценки для таких полей были предложены в [14].
В данной работе для параметра а поля (1) строятся и изучаются оценки наименьших модулей. А именно установлена состоятельность и асимптотическая нормальность оценок наименьших модулей для а. Это, в частности, позволило вычислить эффективность оценок наименьших модулей по отношению к оценкам наименьших квадратов для основных типов вероятностных распределений инновационного поля &у. Кроме того, методами компьютерного моделирования исследована устойчивость оценок наименьших модулей к "выбросам" в наблюдениях. Отметим, что для регрессионных и авторегрессионных процессов оценки наименьших модулей хорошо изучены (см., например, [11, 15, 16] и библиографию к ним).
1. Постановка задачи и формулировка основных результатов. Рассмотрим поле (0.1), где а = = (а10, а01, а11) — неизвестный вектор параметров, а &у — независимые одинаково распределенные случайные величины с функцией распределения Дх) и плотностью /(х). Будем предполагать поле (0.1) стационарным. Как показано в [6], достаточным условием этого является отсутствие корней уравнения
1 - а^ - а0112 - ап1112 = 0
Работа выполнена при поддержке аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы (2009—2010 годы)", проект № 2.1.1/227.
внутри единичного полидиска
кх1< 1 к 2! — 1,
что равносильно выполнению условий (см. [17]) !ирд! < 1 для любых (р, д) е $ = {(1,0), (0,1),(1,1)},
(1 + а20 - 0)21 - ап)2 - 4(аю + ао1аи)2 > о,
1 2 | | 1 $01 > ! $10 + $01^11!-
т
Обозначим через а = (а10, а01, (31]) оценку наименьших модулей параметра а, построенную по наблюдениям X = {Ху}, I = 0,...,т, у = 0, ... , л. Другими словами, а — точка минимума функции
т п
Жа) = ^^ \ХУ - а10Х1-1,] - а01Х1,]-1 - а11Х1-1,]-\ ■ (1.1)
I = 1 У = 1
Те о р е м а. Пусть функция распределения Ш(х) и плотность/(х) независимых одинаково распределенных случайных величин г^ в (0.1) удовлетворяет следующим условиям:
/■(0) = 1, (1.2)
/(0) > 0, /(х) непрерывна в нуле, (1.3)
<да, (1.4)
| / '(х)кх-
Е 6 у = 0, (1.5)
Еб] < (1.6)
Тогда при т, л ^ да случайный вектор 4тп(а - а) асимптотически нормален с нулевым матема-
тическим ожиданием и ковариационной матрицей
14/ 2(0)
^ Я_1, где
Г0,0 Г1,-1 Г0,-1
Я = Г-1,1 Г0,0 Г-1,0
. Г0,1 Г1,0 Г0,0 ,
а Га-р,ц-д = Е(Ха^Хрд^ (а, в) е (р, д) е $.
Доказательство теоремы приведено в Приложении.
Отметим, что условия теоремы справедливы для основных типов вероятностных распределений 6] — нормального, логистического, двойного экспоненциального (Лапласа), равномерного, Стьюдента с числом степеней свободы, большим чем 2. Существуют также достаточно быстрые алгоритмы вычисления оценок наименьших модулей (см. [11, 18—20] и библиографию к ним).
2. Сравнение оценок наименьших модулей и наименьших квадратов при нарушении предположения нормальности инновационного процесса г^. Оценка наименьших квадратов а определяется как точка минимума функции
т п
Л(а) = ^^ (Ху - а10Х(-1,у - а01Х1,]-1 - а11Х(-1,у-1) • I = 1 У = 1
В [6] показано, что вектор 4тл(а - а) асимптотически нормален с нулевым математическим ожи-
- 2П-1 2
данием и ковариационной матрицей а Я , где а2 — дисперсия г^
Согласно асимптотической теории оптимальности [21, гл. 5, 6] из двух состоятельных асимптотически нормальных оценок лучшей будет оценка с меньшей асимптотической дисперсией, а
отношение этих дисперсий называется асимптотической относительной эффективностью и служит количественной мерой сравнения оценок.
В многомерном случае при сравнении оценок векторного параметра описанный выше подход применим, если матрицы ковариаций оценок пропорциональны друг другу, при этом асимптотическая относительная эффективность определяется как коэффициент пропорциональности соответствующих ковариационных матриц. Следовательно, асимптотическая относительная эффективность е(/) оценок наименьших модулей а по отношению к оценкам наименьших квадратов а равна
е(Г) = 4/2(0)а2.
Таким образом, для того чтобы получить то же самое предельное распределение для оценок наименьших модулей, требуется в е(/) раз больше наблюдений, чем для оценок наименьших квадратов.
Если распределение &у нормальное, т.е.
1 -4
/(х) = -1- е , л/2лст
то е(/) = -, и, значит, оценки наименьших квадратов приблизительно в 1.5 раза эффективнее п
оценок наименьших модулей. Если бу имеет двустороннее показательное распределение / (х)е~ ••
то е(/) = 2, т.е. оценки наименьших модулей в 2 раза эффективнее оценок наименьших квадратов.
Пусть теперь &у имеют распределение Тьюки с плотностью
/(х) = (1 -уЬ= е ^ + е 0 <у< 1. л/2я Ы2т
Распределение Тьюки моделирует засорение нормального инновационного поля бу некоторой долей у грубых ошибок, представляющих собой также нормальные случайные величины, но с большей дисперсией т2. В этом случае
а2 = (1 - у) + ух2, 4/ 2(0) = 2 (1 -у + 1).
п\ т, Поэтому
2 2
е(/) =- (1 - у + у / т) (1 - у + ух ).
п
С ростом т значение е(/) неограниченно возрастает. Таким образом, асимптотическая относительная эффективность оценок наименьших модулей по отношению к оценкам наименьших квадратов может быть сколь угодно велика.
Например, е(/) > 1 для т = 3 и у = 0.1, т.е. если среди нормальных случайных величин каждая 10-я в три раза "грубее" остальных, то оценки наименьших модулей по эффективности уже превосходят оценки наименьших квадратов.
3. Сравнение оценок наименьших модулей и наименьших квадратов при загрязнении наблюдений Ху аномально большими ошибками. Сравним при помощи компьютерного моделирования оценки наименьших модулей и наименьших квадратов при загрязнении наблюдений Ху аномально большими ошибками (выбросами), например сбоями измерительной аппаратуры. Другими словами, предположим, что наблюдаются величины Уу вида
Уу = (1 -Уу )Ху + V уС у, (3.1)
Результаты экспериментов
Значение доли выброса у Оценки наименьших модулей Оценки наименьших квадратов
а10 а01 а11 а10 а01 а11
0 0.7984 -0.5986 0.4977 0.7993 -0.5984 0.4981
(0.0155) (0.0202) (0.0220) (0.0125) (0.0167) (0.0174)
0.001 0.7961 -0.5940 0.4929 0.7861 -0.5773 0.4711
(0.0152) (0.0212) (0.0229) (0.0196) (0.0281) (0.0353)
0.01 0.7627 -0.5300 0.4095 0.6763 -0.4369 0.2768
(0.0183) (0.0275) (0.0312) (0.0366) (0.0427) (0.0557)
где Ху описываются уравнением (0.1) с нормальным инновационным шумом б у, а V у — бернулли-евские случайные величины, принимающие значения 1 с вероятностью у и 0 с вероятностью 1 -у соответственно, С,у — случайные величины, имеющие нормальное распределение. Все случайные величины в (3.1) независимы. Таким образом, случайные величины Vу описывают наличие или отсутствие выбросов, а случайные величины ^ у моделируют сами выбросы, доля которых среди всех наблюдений У у равна у (см. [10]).
В эксперименте моделировались 500 реализаций Уу, поля (3.18) с Ебу = 0, Dsу■ = 1, Е^у = 0, D^у = = 36, г,у = 1,...,50. Истинные значения параметров а10, а01, а11 были 0.8, —0.6 и 0.5 соответственно. Выборочная оценка дисперсии поля Ху для данного значения а оказалась приблизительно равной 4, т.е. среднеквадратическое отклонение выбросов У у было приблизительно в 3 раза больше среднеквадратического отклонения Ху . Точность каждого метода оценивалась выборочным средним и выборочной дисперсией оценок а и 3 по 500 реализациям. Результаты экспериментов для различных значений у приведены в таблице. В каждой ячейке таблицы верхнее число означает выборочное среднее (по 500 реализациям) соответствующей оценки соответствующего параметра, а нижнее число (в скобках) — соответствующее выборочное среднеквад-ратическое отклонение.
Из таблицы видно, что если достаточно умеренным искажениям подвергается только каждое тысячное наблюдение, то оценки наименьших модулей уже точнее оценок наименьших квадратов. Следовательно, для оценивания регрессионных коэффициентов а при отсутствии выбросов предпочтительнее использовать метод наименьших квадратов, а при обработке загрязненных наблюдений преимущество имеет метод наименьших модулей.
Заключение. Оценки наименьших модулей параметров про
Для дальнейшего прочтения статьи необходимо приобрести полный текст. Статьи высылаются в формате PDF на указанную при оплате почту. Время доставки составляет менее 10 минут. Стоимость одной статьи — 150 рублей.