d9e5a92d

Приближение с помощью симуляций

Чтобы более наглядно пояснить бутстраповский метод, рассмотрим простейший пример. Пусть у нас есть всего два наблюдения:
Допустим, нас интересует коэффициент регрессии у на х, т.е. Уі = ?xi + ?і. В этом случае OLS оценка равна:
х = xiyi + x2y2 = 1 х 2 + 2 х 1 = 4 xl + x2 12 + 22 5 ’
Эмпирическая функция распределения данных будет:
/x\ ( (1,2)' w/prob 1/2 \У/ I (2,1)' w/prob 1/2
По отношению к этому распределению, данные из двух наблюдений распределены следующим образом:
!¦ Д = Д = (l) w/prob 1/4
2' (Х1) = С|) = (2) wfprd, 1/4
3- (Xl) = (l); (y|) = (2) w/prob 1/4
4 (Xj) =(2); (У|) = (1) wtproh 1/4
Строя OLS оценки для каждой псевдовыборки, получим бутетраповекое распределение OLS оценки:
{1/2 w/prob 1/4 4/5 w/prob 1/2 .
2 w/prob 1/4
Теперь с помощью этого бутетраповекого распределения можно построить доверительные интервалы или тестировать какие-либо гипотезы.
Пример, рассмотренный нами, был чрезвычайно прост: размер исходной выборки был равен 2, В общем случае, когда мы имеем и наблюдений, количество псевдостатистик имеет порядок ип. Таким образом, в вычислительном плане задача сильно усложняется по мере роста и.
2 Приближение с помощью симуляций
Как уже упоминалось, при значительных выборках объем вычислений для получения бутстраповского распределения сильно возрастает. Поэтому, как правило, процедура бутстрапа осуществляется е помощью компьютера. Здесь мы приведем описательный алгоритм построения бутстраповских доверительных интервалов,
Бутстраповский алгоритм:
1, Выбирается количество пеевдовыборок B (обычно около 1000), Для b = 1, 2,... ,B строятся пеевдовыборки (zl; Д;...; zn)ь- Элементы пеевдовыборок выбираются случайным образом с возвращением из исходной выборки (щ;...; zn), Для каждой пеевдовыборки вычисляется пеевдоетатиетика ?1 = 0((Д;...; zn)b),
2, Полученные пеевдоетатиетики ?\.. .?в сортируются в возрастающем порядке,
В качестве квантилей а1, а2 берутся соответствующие значения ?^Ваі], ?В(1-а2)+1р Таким образом, получаем доверительный интервал,
3 Какие статистики бутстрапить?
Ответ на вопрос, какие статистики лучше использовать при построении доверительных интервалов е помощью бутстрапа, кроется в двух простых соображениях. Во-первых, бутстраповское распределение центрировано не около истинного значения статистики, а около его выборочного аналога.

Во-вторых, полагается бутетрапиро-вть асимптотически пивотальные статистики.
Рассмотрим несколько вариантов бутстраповских статистик, используемых для построения доверительных интервалов и подчеркнем их положительные и отрицательные качества. Пусть нас интересует статистика Д
se(A) J ь= 1
- Холловский доверительный интервал: Холл предложил использовать для построения доверительного интервала рецентрированную статистику ? = ф ф, что снимает проблему смещения, связанного е конечностью выборки. Таким образом, получается бутстраповское распределение (3; = фі 3}ь=і- Соответствующие квантили: qa/2, ql-a/2. Доверительный интервал:
ОІи = \в ql-,/2 в /2].
Холловский доверительный интервал дает лучшую, чем Эфроновекий, аппроксимацию уровней значимости. Дополнительным плюсом использования Хойловского доверительного интервала является отсутствие необходимости оценивания стандартных ошибок,
- t-процентный доверительный интервал: Использует в качестве бутстра-
пируемой статистики t-статистику, Т.е. Таким образом, получается бут-
етраповекое распределение статистики: \ в\_в \ , Соответствующие кванти-
ли: qa/2, ql-a/2- Доверительный интервал:
CIt = ф se(f3)ql-a/2; 3 se{J3)qa/2\.
t-процентный доверительный интервал еще лучше аппроксимирует истинные уровни значимости, чем Холловский доверительный интервал. Тем не менее, не рекомендуется его использовать, если стандартные ошибки трудно построить качественно,
4 Корректировка смещения
Бутстрап зачастую позволяет скорректировать смещение, связанное с конечностью выборки. Пусть у нас есть смещенная статистика:
7 : Е Й = в.
Тогда мы можем выразить смещение следующим образом:
Bias = Е[Д] в.
Если у нас есть возможность состоятельно оценить смещение, то мы можем скорректировать исходную статистику:
в = в Bias.
Смещение же оценивается с помощью бутстрапа:
_ 1 в _ _
Bias* = Е * [в*] в = вь* 7
Ь=1
Таким образом, скорректированная статистика есть
в=в у 7 в) =2в 7’-
5 Тестирование гипотез при помощи бутстрапа
Одной из основных целей бутстрапа является тестирование различных гипотез. Именно для этого нам необходимо строить эмпирические распределения статистик, Раемот-рим как с помощью бутстрапа итестируются простейшие статистические гипотезы:
Гипотеза Н0 : в = в0 (скаляр).
- Альтернативна гипотеза одно сторонняя На : в в0
Бутстрапим t-процентную статистику:
7 = .
se(7)
Получаем бутетраповекое распределение этой статистики и соответствующий квантиль:
, ^ в
вь в
se(7b)
*
а*
5і
Ь=1
вв
se(f3)
Итак, гипотеза Н0 отвергается, если 70
q1
а'
* = |в* - в|
- Альтернативна гипотеза двусторонняя Ha : в = в
В этом случае мы бутетрапим симметричную t-процентную статистику:
? = -в.
se(P)
Получаем бутетраповекое распределение и квантиль:
в
’ se(ei) ;ь=1
Гипотеза Н0 отвергается, если ? = |/3-в? *_а.
Гипотеза Н : в = в (вектор). В этом случае мы бутетрапим Вальдовекую статистику :
? =(в- в)'?-ЧД- в).
Соответственно, получаем бутетраповекое распределение и квантиль:
?1 = (вЬ - Щ-'(Я - Д)}^ ^ і-с
Гипотеза Н отвергается, если
?
? = (в - в)'?7(в - в) 1-с
Гипотеза Н : R/ = т (линейные ограничения). В случае линейных ограничений, где собственно R - матрица ограничений, снова бутетрапитея Вальдовекая статистика:
? = (R/3 - т)'(Д%R')-1(Rp - т).
Далее, рецентрируя статистику, получаем бутетраповекое распределение, из которого находим соответствующий квантиль:
Д* = (д? - дщдцюддвь* - двщ=і ^ 1-с
Заметим еще раз, что чтобы избавиться от смещения, связанного е конечностью выборки, мы рецентрируем бутетраповекую статистику. Если бы мы этого не сделали, то получили бы смещенное бутетраповекое распределение.
Гипотеза Н отвергается, если
? = (RP - r)'(R%R')-1(R/ - т) q*1-a.
6 Асимтотическое рафинирование
Иногда говорят, что с помощью бутстрапа достигается асимтотическое рафинирование, В этом разделе мы обсудим что такое асимтотическое рафинирование и в каких случаях оно происходит.
Пусть у нас есть некоторая статистика ?, истинное распределение которой Fg^x), Тогда бутетраповекое распределение этой статистики F| (x), Говорят, что с помощью бутстрапа достигается асимтотическое рафинирование, если при увеличении объема выборки аппроксимация истинного распределения бутетраповеким точнее, чем асимптотическим (в смысле ошибки аппроксимации).
Приведем примеры, использующие разложение Эджворта функции распределения статистики вокруг предельного распределения.
Пример 1: t-статистика.
Пусть статистика, интересующая нас, есть
? = .
se(p)
Ее асимтотическое распределение, как мы уже видели, является стандартным нормальным: ? F N(0,1) (т.е. статистика пивотальная), Обозначим точное распределение статистики - Fg-(x), а бутстраповское - F|(x), Для кумулятивной функции стандартного нормального распределения используем обычное обозначение: Ф(х), Итак, разложим истинное и бутераповекое распределения вокруг асимптотического:
hi (x,F) h2(x,F)
n3/2
1
n3/2
Fjj(x) = Ф(х) +
F?(x) = ®(x) + ’hiFIl + Mxi?) + O
Здесь hi(x, F) - четная no x, непрерывная no F функция; h2(x, F) - нечетная no x, непрерывная no F функция. Ошибки аппроксимации точного распределения асим-тотическим и бутетраповеким, соответственно:
$(x) F?(x)
hi(x,F) + O( _
hi(x, F)
hi(x,F) + o
F|(x) - Fd(x)
hi(x, F) hi(x, F) имеет асим-
Здесь мы воспользовались тем фактом, что разность
ПТОТИК? Д=, ПОСКОЛЬКУ
л/га 5
F(x) = P[xi x} = E [l[xj x]] ^
/П (f(x) - F(x)j ^ N(0, P[xi x}P[xi x}).
Таким образом, в данном примере использование бутстрапа приводит к асимтоти-чеекому рафинированию.
Пример 2: непивотальная статистика. Рассмотрим статистику
f = /П((3 - р) ^ N(0,Ve).
Сохранив обозначение кумулятивных функций распределения для точного раепре-деления и бутстраповского из предыдущего примера, обозначим аеимптотичеекое распределение Ф^?ц). Заметим, что теперь наша статистика непивотальная, т.е. аеимтотичеекое распределение зависит от неизвестного параметра. Аналогично предыдущему примеру, разложим точное и бутстраповское распределения вокруг асим-тотичеекого:
F(x) = ФЦ, Ve) + h|/nF) + O A
? \ п \ п
щ*) = Ф(*,?д + hl/xnF) + 0(П).
Ошибки аппроксимации для асимптотического и бутстраповского распределений считаются аналогично предыдущему примеру:
hlCF2 + А і
/п V п
ф(x,Vв) - F^(x)
F|(x) - F^(x) = ф(x, ?~;) - Ф^ ?~) + 0 (П j = ^/= j .
Как видно, в данном случае использование бутстрапа не приводит к асимптотическому рафинированию. Вообще, как правило, бутстрапирование непивоталъных оценок не дает аеимтотичеекого рафинирования.
Пример 3: симметричная t-статистика. Теперь рассмотрим в качестве примера симметричную t-статистику:
f = \F-F\ -^ n(0, l). se(F)
Сохраняя обозначения предыдущих примеров, распишем точное и бутстраповское распределения:
2h2(x, F)
f - в se(F)
Fg(x) = Prob[0 x} = Prob[-x
x} = 2Ф(x) - l +
п3/2
F|(x) = 2Ф(х) - 1 + + O
n3/2
Таким образом, ошибки аппроксимации для асимптотики и бутстрапа:
2Ф(х) - 1 - F-j-(x) = O ( -
1
Fi(x) - ад = n (^2(х,F) - h2(x, f ^ + o(JL) = 0 (Пд) -
Таким образом, мы получаем асимптотическое рафинирование. Заметим, что бутстрап симметричного двустороннего теста имеет ошибку более высокого порядка, чем бутстрап одностороннего теста.
7 Построение псевдовыборок при бутстрапе (случай независимых наблюдений)
Рассмотрим случай простейшей множественной регрессии с независимыми наблюдениями :
Уі = x'e + ei; E[ei|xi] = 0; {(xi,y)} ~ iid-
Существует несколько альтернаттивных способов построения псевдовыборки для этой регрессии:
1, Непараметрическое построение псевдовыборки: Из исходных наблюдений {(xi,yi)}n=1 случайно с возвращением извлекаются п наблюдений (x*,y*),
2, Построение псевдовыборки по остаткам: Сначала оценивается модель и находится состоятельная оценка F- Затем, вычисляются ос татки: Fi = yi xiF¦ Из множества пар {(xi,Fi)}n=1 случайным образом с возрвращением выбирается псевдовыборка (x*,F)- Затем восстанавливается независимая переменная y* = xi*F + Fi- Заметим, что данный метод построения псевдовыборки идентичен непараметрическому методу (идентичность пропадает в более сложных случаях),


3, Построение псевдовыборки по остаткам (специальный случай): Если исследователю заранее известно, что ошибки и регрессоры независимы, то эффективность бутстрапа можно увеличить, выбирая случайно с возвращением x* из {xi}rn=1 w F* из {Fi}™=1 по отдельности,
можно увеличить (по сравнению е предыдущим случаем), выбирая регрессоры и остатки для пеевдовыборки по отдельности. Кроме того, остатки стоит вытягивать из нормального распределения, т.е. х* извлекаются случайно с возвращением из {xj}n=i, а е* из N(0, а ).
8 Построение псевдовыборок в бутстрапе (случай временных рядов)
Временной ряд отличается от независимых наблюдений тем, что имеет связь между наблюдениями (наблюдения зависимы). Поэтому случайное перемешивание при бутстрапе может разрушить временную структуру.

Чтобы избежать этого, используется блочный бутстрап, в котором пеевдовыборка строится из перемешанных блоков исходной выборки. Аналогично случаю независимых переменных, во временых рядах возможно построение пеевдовыборки по остаткам и непараметричеекое построение пеевдовыборки.

Однако, последнее используется чаще, поскольку остатки могут не быть независимыми одинаково распределенными. Рассмотрим несколько альтернативных способов построения блочной пеевдовыборки.
1, Построение пеевдовыборки из перекрывающихся блоков: Исходная выборка делится на некоторое количество прокрывающихся блоков одинаковой длины. Длина блока выбирается исследователем исходя из временной структуры ряда. Пусть {yt}J=1 - исходная выборка, a l - длина блока.

Тогда в первый блок войдут наблюдения y1,..., yl; во второй - y2,...,yl+1; в третий -уз,..., yl+2; и наконец в T l + 1-ый - наблюдения yT-l+1,..., yT, При построении пеевдовыборки блоки выбираются случайно е возвращением. Обычно длина пеевдовыборки совпадает е длиной исходного ряда.
стационарной исходной выборки получаются нестационарные псевдовыборки. Чтобы получить стационарную псевдовыборку, был предложен способ ее построения, основанный на нефиксированной длине блоков, А именно, задается вероятность конца блока р. Таким образом, первый элемент псевдовыборки выбирается случайно.

Затем, с вероятностью (1 р) в текущий блок включается следующий элемент исходной выборки, а с вероятностью р начинается новый блок, первый элемент которого снова выбирается случайно из исходной выборки, Так продолжается, пока в псевдовыборку не будет набрано нужное количество элементов (совпадающее с количеством наблюдений в исходной выборке).
III Основные эконометрические понятия
1 Условное математическое ожидание
Данный раздел кратко повторяет основные понятия, изученные в курсе статистики и теории вероятностей.
Пусть (X, Y) - случайная пара. Функция совместной плотности распределения f(x,v)(x,y) О
обладает свойством нормировки:
f(x,Y )(x,y)dxdy = 1.
' OO J СЮ
Вероятность попасть в некоторый отрезок \a,b\ х [c,d], определяется как:
pd pb
Prob{a X b; c Y d} = / f(X,Y)(x,y)dxdy.
Jc J a
Маргинальная функция плотности распределения X задается выражением: + ГО
fx(x)
f(X,Y )(x,y)dy.
-го
Условная функция плотности распределения Y при X = x:
f(X,Y )(x,y) fX (x)
fY |x (x,y)
Условные вероятности попадания в отрезок определяются выражеиями:
Prob{c Y d | X = x} = J fY|x=x(x,y)dy;
Ia fx (x)dx
Prob{c Y d | a X b} = -c fx,Y(xy^dxdy
Условное математическое ожидание Y при условии X = x:
r+ж
E [Y | X = x]
yfY |x=x(x,y)dy.
Заметим, что функция условного математического ожидания E [Y | X] является случайной величиной (т,к, X - случаен), кроме того, выполняется закон последовательных математических ожиданий :
E[h(X,Y)] = E[E[h(X,Y) | X]],
где h(X, Y) - произвольная функция от (X, Y), В простом (непрерывном) случае справедливость этого закона легко показать:
р+ж г+ж
*+ж
ц+ж
h(x,y)f(X,Y )(x,y)dxdy
h(x,y)fY |x (x,y)dy
fx (x)dx.
' сю о сю
2 Предсказание
Часто в эконометрике встречается задача, когда исследователь хочет по переменным X (регрессоры) предсказать значение Y (независимая переменная), В статистике и теории вероятности существует несколько результатов, связанных с такой постановкой задачи.
Теорема: Оптимальным предиктором Y из X в смысле минимизации среднеквадратичной ошибки предсказания является условное математическое ожидание E [Y | X], Доказательство: Пусть g(X) - наш предиктор. Тогда среднеквадратичная ошибка предсказания будет выражаться следующим образом:
MSPE = E[(Y - g(X))2] = E[(Y - E[Y|X] + E[Y|X] - g(X))2] =
= E[(Y - E[Y|X])2] + E[(E[Y|X] - g(X))2] E[(Y - E[Y|X])2]
Заметим, что равенство достигается при g(X) = E[Y|X], т,е, условное математическое ожидание действительно минимизирует среднеквадратичную ошибку предсказания.
Определение: Ошибкой оптимального предсказания называется величина: e = Y -
E [Y |X ].
Ошибка оптимального предсказания обладает следующим свойством:
E[e|X] = 0; ^ E[e] = 0; ^ E[eh(X)] = 0.
Т.е. условное математическое ожидание является несмещенным предиктором.
Определение: Линейным предиктором Y по X называется любая линейная функция от X: g(X) = а + bX.
Теорема: Оптимальным линейным предиктором Y по X в смысле минимизации среднеквадратичной ошибки предсказания называется наилучший линейный предиктор (BLP):
BLP(YIX) = а + pX; в = CV(X’Y); а = Е[Y] - /ЗЕ[X].
var(X)
Доказательство:
MSPE = Е[(Y - а - bX)2] mm
a,b
Условия первого порядка:
E[2(Y - а - bX)] = 0;
-Е[2(Y - а - bX)X] = 0.
Следовательно, мы получаем а и З из условия теоремы.
Теорема: Наилучшей линейной аппроксимацией для условного среднего Е[Y|X] в смысле минимизации среднеквадратичной ошибки аппроксимации является наилучший линейный предиктор BLP(Y|X),
Доказательство: Аналогично доказательству предыдущей теоремы нужно решить оптимизационную задачу:
MSAE = Е[(Е[Y|X] - а - bX)2] mm.
a,b
Получим а и З го условия теоремы, т.е, BLP(Y|X).
Определение: Ошибкой наилучшего линейного предсказания называется величина: u = Y - BLP(YX).
Она обладает следующим свойством:
Е [u] = 0; Е [uX ] = 0.
Теорема: Если условное среднее Е[Y|X] линейно по X, то:
E[Y |X] = BLP (Y |X).
3 Свойства двумерного нормального распределения
Рассмотрим двумерную величину, распределенную нормально:
Ду ДX
рах ау
крах ау ау J
Ее плотность распределения задается следующим выражением:
f х-^х\ 2 ?-йу\2 _ 2р (х-^х )(у-му )
\ ах J у ay J Р ах ау
/(х,у )(х,У)
exp
2пахауу/1 - р2
2(1 - Р2)
Ниже перечислены свойства такого распределения:
1, Каждая из компонент двумерной нормальной величины распределена нормально:
X ~ N(Дх, аХ).
2, Условное распределение Y\х нормально:
Y\х ~ N і^іу + р(х - Дх), а2(1 - p2)J .
Из этого свойства также вытекает условная гомоекедаетичноеть и E [Y \Х] BLP [X\Y ].
3, Если корреляция р 0, то Y и X независимы,
4, Линейная функция от нормальной случайной величины является также нормальной случайной величиной:
ау рах ау\
2 )
A'
Ду
\Х) у ?Дх/ \рах ау а
Здесь A - 2 х 2 матрица линейного преобразования
4 Свойства многомерного нормального распределения
Пусть Y - многомерная нормальная величина, т,е,
Y - N(д, У),
где д - вектор средних к х 1; У - вариационная матрица к х к.
Плотность распределения Y:
(У - У)'? (У - У)
/г (У)
exp
(2n)fc/2|S|1/2 Представим Y в виде 2-х частей:
?11 ?12 ?21 ?22 ,
У1 У2
N (у, ?)
Тогда многомерное нормальное распределение обладает следующими свойствами:
1, Y1 ~ N(Уl, ?11),
2, Y2|y1 ~ N (у2 + B'(у1 - У1), ?22 - B'?nB), где B = ^ ?12.
3, Если ?12 = 0, то Y1 и Y2 независимы,
4, g + HY ~ N(д + Ну, H?И'), где g - фиксированный вектор, a H - матрица линейного преобразования ,
5 Принцип аналогий
При построении всевозможных оценок используют принцип аналогий, основная идея которого в замене истинной функции распределения эмпирической. Пусть интересующий нас параметр ? известным образом зависит от функции распределения X, FX(x), Тогда, согласно принципу аналогий, оценку ? можно построить, заменив истинную функцию распределения X на ее выборочный аналог:
1 п
Fn(x) = - V] I[xi x].
i=1
Приведем соответствующие примеры:
Пример 1: Пусть интересующий нас параметр:
xdF (x),
? = E [X ]
тогда, по принципу аналогий, его оценка будет:
- 10
xdFn(x) = - xi.
- n t!
Пример 2 (Оценка OLS): Покажем, что оценка OLS также является аналоговой оценкой. Исходная регрессионная модель:
Уі = xie + ei; E [e xi] = 0.
Тогда параметр в находится из условия: E\(уг х'ф)xj\ = 0, Его вид:
в = (E (xjx')) 1E (xiyi).
Используя принцип аналогий, получим OLS оценку:
-і
в = f n ^ n ^ ХгУг
г=і / \ г=і
Пример 3 (Оценка OLS): Оценку OLS можно получить как аналоговую и из условия минимизации среднеквадратичной ошибки. Исходная регрессионная модель в этом случае:
Уг = xie + ег; E \ei|xi] = 0.
Последнее условие можно выразить как:
E\уг xгв|xг] = 0; ^ E\уг^г] = Еф.
Параметр в находится из условия минимизации среднеквадратичной ошибки:
в = argminE\(уг xг)2].
b
Соответствующее аналоговое условие записывается в виде:
1 п
3 = argmin у (уг x^)2.
b
г=1
Очевидно, что результатом решения этой экстремальной задачи является OLS оценка.
6 Регрессия (основные понятия)
Пусть у нас сеть пара (у, x), где у - скаляр, ax- вектор.
Определение: Регрессией называется некоторое "свойство" условного распределения у при заданном x.
Приведем несколько примеров регрессий:
Пример 1 (Регрессия условного среднего): Нас интересует E^x].
Пример 2 (Медианная регрессия): Нас интересует Med^lx],
Пример 3 (Квантильная регрессия): Нас интересует q^lx].
Пример 4 (Регрессия моды): Нас интересует Mode[y\x\,
Рассмотрим подробнее регрессию условного среднего, которая наиболее часто используется в эконометрическом анализе. Ошибкой регрессии среднего называется величина, задаваемая выражением:
e = У - E[y\x-\
Эта ошибка обладает следующими свойствами:
- E [e\x\ = 0;
- E [e\ = 0;
- E[eh(x)\ = 0 для любой функции h(x);
- Регрессоры x и ошибка e могут не быть независимыми.
Таким образом, регрессионная модель условного среднего записывается:
у = E [y\x\ + e; E [e\x\ = 0.
Обычно исследователь, обладая некоторой совокупностью независимых наблюдений {(Уі, xi)}™=i; выбраных случайным образом из генеральной совокупности (у, x), хочет оценить, используя эти данные, функцию E[y\x\. Существует несколько различных подходов к данной задаче:
1, Непараметрическое оценивание: При таком подходе единственным ограничением на модель является предположение о гладкости функции E [y\x\,
3, Полупараметрическое оценивание: Полупараметрическое оценивани представляет собой нечто среднее между параметрическим и непараметричееким подходами. Чтобы прояснить ситуацию, приведем пример. Мы предполагаем, что вид функции условного среднего нам неизвестен, однако известно, что она зависит от линейной комбинации регрессоров и неизвестных параметров, т.е.: E[y\x\ = g(x'в), где вид g(.) неизвестен, однако известно, что эта функция зависит от скалярного произведения х'в,где в ~ вектор неизвестных параметров,
IV Регрессия линейного среднего
1 Оценка по методу наименьших квадратов OLS
Пусть E [y\x\ = х'в, тогда модель регрессии условного среднего записывается следующим образом:
Уі = х'в + е*; E [ei\xi\=0; {(yi,x*)}
iid.
i=l
Предположим, что матрица E [x*xi\ - невырожденная. Тогда параметр в-, минимизирующий среднеквадратичную ошибку будет решением задачи:
в = argminE [(y* x*b)\.
Пользуясь принципом аналогий, можно переписать экстремальную задачу в следующем виде:
Собственно это и сеть оценка наименьших квадратов (OLS),
2 Асмтотические свойства оценки OLS
Рассмотрим асимптотические свойства OLS оценки, для этого перепишем ее в следующем виде:

в = в +

Как мы уже знаем, оценка OLS состоятельна, т.е, в ^ в- Кроме того, OLS оценка асимптотически распределена нормально:
где мы использовали следующие обозначения:
Qxx E [xixi ]; Qe2xx E[ei xixi] Var[xiei].
Очевидно, что приведенные асимптотически свойства следуют из ЦПТ и ЗБЧ, Ясно, что закона больших чисел следует:
1 х Л
- Хіві E[Хіві] = E\xiE\ei\xi}} = 0,
n
і=1
что влечёт состоятельность OLS оценки. Кроме того, из центральной предельной теоремы для независимых одинаково распределенных величин следует:
П
E Хіві N (0,Var[xiei]) = N (0,Qe2xx) ,
i= 1
что приводит к асимптотической нормальности OLS оценки.
Рассмотрим специальный случай, когда ошибка линейной регрессии условно го-моекедаетична, т.е.
E [e2\xi] = а2 = const.
В этом случае Qe2xx = a2Qxx и асимтотическое раепределение OLS оценки имеет вариационную матрицу упрощенного вида:
ХПф - в) N (0,a2Q-J) .
Кроме того, легко построить состоятельную оценку этой вариационной матрицы:
Qxx Л xixi ^ Q
n
i= 1
J2(Vi - xia)
a2.
i=1
Последнее довольно легко показать: 1
Е(Уі - xie)
i= 1 n
E(yi- xie)2 + ~E(xiв - xia)2 + ~E(yi- xie )(xie - xie)
i= 1
i= 1
i= 1
- ?(# - xie)2 +(в - в)' (_ E xixi I(в - в) + _ E(*- xie)xi(e - в).
n ^ 1 n ^ / n ¦‘f^
i=1
i=1
i=1
Далее, применяя ЗБЧ и теорему Слуцкого, получим:
-У\у% - xiP)
n ^
. ..,2 Р 2
i - xip) a ¦
і=1
i=l
(в - в)'' ( П У xix4 (e - 3) -^0;
2 _ ^
i=1
n У (y- xie)xi(e - 3) -^ 0
Т.е. это и означает состоятельность оценки условной диепереии регрессионной ошиб
ки:
- У (yi - xi3)
n
2 Р 2
i - xie) a
i= 1
Теперь рассмотрим общий случай гетероекедаетичноети, В этом случае нам нужно состоятельно оценить матрицу Qe2xx, Можно показать, что состоятельной оценкой этой матрицы будет следующая:



Содержание раздела