Итак, мы вывели
оценки для дисперсии β₂ с крышкой, ковариации β₁, β₂ с крышкой
при фиксированном Х и дисперсии β₁ с крышкой при фиксированном Х.
Соответственно, пожалуй самая важная формула, это то,
что дисперсия условная — β₂ с крышкой при фиксированном Х,
это σ² делённое на сумму x_i минус х среднее в квадрате.
И аналогичным образом мы получили две других формулы для дисперсии
β₁ с крышкой и ковариации β₁, β₂ с крышкой условной по регрессерам.
Тот, кто когда-либо слушал другой курс эконометрики,
возможно встречался с тем, что рассчитывались коэффициенты просто
дисперсии: безусловная дисперсия, β₁ с крышкой,
безусловная дисперсия β₂ с крышкой и регрессоры иксы были не стохастические.
И этот человек с удивлением увидит точно такую же формулу и спросит: «ну,
а зачем все эти сложности со стохастическими иксами,
если получаются точно такие же формулы.
Зачем нужна эта условная дисперсия?
Почему нельзя было обойтись безусловной?» Ответ на этот вопрос следующий: формула
как раз получается такой,
потому что человеку хочется как-то рассуждать попроще.
Рассуждать в сложном случае примерно так же, как он рассуждает в простом.
Именно поэтому формула выходит такой.
А формула для настоящей дисперсии β₂ с крышкой,
она к сожалению будет громоздкой, она будет зависеть от того,
как конкретно распределены иксы в случае со стохастическими регрессорами.
Что касается общего случая, не случая парной регрессии, когда у нас одна
объясняющая переменная x_i, а если у нас много объясняющих переменных: x,
z, w и так далее, то в общем случае формулу для условной
дисперсии β_j с крышкой написать в явном виде сложно, в скалярном,
но однако можно предложить простой способ получения этой дисперсии.
А именно, условная дисперсия оценки j-го коэффициента при фиксированных иксах,
ее можно получить следующим образом: можно взять
σ² поделить на RSS в специальной вспомогательной регрессии.
Этот RSS вспомогательной регрессии это RSS,
то есть сумма квадратов остатков в регрессии этого самого j-го регрессора,
j-ой объясняющей переменной на остальные объясняющие переменные.
Соответственно, эта формула является обобщением той формулы
для условной дисперсии β₁ с крышкой при фиксированном X и дисперсии β₂
с крышкой при фиксированном X.
Что мы вывели?
К счастью, используя линейную алгебру, можно доказать,
что вся ковариационная матрица, условная ковариационная матрица вектора
β с крышкой при фиксированных иксах имеет очень простой вид, а именно, это
σ² умножить на Х транспонированное Х в минус в первой степени.
То есть для тех, кто не знаком с линейной алгеброй, можно просто понимать,
что средства линейной алгебры позволяют в компактном виде
записать ковариационную матрицу вектора β с крышкой.
А для тех, кто знаком с линейной алгеброй, мы докажем этот факт,
поскольку он доказывается довольно просто и показывает некоторую
неплохую технику работы с ковариационными матрицами.
А именно, подобно дисперсии, из дисперсии,
если вы помните, константа выносится с квадратом.
Такое свойство у дисперсии.
Дисперсия а на случайную величину х — это а² на дисперсию х.
Для ковариационных матриц свойство очень похожее.
А именно, ковариационная матрица A умножить на какой-то вектор у,
это A умножить на ковариационную матрицу вектора у умножить на A транспонированное,
на A-штрих.
И еще для того чтобы легче понимать доказательства,
давайте вспомним два простых факта про транспонирование, а именно, что если надо
транспонировать произведение матрицы — А на B-штрих, то это то же самое,
что перемножить транспонированные матрицы в обратном порядке B-штрих на А-штрих.
И второй факт про транспонирование то,
что транспонирование матрицы и обращение можно менять местами.
Можно сначала обратить матрицу, потом транспонировать.
Можно сначала транспонировать, а потом обратить матрицу,
от этого результат не поменяется.
Из этих двух простых фактов следует,
что Х транспонированное Х это симметричная матрица.
Если транспонировать Х транспонированное Х, то останется Х транспонированное Х.
И то же самое относится к этой матрице в минус первой степени.
Теперь переходим, собственно, к выводу ковариационной матрицы
для вектора β с крышкой средствами линейной алгебры.
Boris DemeshevSenior Lecturer
