Этот фрагмент особо полезен тем, кто знает линейную алгебру.
Оказывается, средствами линейной алгебры легко не только сразу
посчитать дисперсию β1 с крышкой или β2 с крышкой,
одним махом можно найти все эти дисперсии и все ковариации.
Они все находятся в этой ковариационной матрице.
Действительно, это матрица, которая устроена следующим образом.
Здесь находится дисперсия β1 с крышкой при фиксированном X,
дальше идет ковариация β1 с крышкой β2 с крышкой при фиксированном X и так далее.
Здесь идёт ковариация — вторая срока,
первый столбец — β2 с крышкой с β1 с крышкой при фиксированном X,
дальше идёт дисперсия β2 с крышкой при фиксированном X и так далее.
И заканчивается это всё дисперсией βk с крышкой при фиксированном X.
Оказывается, очень компактная формула в терминах линейной алгебры
есть для этой матрицы.
βk с крышкой при фиксированном X.
И здесь точно такое же, ковариационная матрица, она всегда симметричная.
β1 с крышкой βk с крышкой при фиксированных регрессорах.
Ну чтобы понять, как легко получить эту формулу,
нам сначала надо понять, какими свойствами обладает ковариационная матрица.
Значит, во-первых, свойства ковариационных матриц.
Во-первых, посмотрим, какие есть свойства у математического ожидания.
Вот если у меня есть математическое ожидание от вектора,
то это имеется в виду вектор из математических ожиданий.
И у математического
ожидания свойства совершенно аналогичные,
у векторного математического ожидания свойства совершенно аналогичные скалярным.
Ну то есть для одномерных случайных величин, одномерные случайные величины,
было свойство: математическое ожидание от a на у равняется
a (давайте y1 напишем) на математическое ожидание y1.
В многомерном случае, многомерные случайные величины,
здесь несколько дело обстоит посложнее,
поскольку a — это должна быть матрица, и важен порядок умножения матриц.
Тут будет два свойства.
E(A) * y будет равняться A * E(y), это нетрудно доказать,
но это достаточно интуитивно.
И второе свойство, что если у меня y умножается на матрицу B,
B с другой стороны, то и выносить B можно только направо из математического
ожидания: E(y) * B.
Соответственно, как можно
определить вот эту самую ковариационную
матрицу от вектора β с крышкой при фиксированном X?
Это есть не что иное, как условное...
Это определение ковариационной матрицы,
его выражение через математическое ожидание.
Это математическое ожидание вектора β с крышкой на вектор β с крышкой
транспонированное при фиксированном X минус
математическое ожидание от β с крышкой при фиксированном
X на математическое ожидание β с крышкой транспонированное при фиксированном X.
Эта формула является обобщением одномерной формулы,
что дисперсия y1 при
фиксированном X — это
есть математическое ожидание от y1-квадрат при
фиксированном X минус математическое
ожидание от y1 при фиксированном X, взятое в квадрат.
Соответственно, вернёмся к этому обобщению.
Что мы получаем?
Мы получаем такое важное свойство.
Если скомбинировать свойство математического ожидания и определение,
то мы получим такое важное свойство ковариационной матрицы.
Ковариационная матрица A на β с крышкой при фиксированном X равняется:
математическое ожидание от A на β с крышкой помножить
A на β с крышкой транспонированное при фиксированном
X минус математическое ожидание от A на β с крышкой
при фиксированном X на математическое ожидание от A на β
с крышкой потом транспонированное при фиксированном X.
При транспонировании меняется порядок следования матриц,
меняется порядок, в котором они умножаются.
И мы получаем, что это есть...
Дальше из этого математического ожидания наружу вылезет A,
а вот здесь поменяется порядок.
И если налево будет вылезать A,
то вот из этого сомножителя направо будет вылезать A транспонированное.
Здесь тоже A вылезет налево,
а вот здесь вот направо вылезет A транспонированное.
И получится: A помножить
на E от β с крышкой на β с крышкой транспонированное
при фиксированных X минус E от β с крышкой при
фиксированных X на E от β с крышкой транспонированное
при фиксированных X и еще помножить на A транспонированное.
И получится у нас такое замечательное свойство.
A вышла налево, посерёдке осталась ковариационная
матрица вектора β с крышкой, а справа появилась A транспонированная.
То есть аналогом формулы: дисперсия
a на y1 при фиксированном X — a-квадрат
на дисперсию y1 при фиксированном X,
— аналогом этой формулы выступает следующая:
ковариационная матрица A на вектор y при фиксированном X
равняется A на ковариационную матрицу y при
фиксированном X
умножить на A транспонированную.
И этого свойства нам будет совершенно достаточно,
чтобы посчитать вот эту самую ковариационную матрицу
оценок коэффициентов β с крышкой в общем виде.
Ну давайте попробуем.
Я напомню, что β с крышкой равняется X'X в минус первой X'y.
И у нас есть предпосылка,
что ковариационная матрица вектора
ε при фиксированных X имеет вид σ-квадрат умножить на единичную.
Ну и, конечно же, у нас в матричном виде наша
модель записывается как y равняется X на β плюс ε.
На первом шаге, шаг 1,
мы найдём ковариационную матрицу вектора y при фиксированных X.
Это есть ковариационная матрица вектора X на β плюс ε при фиксированных X.
Но если X фиксированы, то вот это — это просто константа.
Константы не влияют ни на дисперсии, ни на ковариации, которые «живут» в этой
матрице, поэтому их можно просто не писать.
Это есть ковариационная матрица вектора ε при фиксированных X, и это есть,
по предположению, σ-квадрат умножить на единичную матрицу.
И остался шаг 2.
Ковариационная матрица вектора β с крышкой при фиксированных
X равняется:
ковариационная матрица вектора X'X в минус первой
X'y при фиксированных X.
Это какая-то одна здоровая матрица констант.
Поскольку у нас регрессоры, иксы,
считаются константами, мы выносим ее — налево, и направо — транспонированную.
Получаем X'X в минус первой X' умножить на
ковариационную матрицу вектора y при фиксированных X умножить на
X'X в минус первой X' транспонированная.
Равняется, это так и остаётся,
X'X в минус первой X', это получается σ-квадрат умножить на единичную матрицу.
А здесь надо транспонировать.
При транспонировании меняется порядок, и надо ещё раз транспонировать.
Значит, вот этот X — он станет первым, а вот эта матрица встанет направо.
То есть вот эта и вот эта матрица поменяются местам,
и надо будет ещё транспонировать.
Ну X транспонированный транспонированное будет просто X.
А эта матрица — она симметричная.
Ну потому что, действительно, X транспонированное X,
если ее транспонировать, будет...
Переставляем местами и довешиваем транспонирование.
X транспонированное на X, дважды транспонированное, это X'X.
То есть вот эта матрица симметричная, её можно не транспонировать.
Получаем X'X в минус первой.
И замечаем, что единичную матрицу можно при умножении не писать.
Константу можно вынести вперёд.
И получится: σ-квадрат умножить на X'X в
минус первой X' на X на X'X в минус первой.
Вот эти матрицы обратные, при умножении они взаимно уничтожатся,
и останется готовый приятный ответ: σ-квадрат на X'X в минус первой.
Соответственно, мы пришли к выводу, что ковариационная матрица вектора
β с крышкой при фиксированных X имеет вид σ-квадрат помножить на X'X в минус первой.
В этой матрице находятся и дисперсии условные каждого β с крышкой,
и ковариации каждого β с крышкой с каждым β с крышкой.
И в скалярном виде мы их выводили долго по отдельности и только для случая
парной регрессии, а в матричном виде они выводятся легко, все и сразу,
и этой формулой можно будет пользоваться.
Boris DemeshevSenior Lecturer
