0:13
Константа σ² неизвестна, и именно эта
константа входит в формулу для условной дисперсии любого оценённого коэффициента.
А нам хочется строить доверительные интервалы для коэффициентов,
проверять гипотезы,
поэтому нам нужен какой-то способ оценить неизвестную константу σ².
И, соответственно, такой способ существует.
В качестве оценки σ² с σ² крышкой для неизвестной константы
можно взять RSS, сумму квадратов остатков регрессии, делённую на (n – k),
где n — это количество наблюдений, а k — это количество коэффициентов.
Сейчас мы выпишем список хороших свойств, где увидим,
что эта оценка обладает хорошими свойствами.
Имея оценку σ² с крышкой - оценку дисперсии ε_i
при фиксированных регрессорах, можно, соответственно,
получить оценку дисперсии любого коэффициента оценённого.
Так, например, поскольку настоящая дисперсия оценки β_j с крышкой — это есть
σ² умножить на какую-то функцию от регрессоров, от объясняющих переменных,
то, соответственно, в качестве оценки дисперсии β_j с крышкой
мы возьмём σ² с крышкой, получаемую по формуле RSS делить на (n – k),
помножить на ту же самую функцию от регрессоров.
То есть конкретно мы получаем в силу сформулированной нами теоремы,
что оценка дисперсии β_j с крышкой при фиксированных иксах — это σ²
с крышкой, делённая на RSS_j, где RSS_j — это RSS в
регрессии j-ой объясняющей переменной на остальные объясняющие переменные.
Для удобства, чтобы строить доверительные интервалы и проверять гипотезы,
используется корень из оценки дисперсии.
Чтобы это долго не писать «корень из оценки дисперсии» и там ещё
что-то в скобочках и условие на x ставить, вводят более простое обозначение,
а именно: вводят понятие «стандартной ошибки».
Стандартная ошибка коэффициента β_j с крышкой — это и есть корень
из оценки дисперсии.
И чтобы вот долго не писать «корень из оценки дисперсии»,
пишут «стандартная ошибка», обозначают стандарт se (от английского
«standard error») и в скобках β_j с крышкой.
Например, в модели парной регрессии,
где y_i = β₁ + β₂ x_i + ε_i стандартная ошибка β₂ с крышкой
— это корень из: в числителе σ² с крышкой, получаемое по
формуле RSS делить на (n – k), делить на сумму xi – x среднее, в квадрате.
И, соответственно, если мы владеем средствами линейной алгебры,
то мы можем записать компактную формулу не только для оценки дисперсии отдельного
коэффициента, но и для оценки всей ковариационной матрицы коэффициентов,
то есть для оценки дисперсий каждого коэффициента и всех возможных ковариаций
условных каждого коэффициента с каждым коэффициентом.
И, конечно, по аналогии, оценка такой ковариационной матрицы имеет вид:
σ² с крышкой умножить на X'X в минус первой.
Эту матрицу, в отличие от настоящей дисперсии,
которая неизвестна, которую мы никогда не узнаем в реальности,
эту оценённую матрицу мы легко можем посчитать.
И, соответственно, в R это будет всего лишь одна команда vcov
(variance-covariance, то есть ковариационная матрица) от
оценённой модели.
Boris DemeshevSenior Lecturer
