Константа σ² неизвестна, и именно эта константа входит в формулу для условной дисперсии любого оценённого коэффициента. А нам хочется строить доверительные интервалы для коэффициентов, проверять гипотезы, поэтому нам нужен какой-то способ оценить неизвестную константу σ². И, соответственно, такой способ существует. В качестве оценки σ² с σ² крышкой для неизвестной константы можно взять RSS, сумму квадратов остатков регрессии, делённую на (n – k), где n — это количество наблюдений, а k — это количество коэффициентов. Сейчас мы выпишем список хороших свойств, где увидим, что эта оценка обладает хорошими свойствами. Имея оценку σ² с крышкой - оценку дисперсии ε_i при фиксированных регрессорах, можно, соответственно, получить оценку дисперсии любого коэффициента оценённого. Так, например, поскольку настоящая дисперсия оценки β_j с крышкой — это есть σ² умножить на какую-то функцию от регрессоров, от объясняющих переменных, то, соответственно, в качестве оценки дисперсии β_j с крышкой мы возьмём σ² с крышкой, получаемую по формуле RSS делить на (n – k), помножить на ту же самую функцию от регрессоров. То есть конкретно мы получаем в силу сформулированной нами теоремы, что оценка дисперсии β_j с крышкой при фиксированных иксах — это σ² с крышкой, делённая на RSS_j, где RSS_j — это RSS в регрессии j-ой объясняющей переменной на остальные объясняющие переменные. Для удобства, чтобы строить доверительные интервалы и проверять гипотезы, используется корень из оценки дисперсии. Чтобы это долго не писать «корень из оценки дисперсии» и там ещё что-то в скобочках и условие на x ставить, вводят более простое обозначение, а именно: вводят понятие «стандартной ошибки». Стандартная ошибка коэффициента β_j с крышкой — это и есть корень из оценки дисперсии. И чтобы вот долго не писать «корень из оценки дисперсии», пишут «стандартная ошибка», обозначают стандарт se (от английского «standard error») и в скобках β_j с крышкой. Например, в модели парной регрессии, где y_i = β₁ + β₂ x_i + ε_i стандартная ошибка β₂ с крышкой — это корень из: в числителе σ² с крышкой, получаемое по формуле RSS делить на (n – k), делить на сумму xi – x среднее, в квадрате. И, соответственно, если мы владеем средствами линейной алгебры, то мы можем записать компактную формулу не только для оценки дисперсии отдельного коэффициента, но и для оценки всей ковариационной матрицы коэффициентов, то есть для оценки дисперсий каждого коэффициента и всех возможных ковариаций условных каждого коэффициента с каждым коэффициентом. И, конечно, по аналогии, оценка такой ковариационной матрицы имеет вид: σ² с крышкой умножить на X'X в минус первой. Эту матрицу, в отличие от настоящей дисперсии, которая неизвестна, которую мы никогда не узнаем в реальности, эту оценённую матрицу мы легко можем посчитать. И, соответственно, в R это будет всего лишь одна команда vcov (variance-covariance, то есть ковариационная матрица) от оценённой модели.
