Применив метод наименьших квадратов к двум простым моделям, мы
получили следующие результаты: в модели, где нет фактически объясняющих переменных,
где y_i = β + ε_i в такой модели мы получили оценку метода наименьших
квадратов — β с крышкой равно просто y среднему, среднему арифметическому всех y.
В линейной модели, где y_i = β₁ + β₂x_i + ε_i мы получили более сложные формулы.
Формулу для β₂ с крышкой, она немножко громоздкая,
ее трудно напрямую проинтерпретировать, что это отношение ∑(x_i-
x среднее) * (y_i-
y среднее) деленное на ∑(x_i-
x среднее) в квадрате.
И в этой же модели β₁ с крышкой = y среднее-
β₂ с крышкой * x среднее.
То есть второе уравнение означает, что линия регрессии y с крышкой
= β₁ с крышкой + β₂ с крышкой * х проходит через точку (х среднее, у среднее).
Еще раз подведем итог всей используемой терминологии:
y_i — зависимая или объясняемая переменная (синонимы).
x_i — регрессор или объясняющая переменная.
ε_i — просто ошибка или ошибка модели,
или случайная составляющая, или случайная ошибка.
То есть та величина, которая для нас непредсказуема, мы ее не моделируем.
y_i с крышкой — прогноз или прогнозное значение.
ε_i с крышкой — остаток, ошибка прогноза.
И RSS (residual sum of squares) — сумма квадратов остатков,
сумма квадратов ошибок прогнозов, ∑ε_i с крышкой в квадрате.
Нарисуем на графике, покажем наше стандартное обозначение.
Итак, у нас есть набор данных: (x_i, y_i, x_1, y_1, x_2, y_2) и так далее.
Этому множеству наблюдений соответствует облако точек на плоскости.
Ось х, ось у и некоторое облако точек.
Заметим, что есть некий геометрический центр этого облака,
этот геометрический центр не обязан совпадать ни с одной из точек, ну может,
конечно, случайно так выйти.
Ну в принципе, не обязан.
То есть это некая точка в центре облака с формальной математической точки
зрения определяется как х среднее арифметическое и у среднее арифметическое.
И когда мы оцениваем модель y_i =
β₁ + β₂*x_i + ε_i мы получаем по
методу МНК — методу наименьших квадратов оценки β₁ с крышкой и β₂ с крышкой.
Есть некая достаточно большая формула для β₂ с крышкой,
выражаемая через отклонение ∑(x_i-
x среднее) * (y_i-
y среднее) делить на ∑(x_i-
x среднее) в квадрате.
И β₁ с крышкой = y среднее-
β₂ с крышкой * х среднее.
Ну еще второе уравнение можно трактовать
как β₁ с крышкой + β₂ с крышкой * х среднее равняется у среднее.
То есть мы проводим некоторую прямую, которая заменяет это облако точек.
Вот какая-то такая
прямая.
Заметим, что эта прямая y с крышкой = β₁ с крышкой + β₂ с крышкой * х,
эта прямая обязана проходить через геометрический центр облака точек,
потому что y среднее = β₁ с крышкой + β₂ с крышкой * х среднее.
Кроме того на этой прямой можно изобразить значение β₁ с крышкой.
Вот эта величина — это β₁ с крышкой, потому что при х = 0,
у с крышкой = β₁ с крышкой.
И именно поэтому, из-за того что β₁ с крышкой
— это пересечение нашей прямой регрессии с вертикальной осью,
то поэтому по английски β₁ с крышкой называется intercept (пересечение).
Дальше, рассмотрим какое-нибудь типичное наблюдение,
вот это пусть это будет первое наблюдение (х_1,у_1).
Соответственно для заданного х мы прогнозируем вот такой вот у.
Эта высота — это настоящий у_1,
то есть вот если так мы обозначим: это будет у_1, а это будет х_1.
А вот эта величина — это, соответственно,
будет у_1 с крышечкой — прогноз, который соответствует первому наблюдению.
А ошибка — разница между первым у и первым у с
крышечкой — это будет ошибка прогноза ε_1 с крышечкой.
Соответственно, метод наименьших квадратов, он подбирает прямую так,
чтобы ошибки вот они, я нарисую ошибки —
это расстояние от каждой точки до прямой, измеренное по вертикали.
Соответственно, метод наименьших квадратов подбирает прямую так,
чтобы сумма квадратов ошибок была минимальна.
Теперь перейдем к случаю большого количества объясняющих переменных.
К счастью, случай двадцати объясняющих переменных концептуально ничем не
отличается от случая всего лишь двух объясняющих переменных x и z,
поэтому соответствующие выкладки мы будем делать для
модели y_i = β₁ + β₂x_i + β₃z_i + ε_i.
И наша задача выписать систему уравнений,
из которой будут находиться β₁ с крышкой,β₂ с крышкой и β₃ с крышкой.
Что произойдет в случае большого количества объясняющих переменных?
Мы рассмотрим на примере двух, потому что даже уже с двумя готовые формулы для
β с крышкой в явном виде будут иметь слишком громоздкий вид.
Итак, у нас имеется модель y_i = β₁ + β₂x_i + β₃z_i + ε_i.
Поскольку ε_i — непрогнозируемая часть,
то формулы для прогнозов будут иметь
вид y_i с крышкой = β₁ с крышкой + β₂ с крышкой * x_i + β₃ с крышкой * z_i.
Ошибка прогноза ε_i с крышкой, соответственно, равняется y_i-
y_i с крышкой.
И метод наименьших квадратов минимизирует сумму ε_i с крышкой в квадрате.
Эта величина — это функция от β₁ с крышкой, β₂ с крышкой и β₃ с крышкой.
Мы хотим приравнять производную по каждой переменной к нулю и
посмотреть какие условия первого порядка выйдут.
Соответственно, давайте заметим, что вот у_i они от β с крышкой не зависят.
От β с крышкой зависят только прогнозы, поэтому если я возьму производную
от ε_i с крышкой по dβ₁ с крышкой, то от у_i там нет β₁ с крышкой,
там только настоящий β₁ есть, который мы не знаем и никогда не узнаем.
А производная от у с крышкой по β с крышкой — это единичка.
Соответственно, это будет минус единичка.
Производная ε_i с крышкой по dβ₂ по
аналогичным соображениям — это будет минус x_i.
И производная ε_i с крышкой по β₃ с крышкой — это будет минус z_i.
Ну теперь мы можем выписать условие первого порядка.
Условие первого порядка будет производная Q по β₁ с крышкой =
0 Производная Q по β₂ с крышкой = 0.
Производная Q по β₃ с крышкой = 0.
Берем производное от суммы.
Соответственно, получаем первую.
Сумма, производное от квадрата —
это 2 умножить на ε_i с крышкой на производное от ε с крышкой.
А производное от ε с крышкой это минус 1.
Равняется нулю.
Берем производную это условие dQ по dβ₁ с крышкой равняется нулю.
Аналогично берем производную от этой суммы по β₂ с крышкой
получаем сумму 2 * ε_i с крышкой на производную ε с крышкой по β₂.
Получаем минус x_i = 0.
И аналогично взяв производную от суммы ε_i с крышкой по β₃ с крышкой мы получим
сумму 2 * ε_i с крышкой на минус z_i равняется нулю.
