[МУЗЫКА]
[МУЗЫКА] Теперь рассмотрим ту
же самую ситуацию, когда у нас много регрессеров.
Я напомню, что мы с вами вывели условие первого порядка,
что ∑εi(с крышкой) · 1 = 0, ∑εi(с крышкой) · xi = 0 и ∑εi(с крышкой) · zi = 0.
И геометрически это означает, что вектор ε(с крышкой)
⊥ (вектору из единичек), ε(с крышкой) ⊥ вектору x и ε(с крышкой) ⊥ вектору z.
Соответственно, мы можем проиллюстрировать метод наименьших
квадратов для случая множества объясняющих переменных.
Заодно на этом рисунке мы увидим, где находится TSS, RSS и ESS.
Сейчас мы проиллюстрируем в многомерном пространстве случай множественной
регрессии, то есть проиллюстрируем оценку модели yi = β₁ + β₂·xi
+ β₃ · zi + εi с помощью метода наименьших квадратов.
Я напомню, что мы выяснили — условие первого порядка для оценки
неизвестных коэффициентов β₁, β₂ и β₃ имеет следующий вид:
ε(с крышкой) должно быть ⊥ (вектору из единичек),
ε(с крышкой) должно быть ⊥ вектору x и ε(с крышкой) должно быть ⊥ вектору z.
Это первый факт, который легко иллюстрировать геометрически.
Второй факт...
Да, из этой системы уравнений мы находим β₁(с крышкой),
β₂(с крышкой) и β₃(с крышкой) — оценки неизвестных β₁, β₂ и β₃.
Кроме того, мы знаем, что εi(с крышкой) — это ошибка прогноза, yi- ŷ.
Отсюда получается, что yi = ŷi + εi(с крышкой),
или в векторной форме: вектор y = (вектор)ŷ + ε(с крышкой),
и этот факт, конечно, тоже прекрасно иллюстрируется геометрически.
Это означает, что можно пройти вектор y, а можно пройти вектор ŷ,
а потом пройти вектор ε(с крышкой) и мы придем в одну и ту же точку.
Теперь мы можем спокойно иллюстрировать.
Кроме того, пожалуй, стоит еще отметить, что
ŷ = = β₁(с крышкой) · (вектор из
единичек) + β₂(с крышкой) · (вектор x) + + β₃(с крышкой) · (вектор z).
То есть вектор ŷ можно выразить, взяв, сложив,
с какими-то весами вектор из одних единичек, вектор x и вектор z.
Теперь рисуем.
Вот это у нас вектор из одних единичек.
Это — продолжение, он задает некоторую прямую.
Будет у нас начало координат.
Я напомню, что пространство у нас n-мерное, n — это количество наблюдений.
Поэтому...
И n, как правило, велико.
Например, 100 наблюдений.
Поэтому, например, в этом пространстве мы можем нарисовать 20 векторов,
перпендикулярных друг другу,
и при этом все попарно будут перпендикулярны друг другу.
Это вектор x.
Это вектор z.
Это будет вектор y.
Во-первых, я все множество векторов,
которое можно получить, складывая с каким-то весом вектор x,
вектор z, вектор из единичек, обозначу вот таким вот облачком.
То есть облачко — это все те вектора, которые можно получить,
складывая с некоторыми весами вектор x, вектор z и вектор из единичек.
Итак, как я геометрически интерпретирую условия первого порядка и факт,
что ε(с крышкой) — это разница между y и ŷ.
Во-первых, ŷ можно выразить через вектор из единичек,
через вектор x и через вектор z.
Вот она, формула выражающая.
Значит, он лежит в этом облачке.
В этой, говоря умными словами, гиперплоскости.
Значит, вектор ŷ.
Давайте он будет другого цвета.
Это вектор ŷ.
Заметим, что
вектор ε(с крышкой) [ПИШЕТ
НА ДОСКЕ] в сумме с вектором ŷ дает вектор y.
Кроме того, поскольку плоскость, эта гиперплоскость,
это облачко образовано вектором из единичек, вектором x и вектором z,
а всем им вектор ε(с крышкой) перпендикулярен,
значит, ε(с крышкой) перпендикулярен всей гиперплоскости, всему облачку, и,
соответственно, вот здесь вот мы получаем прямой угол.
Таким образом мы получили следующую интерпретацию метода
наименьших квадратов: ŷ...
прогнозы, которые мы получаем по методу наименьших квадратов...
— это проекция, проекция исходного
вектора зависимых переменных y на множество,
на множество векторов,
получаемых с помощью...
Получаемых с помощью сложения
с разными весами вектора из единичек, вектора x и вектора z.
Это первый геометрический фактор.
Заметим другие геометрические факторы.
Во-первых, отметим, что из условия первого порядка,
что ε(с крышкой) перпендикулярен вектору из единичек, у нас получается,
что ∑εi(с крышкой) = 0; или то,
что ∑yi − ŷi = 0; или,
что ∑yi = ∑ŷi; или ȳ = ŷ(среднее).
То есть среднее значение фактических зависимых
переменных равно среднему значению прогнозов.
Но мы знаем, что среднее значение можно получить,
спроецировав любой вектор на вектор...
на прямую, порождаемую вектором из одних единичек.
Соответственно, вот этот факт геометрически означает следующее:
если я спроецирую вектор y на прямую, порождаемую вектором из единичек,
и спроецирую ŷ на ту же самую прямую, то эти проекции попадут в одну и ту же точку.
Ну, еще в школе этот факт в 11-м классе назывался «теоремой о трёх
перпендикулярах».
Вот здесь он чудесным образом проявляется.
Здесь я получил вектор
ŷ · (вектор из единичек), вернее, вектор...
число ŷ · (вектор из единичек),
и вот здесь будет та же самая проекция.
[ПИШЕТ НА ДОСКЕ] И
давайте посмотрим на получающийся треугольник с
вершинами в кончике вектора ŷ,
вершиной в кончике...
вершина в кончике вектора y, вершина в кончике вектора ŷ и
вершина в кончике растянутого вектора из единичек.
Вот у нас получился некий треугольник.
Этот треугольник — прямоугольный.
Давайте я для удобства назову точки.
A, B, C.
Этот треугольник — прямоугольный, потому что ε(с крышкой) перпендикулярен всему,
что лежит в облаке,
а отрезок BC лежит в облаке, поэтому этот треугольник — прямоугольный.
И, соответственно, в нем действует теорема Пифагора, а именно то, что гипотенуза,
— это у нас будет третий геометрический факт — а именно то,
что AB² = = AC² + BC².
А...
но давайте посмотрим на смысл каждого показателя,
как он у нас интерпретируется содержательно-эконометрически.
AC — это...
AC² — это длина вектора ε(с крышкой)², но...
AC² — это длина вектора ε(с крышкой)², это ∑εi(с
крышкой)², это есть RSS.
Вектор AB².
AB².
Ну, это длина вектора AB в квадрате.
Ну, вектор AB — это разница между y и ȳ · (единичный) Соответственно,
это |y- ȳ · (вектор из единичек)|².
Ну, стало быть это
∑(yi − ȳ)², стало быть, это — TSS.
И, наконец, BC² — это длина вектора BC.
BC — это разница двух векторов — вектора ŷ и растянутого вектора из единичек.
Соответственно, это |ŷ − ȳ · (вектор из единичек)|².
Стало быть, это ∑(ŷ
− ȳ)², и, стало быть, это ESS.
Таким образом, мы доказали, что между показателями RSS,
TSS и ESS имеет место следующее соотношение (а именно,
теорема Пифагора): TSS = ESS + RSS.
Но на этом чудеса геометрической интерпретации не заканчиваются.
Давайте посмотрим на четвертый факт,
а именно то,
что отношение ESS
деленное на TSS — это отношение
квадрата [ПОКАЗЫВАЕТ НА ДОСКЕ]
вот этого катета к длине гипотенузы,
поэтому отношение ESS к TSS, которое мы дальше будем интерпретировать
— это косинус квадрат, это отношение...
ESS (это у нас BC²) делить на TSS (это AB²),
соответственно это (BC/AB)²,
и это и есть отношение катета к гипотенузе, это есть косинус угла,
соответственно, это есть косинус некоего угла φ в квадрате, (cosφ)².
Нам оно потребуется и я сразу покажу его геометрический смысл.
Значит, угол между BC и AB — это угол φ.
И косинус этого угла — это есть отношение ESS к TSS.
И этими четырьмя фактами геометрическими очень
удобно оперировать, чтобы понять смысл метода наименьших квадратов.
А именно, ŷ — это проекция y на множество векторов,
порождаемых с помощью регрессеров.
Второй факт, что ȳ = ŷ(среднее).
Это вызвано первым условием, а именно тем,
что у нас включен в модель свободный член,
отсюда при взятии производной по β₁(с крышкой) получается вот это условие.
И благодаря этому факту мы получаем, что TSS = ESS + RSS.
Действует теорема Пифагора.
И отношение ESS к TSS, которое имеет смысл,
это оказывается косинус квадрат некоторого угла, (cosφ)².
[МУЗЫКА]
Boris DemeshevSenior Lecturer
