1.1.5. МНК на графике. Случай множества регрессоров

Loading...

Из курса от партнера National Research University Higher School of Economics

Эконометрика (Econometrics)

324 оценки

National Research University Higher School of Economics

Эконометрика (Econometrics)

324 оценки

Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.

Из урока

Метод наименьших квадратов или рабочая лошадка эконометриста, введение в R

Материалы всех недель доступны сразу, но в системе указаны рекомендуемые сроки выполнения всех заданий. Форум также открыт для Ваших вопросов. Ознакомьтесь с правилами оценивания и проведения контрольных работ. Обращаем Ваше внимание на то, что тест можно делать сколько угодно раз, но на каждые 8 часов даются только три попытки. Если Вы начали выполнять тест, то время на его выполнение неограничено. Ссылки на pdf-файлы лекций и скрипты для всех недель находятся в разделе Ценные ресурсы так же, как и правки к видео-фрагментам :) В первых же тестах есть вопросы, где необходимо использовать R, поэтому надеемся, что Вы уже успели поставить его на свои компьютеры. Если нет, то в Ценных ресурсах лежат подробные инструкции по установке софта. После установки не забудьте открыть в R-Studio (File -> Open file) файл "install_all.R" и запустите его, чтобы поставить все необходимые нам в ближайшее время пакеты. Выделите все строчки и запустите с помощью сочетания Ctrl + Enter на Windows или Cmd + Enter на Mac. Чтобы познакомиться с R поближе, в данной виньетке представлено краткое и наглядное описание интерфейса R-studio, шоткатов и других полезных вещей. Успехов!

1.1.1. Суть метода наименьших квадратов8:45

1.1.2. Пример 1. Регрессия на константу [у доски]8:21

1.1.3. Пример 2. Парная регрессия. Начало [у доски]6:58

1.1.4. Пример 2. Парная регрессия. Окончание [у доски]8:17

1.1.5. МНК на графике. Случай множества регрессоров11:17

Познакомьтесь с преподавателями

Boris Demeshev
Senior Lecturer
Department of Applied Economics

Применив метод наименьших квадратов к двум простым моделям, мы

получили следующие результаты: в модели, где нет фактически объясняющих переменных,

где y_i = β + ε_i в такой модели мы получили оценку метода наименьших

квадратов — β с крышкой равно просто y среднему, среднему арифметическому всех y.

В линейной модели, где y_i = β₁ + β₂x_i + ε_i мы получили более сложные формулы.

Формулу для β₂ с крышкой, она немножко громоздкая,

ее трудно напрямую проинтерпретировать, что это отношение ∑(x_i-

x среднее) * (y_i-

y среднее) деленное на ∑(x_i-

x среднее) в квадрате.

И в этой же модели β₁ с крышкой = y среднее-

β₂ с крышкой * x среднее.

То есть второе уравнение означает, что линия регрессии y с крышкой

= β₁ с крышкой + β₂ с крышкой * х проходит через точку (х среднее, у среднее).

Еще раз подведем итог всей используемой терминологии:

y_i — зависимая или объясняемая переменная (синонимы).

x_i — регрессор или объясняющая переменная.

ε_i — просто ошибка или ошибка модели,

или случайная составляющая, или случайная ошибка.

То есть та величина, которая для нас непредсказуема, мы ее не моделируем.

y_i с крышкой — прогноз или прогнозное значение.

ε_i с крышкой — остаток, ошибка прогноза.

И RSS (residual sum of squares) — сумма квадратов остатков,

сумма квадратов ошибок прогнозов, ∑ε_i с крышкой в квадрате.

Нарисуем на графике, покажем наше стандартное обозначение.

Итак, у нас есть набор данных: (x_i, y_i, x_1, y_1, x_2, y_2) и так далее.

Этому множеству наблюдений соответствует облако точек на плоскости.

Ось х, ось у и некоторое облако точек.

Заметим, что есть некий геометрический центр этого облака,

этот геометрический центр не обязан совпадать ни с одной из точек, ну может,

конечно, случайно так выйти.

Ну в принципе, не обязан.

То есть это некая точка в центре облака с формальной математической точки

зрения определяется как х среднее арифметическое и у среднее арифметическое.

И когда мы оцениваем модель y_i =

β₁ + β₂*x_i + ε_i мы получаем по

методу МНК — методу наименьших квадратов оценки β₁ с крышкой и β₂ с крышкой.

Есть некая достаточно большая формула для β₂ с крышкой,

выражаемая через отклонение ∑(x_i-

x среднее) * (y_i-

y среднее) делить на ∑(x_i-

x среднее) в квадрате.

И β₁ с крышкой = y среднее-

β₂ с крышкой * х среднее.

Ну еще второе уравнение можно трактовать

как β₁ с крышкой + β₂ с крышкой * х среднее равняется у среднее.

То есть мы проводим некоторую прямую, которая заменяет это облако точек.

Вот какая-то такая

прямая.

Заметим, что эта прямая y с крышкой = β₁ с крышкой + β₂ с крышкой * х,

эта прямая обязана проходить через геометрический центр облака точек,

потому что y среднее = β₁ с крышкой + β₂ с крышкой * х среднее.

Кроме того на этой прямой можно изобразить значение β₁ с крышкой.

Вот эта величина — это β₁ с крышкой, потому что при х = 0,

у с крышкой = β₁ с крышкой.

И именно поэтому, из-за того что β₁ с крышкой

— это пересечение нашей прямой регрессии с вертикальной осью,

то поэтому по английски β₁ с крышкой называется intercept (пересечение).

Дальше, рассмотрим какое-нибудь типичное наблюдение,

вот это пусть это будет первое наблюдение (х_1,у_1).

Соответственно для заданного х мы прогнозируем вот такой вот у.

Эта высота — это настоящий у_1,

то есть вот если так мы обозначим: это будет у_1, а это будет х_1.

А вот эта величина — это, соответственно,

будет у_1 с крышечкой — прогноз, который соответствует первому наблюдению.

А ошибка — разница между первым у и первым у с

крышечкой — это будет ошибка прогноза ε_1 с крышечкой.

Соответственно, метод наименьших квадратов, он подбирает прямую так,

чтобы ошибки вот они, я нарисую ошибки —

это расстояние от каждой точки до прямой, измеренное по вертикали.

Соответственно, метод наименьших квадратов подбирает прямую так,

чтобы сумма квадратов ошибок была минимальна.

Теперь перейдем к случаю большого количества объясняющих переменных.

К счастью, случай двадцати объясняющих переменных концептуально ничем не

отличается от случая всего лишь двух объясняющих переменных x и z,

поэтому соответствующие выкладки мы будем делать для

модели y_i = β₁ + β₂x_i + β₃z_i + ε_i.

И наша задача выписать систему уравнений,

из которой будут находиться β₁ с крышкой,β₂ с крышкой и β₃ с крышкой.

Что произойдет в случае большого количества объясняющих переменных?

Мы рассмотрим на примере двух, потому что даже уже с двумя готовые формулы для

β с крышкой в явном виде будут иметь слишком громоздкий вид.

Итак, у нас имеется модель y_i = β₁ + β₂x_i + β₃z_i + ε_i.

Поскольку ε_i — непрогнозируемая часть,

то формулы для прогнозов будут иметь

вид y_i с крышкой = β₁ с крышкой + β₂ с крышкой * x_i + β₃ с крышкой * z_i.

Ошибка прогноза ε_i с крышкой, соответственно, равняется y_i-

y_i с крышкой.

И метод наименьших квадратов минимизирует сумму ε_i с крышкой в квадрате.

Эта величина — это функция от β₁ с крышкой, β₂ с крышкой и β₃ с крышкой.

Мы хотим приравнять производную по каждой переменной к нулю и

посмотреть какие условия первого порядка выйдут.

Соответственно, давайте заметим, что вот у_i они от β с крышкой не зависят.

От β с крышкой зависят только прогнозы, поэтому если я возьму производную

от ε_i с крышкой по dβ₁ с крышкой, то от у_i там нет β₁ с крышкой,

там только настоящий β₁ есть, который мы не знаем и никогда не узнаем.

А производная от у с крышкой по β с крышкой — это единичка.

Соответственно, это будет минус единичка.

Производная ε_i с крышкой по dβ₂ по

аналогичным соображениям — это будет минус x_i.

И производная ε_i с крышкой по β₃ с крышкой — это будет минус z_i.

Ну теперь мы можем выписать условие первого порядка.

Условие первого порядка будет производная Q по β₁ с крышкой =

0 Производная Q по β₂ с крышкой = 0.

Производная Q по β₃ с крышкой = 0.

Берем производное от суммы.

Соответственно, получаем первую.

Сумма, производное от квадрата —

это 2 умножить на ε_i с крышкой на производное от ε с крышкой.

А производное от ε с крышкой это минус 1.

Равняется нулю.

Берем производную это условие dQ по dβ₁ с крышкой равняется нулю.

Аналогично берем производную от этой суммы по β₂ с крышкой

получаем сумму 2 * ε_i с крышкой на производную ε с крышкой по β₂.

Получаем минус x_i = 0.

И аналогично взяв производную от суммы ε_i с крышкой по β₃ с крышкой мы получим

сумму 2 * ε_i с крышкой на минус z_i равняется нулю.

Мы получили три условия первого порядка

и из этой системы из трех уравнений мы можем найти три неизвестных: β₁ с крышкой,

β₂ с крышкой и β₃ с крышкой.

Можно немножко упростить эту систему,

поделить на минус 2 и получится вот такая вот симпатичная система,

из которой находятся неизвестные оценки коэффициентов.

Сумма ε_i с крышкой на единичку равняется нулю.

Опять же единичку можно не писать, но для ясности я напишу.

Сумма ε_i с крышкой на x_i равняется нулю.

И сумма ε_i с крышкой на z_i равняется нулю.

Оказывается у этих условий есть очень интересная интерпретация,

о которой мы поговорим прямо сейчас.

Итак, решая эту систему мы получили следующий вывод: что

неизвестные оценки β₁ с крышкой, β₂ с крышкой,

β₃ с крышкой — три неизвестных числа находятся из системы трех уравнений.

Сумма ε_i с крышкой равно нулю.

Сумма произведений ε_i с крышкой на x_i равно нулю.

И сумма ε_i с крышкой на z_i равно нулю.

Ознакомьтесь с нашим каталогом

Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.

Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.

© Coursera Inc., 2018 Все права защищены.

Загрузить из App Store

Загрузить в Google Play