1.1.2. Пример 1. Регрессия на константу [у доски]

Loading...

Из курса от партнера National Research University Higher School of Economics

Эконометрика (Econometrics)

323 оценки

National Research University Higher School of Economics

Эконометрика (Econometrics)

323 оценки

Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.

Из урока

Метод наименьших квадратов или рабочая лошадка эконометриста, введение в R

Материалы всех недель доступны сразу, но в системе указаны рекомендуемые сроки выполнения всех заданий. Форум также открыт для Ваших вопросов. Ознакомьтесь с правилами оценивания и проведения контрольных работ. Обращаем Ваше внимание на то, что тест можно делать сколько угодно раз, но на каждые 8 часов даются только три попытки. Если Вы начали выполнять тест, то время на его выполнение неограничено. Ссылки на pdf-файлы лекций и скрипты для всех недель находятся в разделе Ценные ресурсы так же, как и правки к видео-фрагментам :) В первых же тестах есть вопросы, где необходимо использовать R, поэтому надеемся, что Вы уже успели поставить его на свои компьютеры. Если нет, то в Ценных ресурсах лежат подробные инструкции по установке софта. После установки не забудьте открыть в R-Studio (File -> Open file) файл "install_all.R" и запустите его, чтобы поставить все необходимые нам в ближайшее время пакеты. Выделите все строчки и запустите с помощью сочетания Ctrl + Enter на Windows или Cmd + Enter на Mac. Чтобы познакомиться с R поближе, в данной виньетке представлено краткое и наглядное описание интерфейса R-studio, шоткатов и других полезных вещей. Успехов!

1.1.1. Суть метода наименьших квадратов8:45

1.1.2. Пример 1. Регрессия на константу [у доски]8:21

1.1.3. Пример 2. Парная регрессия. Начало [у доски]6:58

1.1.4. Пример 2. Парная регрессия. Окончание [у доски]8:17

1.1.5. МНК на графике. Случай множества регрессоров11:17

Познакомьтесь с преподавателями

Boris Demeshev
Senior Lecturer
Department of Applied Economics

[МУЗЫКА]

[МУЗЫКА] Для

2-х простых моделей на небольшом наборе

данных получим оценки методом наименьших квадратов.

Простой набор данных.

Есть 3 человека: Вася, Коля и Петя.

И есть данные по их весу в

килограммах и росту в сантиметрах.

И мы предполагаем, что вес будет зависеть как-то от роста,

попытаемся восстановить уравнение зависимости.

Вес 60, 70 – у Коли, 80 – у Пети.

И рост 170, 170 и 181.

Модель 1, которую мы оценим методом наименьших квадратов.

Это yi = β + εi.

И модель 2, которую мы оценим: yi = β1 + β2 xi + εi.

Нам нужно получить β с крышкой с помощью метода наименьших квадратов,

β1 с крышкой и β2 с крышкой с помощью метода наименьших квадратов.

Давайте немножко про смысл моделей.

1-я модель предполагает, что вес не зависит от роста,

то есть вес каждого человека – это просто какая-то мировая константа

среднего веса плюс случайная составляющая, своя для каждого человека.

Вторая модель предполагает, что вес зависит от роста

линейно: β1 + β2x – это линейная зависимость.

Плюс случайная составляющая εi.

И нам нужно оценить эти 2 модели.

Поехали!

Значит...

Что делает метод наименьших квадратов?

Он минимизирует величину RSS, то есть мы

минимизируем сумму

yi − yi с крышкой, и всё это в квадрате,

подбирая коэффициенты β с крышкой.

Ну давайте попробуем.

Для модели 1: yi с крышкой.

Соответственно, вместо настоящего коэффициента мы пишем его оценку.

А случайная ошибка, она непрогнозируема, мы пишем вместо нее 0.

И если, соответственно, в модели 1 рост каждого человека прогнозируется вот этой

самой оцененной мировой константой, то мы получаем,

что в модели 1 сумма ошибок прогнозов,

квадратов ошибок прогнозов по i от 1 до 3 (у

нас 3 наблюдения) = сумма по

i от 1 до 3 yi − Поскольку прогноз для

каждого наблюдения – это β с крышкой, то мы получаем такую простую формулу.

Ну чтоб вы понимали, что здесь это просто обычная сумма,

тут нет никаких секретов: (y1 − β с крышкой) в квадрате − (y2 − β

с крышкой) в квадрате + (y3 − β с крышкой) в квадрате.

Давайте назовем эту функцию Q(β с крышкой).

И мы берем производную, чтобы найти максимум.

Хотя нет, давайте для начала раскроем скобки,

чтоб было совсем просто и понятно, что это за функция.

Это есть сумма, и раскрываем здесь скобки: по i от 1 до 3,

(yi квадрат − 2β с крышкой yi + β с крышкой) в квадрате.

Или сумма по i от 1 до 3 yi

квадрат − сумма по i от 1 до

3 2β с крышкой yi

+ сумма по i от 1 до 3 β с крышкой в квадрате.

Давайте заметим, что последняя сумма,

– здесь складываются слагаемые, которые не зависят от i.

То есть что из себя представляет сумма по i от 1 до 3 β с крышкой в квадрате?

Это, соответственно, β с крышкой в квадрате

+ β с крышкой в квадрате + β с крышкой в квадрате.

И, соответственно,

это 3 * β с крышкой в квадрате.

В общем случае, если у меня было бы не 3 наблюдения, а n наблюдений,

в общем случае здесь бы я получил n на β с крышкой в квадрате.

Второе слагаемое – сумма 2

β с крышкой yi по i от 1 до 3х.

Здесь я вижу, что 2β с крышкой – это величина,

которая не зависит от слагаемого.

При i равном 1, 2β с крышкой, при i равном 2 и так далее.

А раз это константа, то ее можно вынести за знак суммы как общий множитель.

Получится 2β с крышкой * сумму yi.

И, соответственно, мое выражение Q(β с крышкой)

= сумма yi в квадрате − 2β с крышкой

на сумму yi + n.

Ну n в моем примере равно 3, но я заодно выведу общую формулу.

β с крышкой в квадрате.

Это универсальная формула для модели типа 1 при любом количестве наблюдений.

Берем производную, получаем Q штрих от β с крышкой = −

2 сумма yi + 2β с крышкой.

Заметим, что наша функция является

относительно β с крышкой параболой с ветвями,

направленными вверх.

Потому что коэффициент при β с крышкой в квадрате n количество наблюдений

положительный.

То есть наша зависимость имеет какой-то вот такой вид.

Это Q от β с крышкой.

Ну и, соответственно,

минимум у параболы единственный, и та подозрительная точка, которую мы найдем,

приравняв производную к 0, она, естественно, будет точкой минимума.

Вот это, соответственно, β с крышкой методом наименьших квадратов.

Приравниваем к 0, получаем...

Я пропустил n здесь.

Здесь n на β с крышкой в квадрате 2 β с крышкой на n.

Выражаем отсюда β с крышкой, получаем,

что β с крышкой = сумма yi / n Или просто, если сложить все y и поделить на n,

мы эту величину обозначаем y с черточкой, это y среднее.

Соответственно, в модели 1 мы получили общую формулу, как выглядит β с крышкой.

И конкретно в этом случае мы получаем такой естественный,

интуитивно понятный результат, что если у меня есть 3 числа,

несколько чисел 60, 70, 80 и так далее, и я предполагаю, что каждое из этих чисел,

– это некая единая мировая константа плюс случайная ошибка.

То метод наименьших квадратов говорит: «Ну возьмите в качестве оценки этой

неизвестной общей константы просто среднее арифметическое».

То есть в данной модели мы получаем, что β с крышкой для модели 1 β с

крышкой метода наименьших квадратов равняется

60 + 70 + 80, деленное на 3 =

70 [ПАУЗА]

[МУЗЫКА]

Ознакомьтесь с нашим каталогом

Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.

Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.

© Coursera Inc., 2018 Все права защищены.

Загрузить из App Store

Загрузить в Google Play