Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.
4.1.2. Что поделать с мультиколлинеарностью?
Loading...
Из курса от партнера National Research University Higher School of Economics
Эконометрика (Econometrics)
324 оценки
Из урока
Мультиколлинеарность
Или зачастую "самая нестрашная" проблема в данных :)
Познакомьтесь с преподавателями
Boris DemeshevSenior Lecturer
Department of Applied Economics
Что же можно сделать с мультиколлинеарностью?
Во-первых, нужно осознавать, что, может быть, эта мультиколлинеарность не так уж и
страшна, потому что теорема Гаусса-Маркова по-прежнему в силе, соответственно,
оценки, которые мы получаем, — они несмещённые,
и они обладают наименьшей дисперсией среди несмещённых оценок.
И поэтому если вас интересуют прогнозы и вам неважна интерпретация коэффициентов,
то на мультиколлинеарность можно вообще не обращать внимания.
Более того, если вот вам нужно оценить именно коэффициенты при именно ваших
переменных, то, к сожалению, ничего лучше в условиях мультиколлинеарности
придумать нельзя, потому что полученные оценки являются несмещёнными,
с наименьшей дисперсией среди несмещённых оценок.
Однако возможно вы не совсем уверены в форме спецификации модели,
вы можете не быть уверены в том,
что ваш показатель именно зависит и от валютного курса на момент начала торгов,
и от валютного курса на момент окончания торгов, вы можете просто предполагать,
что он зависит от какого-то валютного курса, но вы не знаете, от какого.
Тогда вы можете пожертвовать одной из переменных,
которые участвуют в линейном соотношении, и выкинуть её.
И есть, конечно, ещё идеальный вариант, который, как правило, недоступен,
поэтому это вариант-мечта — заполучить побольше наблюдений для оценивания модели.
Это тоже метод борьбы с мультиколлинеарностью.
Итак, первый метод — это ничего не делать и получить
и так несмещённые оценки с наименьшей возможной дисперсией.
Второй метод — это пожертвовать несмещённостью оценок с целью уменьшить их
дисперсию.
И третий.
третья возможность — это получить побольше наблюдений.
Как можно пожертвовать несмещённостью оценок и снизить дисперсию?
Есть два основных пути.
Первый путь, как мы уже сказали, — это выкинуть несколько переменных,
избавившись от нестрогого линейного соотношения.
И второй путь — это ввести штраф в метод наименьших квадратов,
то есть рассмотреть метод наименьших квадратов со штрафом.
Давайте рассмотрим простое упражнение, где мы, зная коэффициенты R-квадрат
во всех регрессиях всех объясняющих переменных на остальные, попробуем понять,
имеет ли место у нас мультиколлинеарность, и между какими переменными есть линейная
взаимосвязь, какие переменные имеет смысл, возможно, выкинуть из рассмотрения.
Давайте на примере посмотрим, как коэффициенты вздутия дисперсии позволяют
определить наличие мультиколлинеарности в модели линейной регрессии и выяснить,
между какими переменными есть зависимость.
Давайте рассмотрим следующий пример.
Исследователь оценил модель зависимости y от нескольких объясняющих переменных,
y_i = β₁ + β₂ *
x_i + β₃ *
z_i + β_4 * w_i
+ случайная составляющая ε_i.
И между регрессорами, между объясняющими переменными x, z и w,
потенциально ожидается мультиколлинеарность.
И известно, что при построении регрессора x на
остальные z и w R-квадрат второй во вспомогательной регрессии равен 0,5.
То есть это имеется в виду R-квадрат в регрессии x на остальные регрессоры,
то есть в регрессии (x_i = γ₁ + γ₂ *
zi + γ₃ * w_i + какая-то своя случайная ошибка.
R-квадрат во вспомогательной регрессии z на остальные
регрессоры равен 0,95.
То есть имеется ввиду, что это R-квадрат в регрессии z_i
= γ₁ + γ₂ * x_i + γ₃ * w_i + u_i.
Здесь я сознательно, чтобы не вводить новые буквы,
пишу одинаковые гаммы, хотя, конечно, результаты оценивания
регрессии x на остальные объясняющие переменные и регрессии z на остальные
объясняющие переменные, конечно же, отличаются, но поскольку мне они неважны,
то поэтому я для экономии букв буду использовать одинаковые буквы,
хотя, конечно, эта γ₁ и эта γ₁ — это разные константы.
И при регрессии третьего регрессора R-квадрат четыре оказался равен 0,98.
То есть это регрессия объясняющей переменной w_i на остальные
объясняющие переменные, w_i = γ₁ + γ₂ * x_i
+ γ₃ * z_i + u_i.
Соответственно, мне нужно выяснить,
есть ли мультиколлинеарность в этой модели,
и между какими переменными есть линейная связь.
Для ответа на эти вопросы мы воспользуемся коэффициентом вздутия дисперсии.
Я напомню, что коэффициент вздутия дисперсии, он считается отдельно
для каждого регрессора, для каждой объясняющей переменной.
Соответственно, коэффициент вздутия дисперсии считается как единичка делить на
один минус R² в соответствующей вспомогательной регрессии.
Мы легко их рассчитываем.
Коэффициент вздутия дисперсии для
объясняющей переменной x равен 1/ (1-
0,5) = 2.
Коэффициент вздутия дисперсии для переменной z равен
1/ (1- 0,95), = 20.
И коэффициент вздутия дисперсии для переменной
w равен 1/ (1- 0,98),
= 50.
Ещё раз хочу подчеркнуть,
что строгой границы для показателя вздутия дисперсии нет,
но, считается, что где-то значения больше десяти уже являются
мягким нестрогим признаком наличия мультиколлинеарности.
Соответственно, мы видим в данном случае, что переменная x
довольно плохо объясняется остальными переменными, то есть переменная x
— её можно считать линейно независимой от остальных переменных.
А вот переменные z и w достаточно сильно зависят от
других регрессоров, то есть у них высокий R², соответственно,
высокий коэффициент вздутия дисперсии, существенно больше 10-ти.
Соответственно, в данном случае мы видим,
что в модели имеет место мультиколлинеарность.
Эта мультиколлинеарность вызвана тем, что z хорошо объясняется другими
регрессорами и w хорошо объясняется другими регрессорами.
Ну и давайте попробуем ответить теперь на второй вопрос: какие же переменные,
какие регрессоры зависимы между собой?
Ну если их, условно говоря,
нарисовать вот так вот точечками: вот это x, это z, это w.
Вот мы видим, что x плохо зависит от z и w.
Плохо в том смысле, что зависимость далека от линейной: R² маленький,
коэффициент вздутия дисперсии маленький.
То есть x линейно не объясняется с z и w.
Однако z линейно объясняется x и w.
Но z не может объясняться линейно x,
поэтому получается, что связь линейная есть между z и w.
Мы так можем интерпретировать то, что коэффициент вздутия дисперсии
при z большой, коэффициент вздутия дисперсии при w большой,
однако x от них, от z и w, не зависит.
Соответственно, по имеющимся вспомогательным регрессиям мы можем
сделать вывод, что да, мультиколлинеарность, скорее всего,
имеет место, а связаны между собой переменные z и w.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
