В завершающей лекции мы расскажем о трех сюжетах, чтобы показать многообразие эконометрики. А именно эти три сюжета — это квантильная регрессия, алгоритм случайного леса и байесовский подход. Суть квантильной регрессии состоит в том, чтобы отказаться от моделирования среднего, как это было в классической линейной модели, а моделировать медиану распределения или любой другой квантиль распределения. А именно напомним, что в классической модели линейной регрессии предпосылки были следующие: предполагалось, то Y_i = β₁ + β₂x_i + ε_i и предполагалось экзогенность ошибок, а именно то, что средняя величина ошибки при известных регрессорах равна 0. И были еще другие, конечно, предпосылки, но, в частности, из первых двух предпосылок следовало то, что условное математическое ожидание Y_i при фиксированном X_i — это есть β₁ + β₂Х_i. То есть означает, что в классической линейной регрессионной модели с увеличением X на 1, среднее значение Y_i, условное среднее, меняется на β₂. То есть классическая линейная регрессионная модель — это модель для среднего значения Y. И для оценки этой регрессионной модели классической мы минимизировали сумму квадратов ошибок прогноза, сумму (Y_i- Y_i с крышкой) в квадрате. И получались замечательные, а именно состоятельные оценки коэффициентов, β₁ с крышкой и β₂ с крышкой. В медианной регрессии модель состоит в том, что медиана Y_i условная линейно зависит β₁ + β₂Х_i от регрессора. Давайте поясним еще раз разницу между медианой и средним. Если представить себе большую-большую выборку при одинаковых X_i для Y большую выборку, то, соответственно, что такое среднее? Ну, это просто среднее арифметическое, то есть математическое ожидание похоже на среднее арифметическое при большой выборке. А медиана — это такое число, выше которого лежит 50 % наблюдений и ниже которого тоже лежит 50 % наблюдений. И, соответственно, в медианной регрессии предполагается, что не среднее, а именно медиана зависит от регрессора. И алгоритм оценивания немножко другой. Мы минимизируем не сумму квадратов остатков, а сумму модулей остатков, сумму |Y_i- Y_i с крышкой|. И при ее минимизации можно доказать, что получаются состоятельные оценки для медианной регрессии. И сейчас мы рассмотрим совсем простой пример, где будет одна объясняющая переменная, и мы получим оценку β с крышкой для медианной регрессии. К сожалению, явных формул в медианной регрессии нет, но в каждом конкретном случае можно численно получить оценку β с крышкой. Рассмотрим пример задачи. У нас есть некая модель. На этот раз модель для медианы. Мы предполагаем, что медиана Y_i при известном значении X очень просто зависит от X, а именно равняется просто некой неизвестной — коэффициент β * Х_i. Рассмотрим совсем простую модель для решения руками. И мы хотим в этой модели получить оценку коэффициента β с крышкой. Ну и, соответственно, у нас должны быть, естественно, какие-то данные, потому что без данных оценить модель невозможно. Ну, к примеру, у нас будет всего три наблюдения. Y-зависимая переменная будет принимать значение 1, 2 и 6, а X-объясняющая переменная будет принимать значение 1, 5 и 5. И я предполагаю, что медиана Y зависит от X, зависит очень просто. Вот хочу получить оценку β с крышкой. Ну, соответственно, идея медианной регрессии говорит, что надо выписать, как от β с крышкой зависит сумма модулей ошибок прогноза. Ну, естественно, у нас i будет меняться от 1 до 3 (всего 3 наблюдения), и если модель устроена следующим образом, то, соответственно, у нас Y_i с крышкой, прогноз Y будет устроен довольно просто. Это будет β с крышкой помножить на значение регрессора. Ну и в нашем случае конкретном трех наблюдений мы получаем следующую формулу для суммы модулей ошибок прогноза. Это, соответственно, |Y₁- Y₁ с крышкой| ошибка прогноза для первого наблюдения плюс ошибка прогноза для второго наблюдения по модулю плюс ошибка прогноза для третьего наблюдения. Ну и в нашем случае поскольку прогнозы у нас считаются в соответствии с формулой для медианы, то мы получаем |1- β с крышкой * 1| + |2 (второй Y)- (формула для второго прогноза) β с крышкой * 5 (второй X)| + |6 (последний Y) - β крышкой * 5| И, соответственно, медианная регрессия говорит, что вот эту сумму надо минимизировать, подбирая какое-нибудь β с крышкой, которое обеспечит минимальную сумму модуля ошибок. Ну, к сожалению или к счастью, эта функция недифференцируемая, но она достаточно проста, то есть график функции M(β с крышкой) он довольно простой. Здесь просто модули, и поэтому мы знаем что при разных значениях β, модули будут по-разному раскрываться, но в любом случае на каждом участке, где бы ни раскрывались модули, будет получаться линейная функция. Соответственно, наша вся функция M(β с крышкой) – она кусочно-линейная, кусочно-линейная, и благодаря этому факту мы легко построим ее график. Давайте поймем, где у нее изломы? Ну, изломы там, где выражение внутри модуля будет менять знак. Первое выражение внутри модуля будет менять знак, когда β с крышкой равно 1, изломы этой функции — β с крышкой равно 1, и значение функции в точке 1... Ну, просто подставляем, получаем, что это равно 4. Другой излом, когда второй модуль равен 0, то есть в точке β с крышкой равное 2/5, и значение функции в точке 2/5, если подставить 2/5 сюда, сюда и сюда и все это сложить, то получится 4,6. И последний излом нашей функции в точке β с крышкой, когда последний модуль равен 0, 6/5. Соответственно, значение функции в точке 6/5, просто подставляем 6/5 в нашу функцию. Получаем, что это равно 4,2. И мы уже можем нарисовать график нашей функции. Значит, во вертикали мы откладываем сумму модулей ошибок прогноза, а по горизонтали откладываем β с крышкой. Мы знаем, что изломы в точке 0,4; 1 и 1,2 (это 6/5). Соответственно, вот один излом в точке 0,4 (это 2/5), другой излом в точке 1 и еще один излом в точке 1,2. Значение функции в единичке — 4. Масштаб у меня по горизонтали и по вертикали может не соответствовать, поэтому пусть будет тут 4, в 1,2 чуть побольше и в единичке... в 0,4 еще больше. Соответственно, на этих участках функция выглядит кусочно-линейно вот так. Но остается понять, как функция будет выглядеть за пределами этих участков. Ну, например, если β с крышкой очень-очень маленькое, очень отрицательное, ну, например, 0, то все модули раскрываются с плюсом, и функция очень быстро убывает, то есть у нее здесь резко отрицательный наклон. Если все модули раскрыть, просто убрать палочки вертикальные, то получится итоговый наклон (- β с крышкой)- 5β с крышкой- 5β с крышкой- 11β с крышкой. Вот здесь вот наклон (-11). А здесь, соответственно, все модули раскроются с другим знаком, и наклон будет положительный. Вот так выглядит наша функция. И несмотря на то, что она не дифференцируема, мы не можем взять производную, приравнять к нулю, тем не менее, очевидно, в прямом смысле этого слова, что оптимальная оценка, которая минимизирует сумму модулей ошибок прогноза β с крышкой равно 1. Таким образом, мы в простом примере показали, как получить оценку медианной регрессии.
