[МУЗЫКА] [МУЗЫКА] Для 2-х простых моделей на небольшом наборе данных получим оценки методом наименьших квадратов. Простой набор данных. Есть 3 человека: Вася, Коля и Петя. И есть данные по их весу в килограммах и росту в сантиметрах. И мы предполагаем, что вес будет зависеть как-то от роста, попытаемся восстановить уравнение зависимости. Вес 60, 70 – у Коли, 80 – у Пети. И рост 170, 170 и 181. Модель 1, которую мы оценим методом наименьших квадратов. Это yi = β + εi. И модель 2, которую мы оценим: yi = β1 + β2 xi + εi. Нам нужно получить β с крышкой с помощью метода наименьших квадратов, β1 с крышкой и β2 с крышкой с помощью метода наименьших квадратов. Давайте немножко про смысл моделей. 1-я модель предполагает, что вес не зависит от роста, то есть вес каждого человека – это просто какая-то мировая константа среднего веса плюс случайная составляющая, своя для каждого человека. Вторая модель предполагает, что вес зависит от роста линейно: β1 + β2x – это линейная зависимость. Плюс случайная составляющая εi. И нам нужно оценить эти 2 модели. Поехали! Значит... Что делает метод наименьших квадратов? Он минимизирует величину RSS, то есть мы минимизируем сумму yi − yi с крышкой, и всё это в квадрате, подбирая коэффициенты β с крышкой. Ну давайте попробуем. Для модели 1: yi с крышкой. Соответственно, вместо настоящего коэффициента мы пишем его оценку. А случайная ошибка, она непрогнозируема, мы пишем вместо нее 0. И если, соответственно, в модели 1 рост каждого человека прогнозируется вот этой самой оцененной мировой константой, то мы получаем, что в модели 1 сумма ошибок прогнозов, квадратов ошибок прогнозов по i от 1 до 3 (у нас 3 наблюдения) = сумма по i от 1 до 3 yi − Поскольку прогноз для каждого наблюдения – это β с крышкой, то мы получаем такую простую формулу. Ну чтоб вы понимали, что здесь это просто обычная сумма, тут нет никаких секретов: (y1 − β с крышкой) в квадрате − (y2 − β с крышкой) в квадрате + (y3 − β с крышкой) в квадрате. Давайте назовем эту функцию Q(β с крышкой). И мы берем производную, чтобы найти максимум. Хотя нет, давайте для начала раскроем скобки, чтоб было совсем просто и понятно, что это за функция. Это есть сумма, и раскрываем здесь скобки: по i от 1 до 3, (yi квадрат − 2β с крышкой yi + β с крышкой) в квадрате. Или сумма по i от 1 до 3 yi квадрат − сумма по i от 1 до 3 2β с крышкой yi + сумма по i от 1 до 3 β с крышкой в квадрате. Давайте заметим, что последняя сумма, – здесь складываются слагаемые, которые не зависят от i. То есть что из себя представляет сумма по i от 1 до 3 β с крышкой в квадрате? Это, соответственно, β с крышкой в квадрате + β с крышкой в квадрате + β с крышкой в квадрате. И, соответственно, это 3 * β с крышкой в квадрате. В общем случае, если у меня было бы не 3 наблюдения, а n наблюдений, в общем случае здесь бы я получил n на β с крышкой в квадрате. Второе слагаемое – сумма 2 β с крышкой yi по i от 1 до 3х. Здесь я вижу, что 2β с крышкой – это величина, которая не зависит от слагаемого. При i равном 1, 2β с крышкой, при i равном 2 и так далее. А раз это константа, то ее можно вынести за знак суммы как общий множитель. Получится 2β с крышкой * сумму yi. И, соответственно, мое выражение Q(β с крышкой) = сумма yi в квадрате − 2β с крышкой на сумму yi + n. Ну n в моем примере равно 3, но я заодно выведу общую формулу. β с крышкой в квадрате. Это универсальная формула для модели типа 1 при любом количестве наблюдений. Берем производную, получаем Q штрих от β с крышкой = − 2 сумма yi + 2β с крышкой. Заметим, что наша функция является относительно β с крышкой параболой с ветвями, направленными вверх. Потому что коэффициент при β с крышкой в квадрате n количество наблюдений положительный. То есть наша зависимость имеет какой-то вот такой вид. Это Q от β с крышкой. Ну и, соответственно, минимум у параболы единственный, и та подозрительная точка, которую мы найдем, приравняв производную к 0, она, естественно, будет точкой минимума. Вот это, соответственно, β с крышкой методом наименьших квадратов. Приравниваем к 0, получаем... Я пропустил n здесь. Здесь n на β с крышкой в квадрате 2 β с крышкой на n. Выражаем отсюда β с крышкой, получаем, что β с крышкой = сумма yi / n Или просто, если сложить все y и поделить на n, мы эту величину обозначаем y с черточкой, это y среднее. Соответственно, в модели 1 мы получили общую формулу, как выглядит β с крышкой. И конкретно в этом случае мы получаем такой естественный, интуитивно понятный результат, что если у меня есть 3 числа, несколько чисел 60, 70, 80 и так далее, и я предполагаю, что каждое из этих чисел, – это некая единая мировая константа плюс случайная ошибка. То метод наименьших квадратов говорит: «Ну возьмите в качестве оценки этой неизвестной общей константы просто среднее арифметическое». То есть в данной модели мы получаем, что β с крышкой для модели 1 β с крышкой метода наименьших квадратов равняется 60 + 70 + 80, деленное на 3 = 70 [ПАУЗА] [МУЗЫКА]