В этом видео
мы рассмотрим, чем же байесовский подход к теории вероятности,
к математической статистике отличается от классического или частотного подхода.
На самом деле, ключевое различие между частотным подходом,
который многие из вас изучали в вузах, и байесовским подходом заключается в том,
как трактовать случайность.
С точки зрения классического подхода случайная величина — это величина,
значение которой мы принципиально не можем предсказать,
то есть некоторая объективная неопределенность.
В то же время с точки зрения байесовского подхода случайная величина на самом деле
является детерминированным процессом, просто часть часть факторов,
которые определяют исход этого процесса, для нас неизвестны.
Именно поэтому мы и не можем предсказать конкретный исход данного испытания с
данной случайной величиной.
Из этого сразу вытекают некоторые следствия.
Ну, например, с точки зрения байесовского подхода любую неизвестную величину
можно интерпретировать как случайную и использовать аппарат теории вероятности,
в частности, вводить на нее плотность распределения.
При этом, коль скоро случайные величины для нас кодируют субъективное незнание, у
разных людей неопределенность на одну и ту же случайную величину может быть разная.
Именно поэтому и плотности распределения на эту случайную величину будут отличаться
для разных людей, обладающих разной информацией о факторах,
влияющих на эту случайную величину.
С точки зрения классического подхода величины четко делятся на случайную
и детерминированную.
И бесмысленно применять аппарат теории вероятности к детерминированным случайным
величинам или параметрам.
С точки зрения байесовского подхода все величины, значения которых неизвестны,
можно интерпретировать как случайные.
Соответственно, можно вводить плотность распределения и выполнять
байесовский вывод.
Основным методом оценивания в классическом подходе является метод максимального
правдоподобия, который мы с вами рассмотрели в предыдущем видео.
При байесовском подходе к статистике основным выводом является теорема Байеса.
Соответственно, результатом оценивания в классическом подходе обычно являются
точечные оценки, как правило, это оценки максимального правдоподобия,
либо реже — доверительные интервалы.
При байесовском же подходе результатом вывода является апостериорное
распределение на оцениваемые параметры.
Метод максимального правдоподобия является оптимальным при n стремящемся к
бесконечности, соответственно, большинство теорем в теории вероятности, которые
обосновывают корректность применения этого метода, доказывают предположение,
что объем выборки, по которой мы оцениваем неизвестный параметр, много больше 1.
В то же время байесовский подход можно использовать при любом объеме выборки,
даже если объем выборки равен 0.
В этом случае результатом байесовского вывода и апостериорного распределения
просто будет являться априорное распределение.
В то же время, если объем выборки, а именно отношение n к d,
где n — это количество объектов, а d — это размерность оцениваемых параметров,
много больше 1, результат байесовского вывода начинает стремиться к результату,
оцениваемому с помощью метода максимального правдоподобия.
Тем самым все теоретические гарантии, которые известны для метода
максимального правдоподобия, применимы и к результату байесовского вывода.
Одним из преимуществ байесовского подхода является возможность
объединения разных вероятностных моделей, которые отражают те или иные
косвенные характеристики оцениваемой неизвестной величины.
Например, представим себе следующую ситуацию.
У нас есть m различных измерений,
каждое из которых каким-то образом характеризует неизвестную величину x.
Для каждого измерения у нас есть своя вероятностная модель, которая показывает,
насколько данное значение j-го измерения вероятно,
если случайная величина приняла то или иное значение.
Нашей задачей является оценить скрытую неизвестную
величину x по наблюдениям y1 yn.
Зафиксируем наше исходное незнание о величине x в виде априорного
распределения p(x).
После чего применим первую вероятностную модель, которая увязывает x и y1.
Применив формулу Байеса,
можем получить апостериорное распределение на x при условии, что мы пронаблюдали y1.
Теперь, если мы начнем анализировать результат второго измерения,
которое может быть никак не связано с первым измерением и получено из совершенно
другой вероятностной модели, то мы снова можем применить байесовский вывод,
только теперь в качестве априорного распределения на x мы положим
апостериорное распределение, полученное после измерения y1.
То есть в качестве априорного распределения мы поставим p(x) при
условии y1.
Применив теорему Байеса, мы получаем апостериорное распределение на x,
но уже при условии y1y2.
Действуя так m раз мы в итоге получим апостериорное распределение
на x при условии y1, ..., ym, которое отражает максимум информации,
которую мы могли извлечь о величине x при условии, что мы пронаблюдали y1, ..., ym.
Если бы мы использовали точечные оценки вместо апостериорных распределений,
мы бы оказались в положении слепых мудрецов из известной притчи,
которые пытались изучать слона путем различных тактильных ощущений.
Как известно, в притче мудрецы не смогли прийти к единому мнению, в то же время,
если бы они оперировали байесовским аппаратом и получали бы
апостериорное распределение, скорее всего,
они смогли бы прийти к мнению относительно того, что же они изучают.
В этом видео мы с вами изучили, что такое байесовский подход к теории вероятности,
чем он отличается от классического подхода, и посмотрели,
как благодаря использованию теоремы Байеса можно объединять несколько вероятностных
моделей в более сложную модель.
В следующем видео мы посмотрим, как же байесовский подход может быть
использован к машинному обучению, и какими преимуществами он обладает.
Evgeniy Riabenko
Evgeny Sokolov
Victor Kantor
Emeli Dral
Константин Воронцовдоктор физико-математических наук, профессор
