[БЕЗ ЗВУКА] В этом
видео мы поговорим про достигаемый уровень значимости.
Это достаточно сложная теоретическая концепция, которую даже многие люди,
которые регулярно пользуются статистикой и проверкой гипотез, понимают неправильно.
Например, авторы статистического блога «5/38» как-то раз на одной
из прикладных конференций устроили опрос учёных, которые туда приехали,
и спрашивали у них, как они понимают достигаемый уровень значимости,
и собрали очень много неправильных и странных ответов.
Достигаемый уровень значимости — это вероятность получить значение
статистики такое, какое у вас получилась в эксперименте или ещё более
экстремальное при справедливости нулевой гипотезы.
Чем ниже достигаемый уровень значимости,
тем сильнее данные свидетельствуют против нулевой гипотезы в пользу альтернативы.
Проблема определения p-value в том, что оно длинное,
но из него ничего нельзя выбросить так, чтобы оно не стало неправильным.
Например, часто хочется думать, что p-value — это вероятность справедливости
нулевой гипотезы, или условная вероятность справедливости нулевой гипотезы,
при условии, что данные вот такие, как мы получили.
Это в корне неверно.
Это понятно из следующего примера: в 2010 году осьминог Поль угадывал
результаты матча чемпионата мира по футболу с участием сборной Германии.
Угадывал он, выбирая из двух кормушек кормушку с флагом страны победителя.
Из 13-ти матчей, в которых он пробовал свои силы,
результаты 11-ти ему удалось угадать.
Используя эти данные как выборку,
можно проверять нулевую гипотезу о том, что он выбирал кормушку наугад.
Критерий, которым эта нулевая гипотеза проверяется против альтернативы,
что у него, действительно, есть какие-то сверхспособности,
и он предсказывает результаты матчей, мы разберем очень скоро.
А пока просто поверьте мне, что, если его применить,
вы получите достигаемый уровень значимости, равный примерно 0.01.
Вот это 0.01 — это не вероятность, что осьминог выбирает кормушку наугад.
Вероятность того, что осьминог выбирает кормушку наугад, равна единице.
Мы это знаем точно, потому что осьминог выбирает кормушку наугад.
Эта вероятность — это именно вероятность получить такие или ещё
более экстремальные данные при условии справедливости нулевой гипотезы.
Эта вероятность достаточно мала, но редкие события тоже происходят.
И, как правило, именно о них пишут в газетах.
Теперь вы знаете,
как не сделать ошибки в интерпретации достигаемого уровня значимости.
Самый надежный способ не ошибиться — это использовать ровно то определение,
которое записано в учебниках, и то, которое мы с вами разобрали.
В следующем видео мы поговорим про различия между статистической и
практической значимостью.