[БЕЗ ЗВУКА] В этом видео мы поговорим про достигаемый уровень значимости. Это достаточно сложная теоретическая концепция, которую даже многие люди, которые регулярно пользуются статистикой и проверкой гипотез, понимают неправильно. Например, авторы статистического блога «5/38» как-то раз на одной из прикладных конференций устроили опрос учёных, которые туда приехали, и спрашивали у них, как они понимают достигаемый уровень значимости, и собрали очень много неправильных и странных ответов. Достигаемый уровень значимости — это вероятность получить значение статистики такое, какое у вас получилась в эксперименте или ещё более экстремальное при справедливости нулевой гипотезы. Чем ниже достигаемый уровень значимости, тем сильнее данные свидетельствуют против нулевой гипотезы в пользу альтернативы. Проблема определения p-value в том, что оно длинное, но из него ничего нельзя выбросить так, чтобы оно не стало неправильным. Например, часто хочется думать, что p-value — это вероятность справедливости нулевой гипотезы, или условная вероятность справедливости нулевой гипотезы, при условии, что данные вот такие, как мы получили. Это в корне неверно. Это понятно из следующего примера: в 2010 году осьминог Поль угадывал результаты матча чемпионата мира по футболу с участием сборной Германии. Угадывал он, выбирая из двух кормушек кормушку с флагом страны победителя. Из 13-ти матчей, в которых он пробовал свои силы, результаты 11-ти ему удалось угадать. Используя эти данные как выборку, можно проверять нулевую гипотезу о том, что он выбирал кормушку наугад. Критерий, которым эта нулевая гипотеза проверяется против альтернативы, что у него, действительно, есть какие-то сверхспособности, и он предсказывает результаты матчей, мы разберем очень скоро. А пока просто поверьте мне, что, если его применить, вы получите достигаемый уровень значимости, равный примерно 0.01. Вот это 0.01 — это не вероятность, что осьминог выбирает кормушку наугад. Вероятность того, что осьминог выбирает кормушку наугад, равна единице. Мы это знаем точно, потому что осьминог выбирает кормушку наугад. Эта вероятность — это именно вероятность получить такие или ещё более экстремальные данные при условии справедливости нулевой гипотезы. Эта вероятность достаточно мала, но редкие события тоже происходят. И, как правило, именно о них пишут в газетах. Теперь вы знаете, как не сделать ошибки в интерпретации достигаемого уровня значимости. Самый надежный способ не ошибиться — это использовать ровно то определение, которое записано в учебниках, и то, которое мы с вами разобрали. В следующем видео мы поговорим про различия между статистической и практической значимостью.