[БЕЗ_ЗВУКА] Задача множественной проверки гипотез поставлена, давайте ее решать. Нас интересует некоторая статистическая процедура, которая дает нам гарантии на V. V не должно быть слишком большим. Но напрямую с V работать не очень удобно, поэтому, как правило, берут некоторые меры определенные над V и именно с ними работают. Одна из самых распространенных таких мер — это familywise error rate, групповая вероятность ошибки первого рода. По определению это вероятность того, что V > 0, то есть вероятность совершить хотя бы одну ошибку первого рода. Эту величину (familywise error rate) мы хотим контролировать на уровне α. То есть мы хотим построить такую статистическую процедуру, что вероятность совершить хотя бы одну ошибку первого рода будет не больше, чем α. Как этого можно добиться? Единственный инструмент, который у нас есть, — это уровни значимости α1, ..., αm, на которых проверяются наши гипотезы H1, ..., Hm. Никаких других параметров в проверке гипотез нет. Наша задача — выбрать эти уровни так, чтобы обеспечить ограничение familywise error rate уровнем α. И самый простой способ эту задачу решить — это поправка Бонферрони. В методе Бонферрони достигаемые уровни значимости всех гипотез сравниваются с величиной α / m, то есть уровни значимости проверки всех гипотез одинаковы и равны α / m. В качестве альтернативы мы можем просто все достигаемые уровни значимости (p-value) на m умножить, и возьмем еще максимум с 1, чтобы не получить странного. И вот эти модифицированные достигаемые уровни значимости мы будем сравнивать с исходным порогом α. При такой процедуре точно так же мы будем контролировать familywise error rate. То, что метод Бонферрони контролирует familywise error rate на уровне α, показать очень легко. Это настолько легко, что мы это сделаем прямо сейчас. Это будет единственная теорема в этом курсе. Теорема утверждает, что если все гипотезы Hi проверяются на уровне значимости α / m, то familywise error rate ограничена сверху величиной α. Покажем это. Familywise error rate по определению — это вероятность хотя бы одной ошибки первого рода. То есть это вероятность того, что хотя бы для одной из верных нулевых гипотез достигаемый уровень значимости окажется меньше, чем α / m. Оценим вероятность объединения событий сверху через сумму вероятностей этих событий. Это неравенство Буля. Для перехода к третьей строчке воспользуемся свойством достигаемого уровня значимости. Вероятность того, что pi ≤ α / m, ≤ α / m. Таким образом мы получаем, что наша familywise error rate ограничена сверху величиной (m0 / m) * α, поскольку m0 — это часть m, m0 всегда меньше m, поэтому эта величина не больше, чем α. Доказательство получено. Если вы когда-нибудь сталкивались с неравенством Буля, вы знаете, что оценка вероятности объединения событий через сумму вероятностей этих событий очень завышенная. Действительно, чтобы получить там точное равенство, нужно вычесть еще вероятности всех возможных пересечений. Эта цепочка неравенств показывает, что при использовании метода Бонферрони familywise error rate не просто меньше, чем α, а намного меньше, чем α. То есть мы в идеале хотим, чтобы familywise error rate, вероятность совершить одну ошибку первого рода хотя бы, была равна α в точности. При использовании метода Бонферрони мы на самом деле ограничим эту вероятность гораздо более низкой величиной, чем наша α. Это плохо, потому что перестраховываясь в отношении ошибки первого рода, мы неизбежно совершаем больше ошибок второго рода. То есть мощность такой статистической процедуры снижается. Чтобы это увидеть, давайте проведем модельный эксперимент. Возьмем 50 выборок из нормального распределения с дисперсией 1 и средним 1 и еще 150 из нормального распределения стандартного (со средним 0). Все выборки будут объема 20. На каждой из них будем проверять гипотезу о равенстве среднего 0 против двусторонней альтернативы с помощью критерия Стьюдента. Сгенерируем данные, проверим гипотезы. Если мы не будем делать никакой поправки на множественную проверку, мы получим верхнюю таблицу. Видно, что мы отвергли все 50 неверных гипотез, но, к сожалению, вместе с ними отвергли еще и восемь верных, то есть мы совершили восемь ошибок первого рода. Если мы делаем поправку методом Бонферрони, мы перераспределяем гипотезы из второй строчки этой таблицы в первую. Мы в этом случае не отвергаем ни одной верной нулевой гипотезы, то есть не совершаем ни одной ошибки первого рода. Но, к сожалению, вместе с этим мы потеряли возможность отвергнуть больше половины неверных нулевых гипотез: из 50 нам удалось отвергнуть только 23. То есть за гарантии в отношении ошибки первого рода мы заплатили тем, что нашли меньше неверных нулевых гипотез. Итак, в этом видео мы дали определение familywise error rate — групповой вероятности ошибки первого рода. Это вероятность отвергнуть хотя бы одну нулевую гипотезу неверно. Мы рассмотрели метод контроля этой величины (поправку Бонферрони), и выяснили, что его просто применять, что он работает всегда, но обладает низкой мощностью. В следующем видео мы поговорим про метод Холма контроля familywise error rate.
