В прошлом видео мы определили familywise error rate (FWER) — вероятность совершения хотя бы одной ошибки первого рода. И разобрали первый способ контроля над ней — метод Бонферрони. Метод Бонферрони все уровни значимости α1, ..., αm для всех гипотез выбирает одинаковыми и равными α / m. Оказывается, что можно сделать лучше, если эти αi-тые брать не одинаковыми, а разными. Для того чтобы это сделать, нам нужна нисходящая процедура множественной проверки гипотез. В общем виде она выглядит так: мы берём достигаемые уровни значимости и составляем из них вариационный ряд, переобозначим все гипотезы так, чтобы их номера соответствовали номерам достигаемых уровней значимости в этом вариационном ряду. Дальше будем действовать следующим образом: возьмём самый маленький достигаемый уровень значимости p(1) и сравним его со своим уровнем значимости α1. Если p(1) > α1 — примем все нулевые гипотезы и остановимся. Если p(1) < α1 — отклоним H(1) и продолжим процедуру. На втором шаге мы будем сравнивать p(2) с α2. Если p(2) > α2 — мы примем все оставшиеся гипотезы. Если нет — отвергнем H(2) и продолжим и так далее. Вот так в общем виде выглядит нисходящая процедура множественной проверки гипотез. Процедура называется нисходящей, несмотря на то, что мы перебираем нулевые гипотезы по возрастанию. Это немного странно и может смущать. Но идея здесь заключается в том, что мы отвергаем нулевые гипотезы последовательно, начиная с наиболее значимых, то есть мы движемся по убыванию значимости. Метод Холма — это нисходящая процедура множественной проверки гипотез с вот такими уровнями значимости. α1 в ней — это α / m. α2 — это α / (m − 1) и так далее. Самая последняя альфа — αm — равна исходному α. Этот метод обеспечивает безусловный контроль над familywise error rate. Это показать немного сложнее, поэтому мы не будем этого делать. Просто поверьте мне на слово. Вместо того чтобы сравнивать исходные достигаемые уровни значимости вот с этими α, мы можем точно так же перейти к модифицированным и сравнивать их с исходным порогом α. Вот так выглядит формула для модифицированных достигаемых уровней значимости метода Холма. Метод Холма всегда мощнее, чем метод Бонферрони. То есть он всегда отвергает не меньше гипотез, чем метод Бонферрони просто потому, что его уровни значимости α не меньше, чем αm из метода Бонферрони. Давайте вернёмся к нашему модельному эксперименту с 200 гипотезами. Здесь на этом графике показаны достигаемые уровни значимости. По горизонтальной оси отложен номер в вариационном ряду, а по вертикальной оси — значения соответствующего достигаемого уровня значимости. Красные точки здесь — это неверные гипотезы. Синие точки — это верные гипотезы. Это типичный вид такого графика. На нём вы видите как будто бы смесь двух треугольников: большого синего, соответствующего верным нулевым гипотезам, и маленького красного, соответствующего неверным. Вот где-то здесь в месте соединения двух треугольников они смешиваются. И наша задача — где-то в этом месте правильно поставить порог, чтобы обеспечить некоторые теоретические гарантии на число ошибок первого рода. Вот так выглядят модифицированные достигаемые уровни значимости, отсортированные по неубыванию, при использовании поправки Бонферрони. Таблицу внизу мы уже видели. Мы отвергаем 23 неверных нулевых гипотезы из 50 и ни одной верной. Вот так выглядят модифицированные достигаемые уровни значимости метода Холма. Метод Холма позволяет нам отвергнуть 26 из 50 гипотез и всё ещё не совершить ни одной ошибки первого рода при этом. На самом деле, разница между этими двумя методами, с одной стороны, не такая уж и большая. Метод Холма не позволил нам совершить какого-то чуда и отвергнуть внезапно все неверные нулевые гипотезы. С другой стороны, метод Холма, не делая никаких дополнительных предположений, дал нам ещё три научных открытия. Ещё три гипотезы нам удалось отвергнуть абсолютно бесплатно. Разве это не повод его использовать? Итак, в этом видео мы изучили метод Холма. Это метод, контролирующий familywise error rate. Этот метод немного сложнее, но всегда лучше поправки Бонферрони и точно так же всегда работает без всяких дополнительных предположений. В следующем видео мы поговорим про ещё одну меру числа ошибок первого рода, которая называется False Discovery Rate (FDR).
