0:00
[БЕЗ ЗВУКА] В этом видео мы поговорим про
двухвыборочные непараметрические критерии для проверки статистических гипотез.
Работать будем со случаем связных выборок.
Решать будем следующую задачу.
В рамках исследования оценивалась эффективность применения поведенческой
терапии для лечения анорексии.
Для 50 пациентов, проходивших эту терапию, известен вес «до» и вес «после» терапии.
Соответственно, нам с вами нужно определить,
являлась ли терапия эффективной.
Итак, традиционно сначала загружаем данные.
И давайте на них посмотрим.
Видим, что структура данных довольно простая, перед нами data frame,
состоящая из двух колонок, в первой для нас известен вес пациентов до операции,
во второй – вес пациентов после операции.
Так, давайте отрисуем гистограммы этих весов, посмотрим на них.
Видим, что да, левая и правая границы гистограмм отличаются.
Можно сказать, что гистограмма, построенная по данным после терапии
немножечко сдвинута вправо относительно гистограммы, построенной до терапии,
однако этого, конечно, недостаточно для того чтобы сделать вывод о том,
что терапия оказалась эффективной.
Давайте посмотрим на то, как изменялись средние веса.
Видим, что средний вес после терапии также стал больше,
однако это тоже недостаточно неточная оценка.
Ну давайте еще сделаем интервальную оценку на средний вес.
Так, это можно сделать с помощью метода zconfint, мы его уже разбирали.
И вот давайте посмотрим, что мы получаем.
Видим, что интервалы весов до терапии и после терапии пересекаются.
То есть все равно сложно сделать однозначный вывод о том,
что терапия помогла.
Нужно применять критерий для провеки гипотез.
Давайте рассмотрим гипотезу о том, что медиана веса до терапии и после терапии
совпадают против двусторонней альтернативы о том, что они отличаются.
Для того чтобы применять двухвыборочные критерии для проверки гипотез, для начала
нам нужно посчитать попарные разности весов пациентов до и после терапии.
Давайте это сделаем и посмотрим на то, как эта величина распределена.
Мы видим, что основные значения колеблются около 0, ±5 килограмм.
Теперь давайте применим критерий знаков.
Будем тестировать гипотезу о том, что медианы весов до и после терапии равны,
против альтернативы о том, что они не равны.
Посчитать критерий знаков можно с помощью метода sign test из модуля StatsModules,
однако, если помните, в прошлом видео мы передавали туда одну выборку,
в данном случае мы сделаем то же самое,
только вместо выборки передадим попарные разности на двух выборках.
То есть, фактически это тоже выборка одна, но только в ней содержатся разности,
посчитанные по двум связным выборкам.
Давайте посмотрим, что мы получим.
Видим, что значение статистики равняется 3 и p-value = 0,26.
Видим, что p-value достаточно большое, поэтому мы с вами не можем отвергнуть
нулевую альтернативу, соответственно, не можем сделать вывод о том,
что у нас веса изменились, что терапия оказалась эффективной.
Давайте посмотрим, быть может,
с помощью критерия рангов Уилкоксона получится другой результат.
Здесь хочется обратить ваше внимание на то,
что эту функцию можно применять по-разному.
С одной стороны, мы можем передать туда две выборки, с другой стороны, мы точно
так же, как и в случае с критерием знаков, можем передать туда попарные разности.
Вот давайте попробуем сделать и то, и другое, и, конечно же, нам хотелось бы,
чтобы результат получился одинаковый.
Итак, сначала передаем туда две выборки.
Видим, что статистика равняется 131,5, и p-value получается 0,06.
Ну, на самом деле p-value уже гораздо ниже, чем в предыдущем случае,
однако все равно недостаточно низкое значение, чтобы, скажем,
с уверенностью 0,05 отвергнуть эту гипотезу, нулевую гипотезу.
Итак, пробуем запустить в другом режиме, и видим,
что результат получается точно такой же.
То есть можно сделать вывод о том, что можно делать обоими способами.
Ну и вот, понимаем, что на уровне значимости 0,05 мы отвергнуть нулевую
гипотезу не можем, но, однако, на уровне значимости 0,1 – можем.
Двигаемся дальше.
Подходим к перестановочному критерию.
В данном случае критерий нам придется реализовать самостоятельно,
однако на прошлом уроке мы уже это делали,
поэтому давайте не будем подробно останавливаться на реализации.
Первая функция, которая нам понадобится,
это функция для вычисления t-статистики по выборке в реализуемое.
Далее нам нужно обязательно уметь считать нулевое распределение.
И давайте сразу же посмотрим,
как это нулевое распределение будет выглядеть в случае наших данных.
Ну, давайте остановимся на 10 000 перестановок.
И посмотрим.
Видим, что получилось табличное распределение, так, как мы и ожидали.
Итак, теперь нам понадобится функция непосредственно для рассчета p-value.
И теперь давайте это p-value рассчитаем.
Ну вот, возьмем 1000 перестановок и посмотрим, что мы получили.
Мы видим, что мы получили довольно маленькое значение p-value,
всего лишь 0,04.
Получается, что с помощью критерия перестановочного мы с вами можем
отвергнуть нулевую гипотезу на уровне значимости 0,05.
Может быть, мы взяли недостаточно много перестановок и нужно просто взять больше?
Давайте возьмем вместо тысячи 50 000 и посмотрим, как изменится p-value.
Так, видим, что это считается чуть дольше, но видим,
что p-value на самом деле изменилось не очень сильно.
Получается, что на уровне значимости 0,05 мы можем смело отвергать нулевую гипотезу
и делать вывод о том, что, наверное, терапия оказалась эффективной.
Наверняка вам интересно, почему же так получается,
почему мы применяем разные критерии и вынуждены делать разные выводы.
Давайте разбираться.
Ну, во-первых, разные критерии по-разному оценивают среднее.
В случае критерия знаков под «средним» мы с вами понимаем «медиану веса»,
а в случае перестановочного критерия под «средним» мы с вами понимаем «матожидание
разности весов».
Уже в этом месте начинаются разночтения.
С другой стороны, разница есть в том, как много информации использует критерий.
В частности, знаковые критерии используют только знаки перед
нашими значениями и не учитывают абсолютные значения.
Ранговые критерии используют только порядка.
Перестановочный критерий уже использует гораздо больше информации,
потому что он учитывает значение.
Соответственно, в этом случае нам оказалось этого достаточно для того,
чтобы отвергнуть нулевую гипотезу.
Мы с вами на этом заканчиваем.
На этом видео мы научились применять двухвыборочные непараметрические критерии
в случае связных выборок.
А в следующем видео мы с вами поговорим про несвязные выборки.
Evgeniy Riabenko
Evgeny Sokolov
Victor Kantor
Emeli Dral
