Влияет ли знание методов анализа данных на уровень заработной платы? Работает ли система оценки кредитоспособности клиентов банка? Действительно ли новый баннер лучше старого? Чтобы ответить на такие вопросы, нужно собрать данные. Данные почти всегда содержат шум, поэтому утверждения, которые можно сделать на их основе, верны не всегда, а только с определённой вероятностью. Строить наиболее корректные выводы и численно оценивать степень уверенности в них помогают методы статистики. Как можно оценивать неизвестные параметры системы по небольшому количеству наблюдений? Как измерить точность таких оценок? Какие данные нужны, чтобы ответить на ваш вопрос, и на какие вопросы можно ответить с помощью уже имеющихся данных? Вы узнаете все, что нужно для успешного превращения данных в выводы — организация экспериментов, A/B-тестирование, универсальные методы оценки параметров и проверки гипотез, корреляции и причинно-следственные связи.
Пример: одновыборочные непараметрические критерии
Loading...
From the course by Moscow Institute of Physics and Technology
Построение выводов по данным
505 оценки
Moscow Institute of Physics and Technology
505 оценки
Course 4 of 6 in the Specialization Машинное обучение и анализ данных
From the lesson
АБ-тестирование
Вторая неделя посвящена задачам АБ-тестирования — статистической технике, позволяющей оценить действие изменений в вашем продукте на конечного пользователя. Вы узнаете, как правильно такой эксперимент строить и какими методами анализировать.
Meet the Instructors
Evgeniy Riabenko
Evgeny Sokolov
Victor Kantor
Emeli Dral
В этом видео мы потренируемся применять непараметрические критерии.
Их так же, как параметрические критерии, можно применять для одной,
двух и двух связанных выборок.
В этом видео мы поговорим про одновыборочную задачу и потренируемся
применять следующие критерии: знаковые, ранговые и перестановочные.
Решать будем такую задачу.
В рамках исследования по улучшению жизни лабораторных мышей было
проведено следующее исследование.
Несколько мышей посадили в клетку, состоящую из двух комнат,
в одной из которых висело зеркало.
Измерялась доля времени, которую каждая из мышей проведет в комнате с зеркалом.
Ну хотелось понять,
есть ли у мышей какие-то предпочтения насчет зеркала и если они есть,
то можно было бы повесить зеркала в клетке и тем самым улучшить условия мышей.
Вот давайте эти данные загрузим и проанализируем.
Видим, что данные представляют из себя вектор, каждое значение
в котором соответствует доле времени, которое мышь провела в комнате с зеркалом.
Давайте соберем простенькую статистику по этим данным.
Видим, что у нас всего есть данные про 16 мышей, при этом в среднем
мыши проводят 0,48 доли времени в комнате с зеркалом.
При этом, эта доля меняется от 0,64 до 0,35,
ну то есть в общем-то мы видим, что в среднем примерно половину времени,
в районе половины времени, мыши проводят в комнате с зеркалом.
Давайте построим гистограмму по этому параметру и увидим,
что, ну да, действительно большая часть выборки
колеблется где-то в районе половины времени.
Теперь давайте это строго оценим.
Ну первое, что можно сделать,
это посчитать интервальную оценку на медиану времени.
Вот видим, что наша медиана меняется
от 0,44 до 0,51, ну то есть видим, что половина времени входит,
хотя интервал больше сдвинут влево относительно половины.
Теперь давайте потренируемся применять критерии.
Начнем с критерия знаков.
В данном случае мы с вами будем проверять гипотезу о том, что медиана доли времени,
которую мыши проводят в комнате с зеркалом,
равняется 0,5, ну то есть половина времени.
А проверять эту гипотезу можно относительно двусторонней альтернативы,
то есть о том, что медиана доли времени в комнате с зеркалом не равняется 0,5,
так и против любой из односторонних альтернатив.
То, что медиана доли времени меньше или больше, чем 0,5.
Вот мы с вами начнем с двусторонней альтернативы и начнем с критерия знаков.
Для этого мы будем пользоваться функцией sign_test из библиотеки statsmodels.
В эту функцию нужно передать наши данные, это mouses data, и то значение,
относительно которого мы гипотезу проверяем, то есть в нашем случае это 0.5.
Давайте запустим функцию.
Во-первых, она нам возвращает статистику −5 и p_value 0,02.
Мы видим, что p_value достаточно маленькая,
чтобы мы могли отклонить нулевую гипотезу на уровне значимости 0,05.
Соответственно, делаем вывод о том, что медиана доли времени проведенного в клетке
с зеркалом, все-таки отличается от 0,5.
Значит у мышей, наверное, есть какие-то предпочтения.
Вот давайте проверим это с помощью другого теста
или с помощью критерия знаковых рангов Уилкоксона.
В данном случае реализация находится в библиотеке SciPy,
модуль stats и называется wilcoxon.
Мы передаем туда наши данные.
И давайте посмотрим, что мы видим.
Видим, что значение статистики равняется 0 и p-value очень маленькая,
то есть этот тест так же подтверждает, что нулевую гипотезу нужно отклонить.
Последний критерий, который мы применяем — это перестановочный критерий.
В рамках этого критерия мы проверяем гипотезу о том, что среднее равняется 0,5
против альтернативы о том, что среднее не равняется 0,5.
Готовой реализации этого критерия нету,
поэтому нам придется самим его реализовать.
Ну это не очень сложно.
Для начала давайте рассчитаем T-статистику.
Это очень просто — нам с вами нужно просто посчитать сумму значений нашей выборки,
при этом из каждого значения нужно вычесть среднее.
Вот ровно это здесь делается, и получаем вот такую реализацию.
Можем сразу посмотреть, чему равна T-статистика в случае с нашей выборкой,
передаем туда среднее и видим, что в нашем случае этого назначения получается −0,4.
Теперь нам нужно реализовать функцию для подсчета нулевого распределения.
Так как в случае, если нулевая гипотеза справедлива и каждый из элементов выборки
может с одинаковой вероятностью реализоваться как справа, так и слева от
своего среднего, то для получения нулевого распределения нам нужно сделать следующее.
Нужно взять все элементы выборки, вычесть из них среднее и далее сгенерировать
на основе получившейся выборки набор выборок со всеми возможными
перестановками знаков перед каждым элементом.
Ну понятно, что таких выборок очень много, их ровно 2 в степени n,
где n — размер исходной выборки.
Поэтому для того, чтобы иметь возможность считать этот критерий быстрее,
мы вводим дополнительный параметр max permutations,
то есть максимальное количество перестановок, которые мы хотим перебрать.
В данном случае у нас есть следующая логика.
Вместо того чтобы генерировать все возможные комбинации знаков перед
элементами выборки,
мы с вами сгенерируем только несколько случайных и будем оценивать нулевое
распределение относительно сгенерированных случайных выборок.
Ну давайте посмотрим на реализацию.
Она тоже очень понятная.
Сначала мы просто вычитаем среднее из всех элементов выборки и дальше,
в зависимости от того, указано ли количество max permutations,
мы либо генерируем случайный набор последовательности знаков,
либо честно перебираем все возможные знаки.
Далее для подсчета нулевого распределения, мы просто суммируем значения элементов в
получившихся подвыборках с учетом знаков, и возвращаем нулевое распределение.
Вот давайте посмотрим на то, как это распределение выглядит.
Помним, что это должно быть табличное распределение… Ну вот так оно и выглядит.
Мы видим табличное распределение вот с центром в точке 0.
Так, теперь давайте посмотрим на реализацию самого теста.
Она тоже очень понятная.
А так как мы с вами можем применять этот критерий как с двусторонними,
так и с односторонними альтернативами, давайте сразу же помимо параметров sample
mean и max permutation, добавим параметр «тип альтернативы».
В данном случае two sided соответствует двусторонней альтернативе,
less и greater — соответствующим односторонним.
Итак, теперь для того чтобы применить тест,
нам с вами нужно рассчитать T-статистику (мы уже реализовали функцию для этого),
получить нулевое распределение, а дальше, в зависимости от того,
какая альтернатива проверяется, вычислить p-value.
Так как мы с вами имеем дело с небольшой выборкой – всего 16 элементов,
мы можем честно построить все перестановки и посмотреть на значение p-value
в этом случае.
Вот давайте это сделаем.
Видим, что это занимает совсем немного времени, и мы получаем p-value 0,16.
Вот давайте сделаем то же самое, но возьмем только часть перестановок.
Ну, допустим всего 10 000.
Метод будет работать еще быстрее и видим, что p-value отличается не очень сильно,
тоже 0,16.
Соответственно, на этом уровне значимости, на уровне значимости 0,05 или
на уровне значимости 0,1, мы отвергнуть нулевую гипотезу не можем.
А мы на этом заканчиваем и в следующем видео потренируемся применять
непараметрические критерии в случае двух связанных выборок.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
