Курс посвящен статистическому сравнению характеристик групп и категорий. В первой части курса мы рассказываем о параметрических и непараметрических тестах сравнения средних и распределений, какие возможности и ограничения связаны с разными методами сравнения групп, говорим о сравнении связанных и несвязанных выборок. Различаются ли регионы (или аудитории) по доходу или возрасту? Как отличается пользовательская активность в разные времена года? Случайны различия между группами или закономерны? Курс научит искать ответы на такие вопросы. Вторая половина курсов посвящена выделению групп на основе эмпирических данных. Есть ли структура в данных? Можно ли говорить о том, что люди, компании или университеты группируются в отличительные, узнаваемые классы? Как найти и охарактеризовать такие группы? Мы покажем основные алгоритмы кластеризации, которые позволяют решать такие задачи. В практических видео курса мы покажем реализацию основных инструментов сравнения и выделения групп, а также предложим практические задачи и задания для отработки полученных навыков.
1.7. Критерии равенства групп. Практика
Loading...
From the course by Novosibirsk State University
Сравнение и создание групп
13 оценки
From the lesson
Одновыборочные и двухвыборочные критерии
В первом модуле курса мы начнем разбираться со статистическими инструментами сравнения параметров и распределений в группах. Сначала поговорим об основных задачах межгрупповых сравнений, затем рассмотрим одновыборочные и двухвыборочные критерии, научимся сравнивать связанные и несвязанные выборки и посмотрим на практике, на реальных данных, как рассчитывать основные статистики в R и SPSS и интерпретировать полученные результаты.
Meet the Instructors
Ольга Ечевскаядоцент, кандидат социологических наук
Кафедра общей социологии ЭФ НГУ
Виктор ДёминСпециалист по анализу данных, кандидат технических наук
Компания 2GIS
Наталья ГалановаСпециалист по анализу данных
Компания 2GIS
[МУЗЫКА] [МУЗЫКА]
[БЕЗ_ЗВУКА] Тема
сегодняшней практики — сравнение групп.
Мы посмотрим, как сравнивать среднее с константой, как сравнить среднее двух
групп и как сравнить дисперсии двух групп, то есть двух выборок.
Делать мы все это будем с помощью Jupyter, с помощью R, и первое,
что необходимо сделать, это как всегда открыть пустой документ и считать данные.
В качестве исходных данных у нас будут данные из практики с регрессий,
и считываем их
с помощью read.csv как всегда.
[БЕЗ_ЗВУКА] Не
забываем поставить разделитель между
столбцами и между дробной частью и целой.
[БЕЗ_ЗВУКА] Также поставим,
что у нас здесь есть заголовок наших данных.
[БЕЗ_ЗВУКА] Посмотрим
наши данные с помощью команды summary.
Напомним, что у нас там вообще было, что есть.
Вот такой большой набор данных.
Здесь у нас есть клики, звонки, переходы на сайт,
средняя позиция, дни недели и так далее, есть ли социальный аккаунт.
Но нас здесь будут интересовать только лишь клики.
То есть мы посмотрим, чему равны клики, допустим,
во вторник и в среду, то есть во второй день и в третий день.
И попробуем сравнить их средние, то есть чему равны,
то есть проверить гипотезу о том, что, допустим,
их среднее равно некоторой константе, и потом сравним две выборки между собой.
Первое, что нам необходимо сделать, это вообще выделить их, то есть выделить
сначала клики только второго дня, то есть вторника, и только третьего дня.
Для этого мы воспользуемся как всегда нашими фильтрами.
Создадим переменную dataSecond,
которая будет отвечать за второй день.
[БЕЗ_ЗВУКА] И
считаем у нее только те строки,
где опять же день недели — это второй.
Для этого опять же пишем
data$DayOfWeek=2.
[БЕЗ_ЗВУКА] И здесь не будем брать
всю целиком таблицу, а возьмем только лишь клики, то есть только первый столбец.
[БЕЗ_ЗВУКА] Теперь
делаем то же самое со вторым,
то есть с третьим днем со вторым набором данных.
Назовем переменную dataThird.
[БЕЗ_ЗВУКА] Все
пишем то же самое, только здесь теперь вместо $DayOfWeek=2 ставим
=3.
И так же считываем только первый столбец,
только клики нас в рамках текущего занятия интересуют.
Давайте посмотрим на данные, что у нас там получилось, например,
во вторник, какие там средние и так далее.
Скорее всего, они примерно такие же, как и в общем.
Мы видим, что у нас вот так выглядит,
что медиана равна 6, а среднее — 10.
Давайте проверим гипотезу о том, что у нас, допустим, среднее равно 10.
Чтобы проверить эту гипотезу,
можно воспользоваться двумя тестами, это Вилкоксона и t-тест.
Как мы помним, t-тест Стьюдента требует нормальности.
Скорее всего, здесь нам нормальность ожидать не стоит,
но давайте построим гистограмму, посмотрим, может она тут и будет.
Для этого опять же пользуемся командой hist
dataSecond breaks
на Фридмен —Диаконис, то есть разбиение на Фридмена —Диакониса должно быть,
и посмотрим, что у нас получается.
Вот такая вот гистограмма.
Как видим, здесь очень далеко до нормальности.
Однако мы все равно воспользуемся t-тестом, чтобы проверить,
что он вообще работает.
Итак, что мы сделаем?
Мы сейчас проверим с помощью критерия Вилкоксона и t-теста, то есть Стьюдента,
гипотезу о том, что среднее количество кликов во вторник равно 10.
Начнем с критерия Вилкоксона, потому что он непараметрический и, скорее всего,
он покажет более правильный результат, а потом проверим на t-тесте,
хотя от t-теста чего-то ожидать, думаю, не стоит.
Для этого пишем wilcox.
Дальше пишем test как всегда, потому что это тест, критерий,
наш набор данных, а именно dataSecond,
то есть проверяем, допустим, только вторник.
И дальше мы должны записать то, вообще, чему у нас предполагается среднее,
то есть пишем mu равно 10.
Запускаем.
Видим уже знакомое нам окно о том,
что нам напоминают сначала, что мы делали, то есть нам написали, что «Wilcoxon signed
rank test with continuity correction», это вот то, что мы сейчас сделали.
Потом напоминают набор данных, показывают значение статистики и p-value,
и так же говорят о том, какая альтернативная гипотеза.
Альтернативная гипотеза, что наш сдвиг не равен 10.
Здесь мы видим что?
Здесь мы видим опять же значение статистики, оно нам ни о чем не говорит,
13436 мне ни о чем не говорит.
P-value получилась очень маленькой, порядка 0,001, чуть побольше.
Гипотеза отвергается.
То есть на самом деле среднее не равно 10.
Теперь проверим все то же самое, но с помощью Стьюдента.
Посмотрим, что будет, интересно всегда проверять, что будет,
если что-то, что не должно работать, заставить работать.
Для этого мы напишем опять же t.test.
В этом плане t-тест, конечно, удобнее, он короче,
чем Вилкоксон-тест, в плане писать.
dataSecond.
Опять же указываем средние наши ожидаемые и смотрим, что получится.
Видим, что информации здесь гораздо больше.
И главное, что мы здесь видим, это то, что p-value равно 0,41.
Это говорит о том, что гипотеза не отвергается.
То есть t-тест довольно уверенно говорит нам о том,
что среднее равно 10, хотя до этого Вилкоксон-тест сказал, что нет, не равно.
Таким образом, у нас противоречие между двумя тестами.
Какому из них доверять?
Ну конечно, доверять надо Вилкоксону в данном случае, потому что данные опять же
не нормальные, и вообще использовать здесь t-тест как бы не очень правильно.
Поэтому вот такая картина может возникнуть,
когда вы применяете не тот критерий, когда у вас не те условия.
Поэтому всегда важно знать,
чтобы ваш критерий был подходящим для текущей ситуации.
В текущей ситуации подходит Вилкоксон, поэтому ему мы верим.
Теперь сравним средние между двумя выборками,
то есть между кликами во вторник и в среду.
Для этого пишем все то же самое, то есть сначала с помощью критерия Вилкоксона.
Пишем так же wilcox.test, пишем данные dataSecond,
то есть данные за вторник, и рядом просто пишем данные за среду, dataThird.
Смотрим, что получилось.
Гипотеза, — опять же, смотрим на p-value, — гипотеза снова не отвергается,
то есть клики в среду в среднем равны кликам во вторник.
Давайте построим гистограмму и посмотрим на гистограмме, так ли это.
Просто визуально оценим, как распределены клики по средам.
Для этого также пишем hist, dataThird
[БЕЗ_ЗВУКА] Не забываем указать Фридмена — Диакониса.
Почему бы его не сделать по умолчанию.
[БЕЗ_ЗВУКА] Что можно сказать?
Что, действительно, данные несколько похожи.
Очень не нормальные, и как-то они даже несколько
экспоненциальные либо логнормальные напоминают нам.
Дальше что мы сделаем?
Давайте проверим с помощью t-теста, что же скажет он?
Опять же тот же самый синтаксис, только здесь пишем не wilcox.test,
а t.test dataSecond.
[БЕЗ_ЗВУКА] И в
этот раз он заработал верно, то есть видим, что p-value получилось 0,26.
Это говорит о том,
что гипотеза не отвергается, что действительно они равны между собой.
Также он нам любезно выдал и написал, чему равны вообще средние x и y.
Видим, что 10,6 и 11,9.
Действительно, довольно близки друг к другу.
Но обычно этого недостаточно.
Давайте проверим, что у нас и дисперсии равны.
Для этого воспользуемся критерием Муда.
Для этого запишем mood.test и дальше все то же самое,
а именно dataSecond, dataThird.
[БЕЗ_ЗВУКА] И видим, что нам говорит критерий Муда.
Он говорит о том, что гипотеза тоже не отвергается, то есть и дисперсии тоже,
скорее всего, равны.
Таким образом, у нас получилось,
что у наших двух выборок из среднего количества кликов во вторник и в среду,
— их средние равны, то есть гипотеза не отвергается, и дисперсии тоже равны.
То есть, скорее всего, у нас есть все основания предполагать,
что данные выборки из какого-то одного распределения.
А в следующий раз Ольга вам расскажет, как это все делать в SPSS.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
