Курс посвящен статистическому сравнению характеристик групп и категорий. В первой части курса мы рассказываем о параметрических и непараметрических тестах сравнения средних и распределений, какие возможности и ограничения связаны с разными методами сравнения групп, говорим о сравнении связанных и несвязанных выборок. Различаются ли регионы (или аудитории) по доходу или возрасту? Как отличается пользовательская активность в разные времена года? Случайны различия между группами или закономерны? Курс научит искать ответы на такие вопросы. Вторая половина курсов посвящена выделению групп на основе эмпирических данных. Есть ли структура в данных? Можно ли говорить о том, что люди, компании или университеты группируются в отличительные, узнаваемые классы? Как найти и охарактеризовать такие группы? Мы покажем основные алгоритмы кластеризации, которые позволяют решать такие задачи. В практических видео курса мы покажем реализацию основных инструментов сравнения и выделения групп, а также предложим практические задачи и задания для отработки полученных навыков.
3.8. Иерархический кластерный анализ в SPSS. Практика
Loading...
Из курса от партнера Novosibirsk State University
Сравнение и создание групп
17 оценки
Из урока
Введение в кластерный анализ
В третьем модуле курса мы поговорим о методах выделения групп. Если до этого мы сравнивали группы, которые уже были нам известны, то во второй половине курса мы будем говорить о том, как обнаружить группы в данных, как их выделить, охарактеризовать, и что можно делать с построенной классификацией дальше. Основной фокус модуля - агломеративные методы классификации. В заключении, как всегда, практика на реальных данных.
Познакомьтесь с преподавателями
Ольга Ечевскаядоцент, кандидат социологических наук
Кафедра общей социологии ЭФ НГУ
Виктор ДёминСпециалист по анализу данных, кандидат технических наук
Компания 2GIS
Наталья ГалановаСпециалист по анализу данных
Компания 2GIS
[МУЗЫКА] [МУЗЫКА]
[МУЗЫКА] А теперь, давайте, посмотрим какие
возможности иерархического кластерного анализа реализованы в пакете SPSS.
Возьмём тот рейтинг, о котором мы говорили.
То есть модель мы уже с вами разобрали,
давайте посмотрим как её задать в статистическом пакете.
Вот, открыт у меня, сейчас, массив данных, этот самый рейтинговый,
мы видим в нём несколько переменных.
Первая — это, собственно, рейтинговая позиция, дальше идёт зарплата, балл ЕГЭ,
процент остающихся в городе обучения, и, последняя переменная — это город,
если нам, вдруг, захочется посмотреть в каких городах находятся университеты
из полученных кластеров.
Основные переменные для построения кластерной модели, это, вот, у нас три
рейтинговых переменных: зарплата, балл ЕГЭ и процент остающихся в городе обучения.
Все кластерные модели лежат в меню «Анализ», «Классификация».
И если мы зайдем, увидим что есть «двухэтапный»,
«k-средними» и сейчас нам нужна «иерархическая кластеризация».
Зайдём. Для начала располагаем переменные в окно
«Переменные», те три переменные, на которых будет у нас строиться
классификация: зарплата, ЕГЭ и процент остающихся в городе обучения.
Дальше идём по кнопкам.
«Статистики».
Здесь обязательно сохраняем порядок агломерации.
То есть это тот самый протокол объединения,
в котором отражается как пошагово самые близкие, а потом более, более,
более отдалённые объекты постепенно объединяются в кластеры.
Именно по этой таблице мы потом будем делать вывод о том,
сколько кластеров нам следует оставить.
Сохраняем, продолжаем.
В «Графиках».
Здесь у нас есть возможность сохранить дендрограмму.
Сохраняем её, так же, здесь сосульчатая диаграмма здесь же реализована,
но мы её пока отключим.
Мы говорили что она менее информативна, но если захотите,
вы сможете потом с ней поэкспериментировать самостоятельно.
«Метод».
Здесь мы задаём, собственно, метод, по которому будут строиться кластеры.
По умолчанию тут реализован метод межгрупповой связи, но мы говорили о том,
что для нашей задачи метод Уорда более подходящий.
Поэтому мы его и выставим.
И «Меру» оставим по умолчанию: интервальная шкала,
квадрат евклидового расстояния.
Продолжаем.
Важная кнопка «Сохранить».
Потому что если мы не сохраняем ничего, то тогда то,
что мы получим будет использоваться только для иллюстративных целей.
Для того чтобы мы построенные кластеры могли потом использовать,
нам нужно сохранить построенную классификацию.
И здесь у нас есть возможность сохранить или одно решение, если мы наверняка знаем
сколько нам кластеров понадобится, либо можем сохранить несколько решений.
Мы помним,
что несколько решений могут быть полезны для проверки устойчивости, поэтому давайте
сохраним два: четырёхкластерное и пятикластерное решение.
Здесь вот мы можем это вбить.
Но диапазон может быть, конечно, любым.
Продолжаем, сохраняем.
Всё. Вроде бы всё задали,
запускаем процедуру и смотрим что же мы увидим в выдаче.
Значит, первое что мы видим это, вот, табличка обобщающая,
что у нас 47 объектов.
95 % — определенные, и 2 % — неопределенные, потому что мы помним,
что мы удалили университет с нетипичной зарплатой и удалили один объект,
где было нетипично маленькое значение остающихся в городе обучения.
То есть вот эти два пропущенных указаны, остальные валидные и, именно,
на них строится классификация.
Дальше табличка — собственно, протокол агломерации.
Мы видим, что на первом шаге у нас объединились объекты 41 и 44,
на вот таком вот небольшом расстоянии.
И дальше этот коэффициент близости начинает по табличке потихоньку
увеличиваться.
И здесь же, вот,
то что вы видели в лекциях, на 41, 42 шаге у нас происходит тот самый скачок,
на котором следует разорвать и принять решение о таком количестве кластеров.
Дальше мы видим дендрограмму.
И это вот тот график, где мы видим, что вот у нас кластер 1-й, 2-й,
3-й, 4-й и 5-й.
И если бы нас устроила более крупная классификация,
мы могли бы увеличить расстояние, провести линию, скажем, вот здесь.
И тогда у нас было бы немножечко меньше кластеров,
но они были бы более крупные, более разрозненные внутри.
Откуда мы знаем, что у нас попало в какой кластер?
Если мы посмотрим в массив данных,
мы увидим что у нас добавилось две новых переменных.
CLU — это от слова cluster первые три буквы, дальше 5.1 и 4.1.
5.1 — это пятикластерная модель, первая попытка,
4.1 — это четырхкластерная модель, первая попытка.
И мы видим, что какие-то объекты у нас остаются в одном и том же кластере.
Хоть на пять дели, хоть на четыре.
А какие-то объекты меняют своё положение при переходе от 4-х кластерной к 5-ти
кластерной модели.
Давайте посмотрим как вообще происходит это изменение,
за счёт чего формируется пятый кластер.
Для этого мы зайдём в «Анализ» > «Описательные статистики» > «Таблицы
сопряженности» и просто построим таблицу сопряженности между этими двумя
переменными.
Пересечём 4-х и 5-ти кластерное решение.
Посмотрим что у нас получится.
5-ти кластерное, 4-х кластерное.
Запускаем.
Здесь мы видим, в табличке, что по столбцам у нас 4-х кластерное решение.
В первом кластере 2 объекта, во втором 17, в третьем 8 и 20 потом.
5-ти кластерное решение у нас по строкам показано, и мы видим,
что там у нас численность другая немножко и за счёт чего они формируются.
Кластер из двух объектов воспроизвёлся полностью, кластер из 20-ти объектов,
четвёртый, также воспроизвёлся полностью,
а вот если мы посмотрим на второй кластер в четырёхкластерном решении,
мы увидим что он развалился на две достаточно крупных группы.
То есть у нас 17 объектов развалились на две группы: одна — 7, вторая — 10.
И это нам говорит о том, что 4-х кластерное решение неустойчивое,
и значит у нас в этом кластере были две выраженные группы,
внутри которых объекты однородные, но разрозненные между собой.
Поэтому 5-ти кластерное решение нам оставить рекомендовано, что мы,
собственно, в лекции и сделали, как вы помните.
Для того чтобы понять какие именно университеты попали в каждый кластер,
нам нужно сделать дополнительное действие и выдать табличку со средними значениями,
которые будут у нас координатами центров кластеров и позволят нам, собственно,
интерпретировать кто у нас куда попал.
Для этого мы заходим в «Сравнение средних»,
знакомая нам уже тоже команда меню.
И в качестве независимой переменной ставим 5-ти кластерную модель,
которую мы решили оставить.
А в качестве зависимых переменных, ставим те самые три,
на основе которых мы строили кластерную модель.
Здесь убираем всё ненужное, оставляем только средние значения, потому что нам,
по большому счёту, нужно только охарактеризовать то, что мы получили.
Продолжаем, запускаем.
По этой табличке мы можем сказать, что в первый кластер у нас попали, относительно,
высокооплачиваемые ВУЗы,
средняя по выборке у нас зарплата — 79 тысяч, а в первом кластере — 110 тысяч.
То есть,
это высокооплачиваемые университеты с высоким баллом ЕГЭ и абитуриентов.
И с неплохим процентом остающихся в городе обучения.
Третий кластер, к примеру, отличается тем, что там тоже высокие показатели,
выше средних по выборке и по зарплате и по ЕГЭ, но не такие высокие как в предыдущем,
но здесь характерно то, что очень большой процент,
больше 90 % остаются в том городе, в котором они учились.
То есть это такой более патриотичный кластер.
Ну и далее, по аналогии,
мы можем анализировать содержание вот этих кластеров, называть их
как-то и потом работать с ними, как с обычной номинальной переменной.
На этом мы заканчиваем рассмотрение иерархического кластерного анализа.
И в следующем модуле поговорим о других методах кластеризации,
которые называются итерационными.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
