Не так давно получил распространение термин «большие данные», обозначивший новую прикладную область — поиск способов автоматического быстрого анализа огромных объёмов разнородной информации. Наука о больших данных ещё только оформляется, но уже сейчас она очень востребована — и в будущем будет востребована только больше. С её помощью можно решать невероятные задачи: оценивать состояние печени по кардиограмме, предсказывать зарплату по описанию вакансии, предлагать пользователю музыку на основании его анкеты в интернете. Большими данными может оказаться что угодно: результаты научных экспериментов, логи банковских транзакций, метеорологические наблюдения, профили в социальных сетях — словом, всё, что может быть полезно проанализировать. Самым перспективным подходом к анализу больших данных считается применение машинного обучения — набора методов, благодаря которым компьютер может находить в массивах изначально неизвестные взаимосвязи и закономерности. На факультете компьютерных наук ВШЭ и в Школе анализа данных есть люди, активно использующие машинное обучение и разрабатывающие новые подходы к нему. Именно они — преподаватели этого курса. Вы изучите основные типы задач, решаемых с помощью машинного обучения — в основном речь пойдёт о классификации, регрессии и кластеризации. Узнаете об основных методах машинного обучения и их особенностях, научитесь оценивать качество моделей — и решать, подходит ли модель для решения конкретной задачи. Наконец, познакомитесь с современными библиотеками, в которых реализованы обсуждаемые модели и методы оценки их качества. Для работы мы будем использовать реальные данные из реальных задач. Краткая программа курса: Неделя 1. Введение. Примеры задач. Логические методы: решающие деревья и решающие леса. Неделя 2. Метрические методы классификации. Линейные методы, стохастический градиент. Неделя 3. Метод опорных векторов (SVM). Логистическая регрессия. Метрики качества классификации. Неделя 4. Линейная регрессия. Понижение размерности, метод главных компонент. Неделя 5. Композиции алгоритмов, градиентный бустинг. Нейронные сети. Неделя 6. Кластеризация и визуализация. Частичное обучение. Неделя 7. Прикладные задачи анализа данных: постановки и методы решения. Слушателю нужно знать об основных понятиях математики: функциях, производных, векторах, матрицах. Для выполнения практических заданий потребуются базовые навыки программирования. Очень желательно знать Python. Задания рассчитаны на использование этого языка и его библиотек numpy, pandas и scikit-learn. Чтобы успешно завершить курс, нужно набрать проходную сумму баллов за тесты и практические задания, а также выполнить финальный проект, посвящённый решению прикладной задачи анализа данных. Мы уверены, что этот курс будет полезен каждому, кто хочет постичь искусство предсказательного моделирования и освоить интеллектуальный анализ данных.
Метод стохастического градиента. Достоинства и недостатки.
Loading...
From the course by National Research University Higher School of Economics
Введение в машинное обучение
1566 оценки
From the lesson
Линейные методы классификации
Линейные модели — один из наиболее изученных классов алгоритмов в машинном обучении. Они легко масштабируются и широко применяются для работы с большими данными. В этом модуле мы изучим метод стохастического градиента для настойки линейных классификаторов, познакомимся с регуляризацией и обсудим некоторые тонкости работы с линейными методами.
Meet the Instructors
Константин Вячеславович ВоронцовПрофессор
Факультет компьютерных наук НИУ ВШЭ, Школа анализа данных Яндекса
Evgeny SokolovSenior Lecturer
HSE Faculty of Computer Science
[ЗАСТАВКА] Продолжим
изучение линейных методов классификации регрессии,
основанных на стохастическом градиенте.
Как мы уже увидели, этот метод имеет много преимуществ,
он легко реализуется, может быть обобщён на нелинейной модели.
Он может быть использован с самыми разными функциями потерь,
может быть использован для больших данных, но,
тем не менее, этот метод имеет и некоторое количество недостатков.
Во-первых, как правило, функционалы, которые получаются в задачах машинного
обучения, являются многоэкстремальными, а какие-то обоснования сходимости для метода
стохастического градиента известны главным образом только для выпуклых функций.
А мы пытаемся его применять для невыпуклых функций,
поэтому сходимость есть, но она только локальная,
к локальному экстремуму, и как найти хорошее начальное приближение,
которое приведёт нас к удачному локальному экстремуму, это важный вопрос.
Дальше, возможна также расходимость или очень медленная сходимость,
поэтому нужно знать, какими способами можно ускорить сходимость этого метода.
Наконец, в линейных моделях возможно переобучение из-за неприятного эффекта,
который называется мультиколлинеарностью.
И вот эти все мелкие проблемы порождают отношение к методу стохастического
градиента как к некому искусству, потому что требуется комплекс эвристик,
каждый раз при решении каждой задачи он подбирается индивидуально.
Давайте рассмотрим эти эвристики и начнём с инициализации весов.
Очень часто в учебниках и популярных руководствах по линейным методам
и даже по методам построения неровных сетей, которые являются их обобщениями,
даётся рекомендация брать в качестве начального приближения либо нулевой
вектор, либо какой-то близкий к нулю случайный вектор.
Это не всегда хорошо работает и не всегда ведёт к хорошим локальным решениям.
Неплохие эвристики для инициализации можно получить,
если воспользоваться очень простыми методами регрессии или классификации,
которые основаны на, ну можно так сказать, драконовских предположениях.
Это предположение о некоррелированности или независимости признаков.
Две такие формулы приведены на слайде.
Первая — для задачи регрессии, очень простая формула,
которая заключается в том, что вы считаете скалярное произведение между векторами
признаков и векторами правильных ответов на всех объектах обучающей выборки.
И примерно столь же простой способ инициализации для задач классификации,
когда вы должны для каждого признака посчитать его среднее значение в
каждом классе, и логарифмы этих средних значений как раз и являются
неплохой инициализацией для вектора весов.
Но если признаки действительно по счастливой случайности окажутся
независимыми, то эти формулы уже практически дают хорошее решение.
Ещё одна эвристика заключается в том,
что эти оценки можно считать по небольшим случайным подвыборкам.
Это работает в том случае, когда выборка у вас избыточна,
вы видите перед собой десять миллионов объектов, но понятно,
что эту инициализацию можно сделать, скажем, по случайной тысяче объектов.
И ещё одна хорошая рекомендация — это метод мультистарта, который заключается в
том, что вы подобного рода инициализацию, например, по случайным подвыборкам
делаете многократно и получаете много исходных точек, из каждой из которой
вы запускаете дальше итерационный процесс стохастического градиента, и может быть,
какие-то из этих запусков приведут вас к более удачным локальным решениям.
Вот это вот способы решения проблемы многоэкстремальности,
выбор начального приближения.
Следующий важный момент, который тоже порождает
несколько хороших эвристик — это в каком же порядке предъявлять объекты.
В методе стохастического градиента считается,
что объекты надо брать в случайном порядке.
Однако если сделать так, чтобы объекты брались не просто случайными, а чтобы они
были существенно отличными друг от друга, то процесс сходимости пойдёт быстрее.
Ну действительно, если вы возьмёте друг за другом два объекта,
которые случайно лежали рядом,
то вы практически никакого эффекта не получите от такого градиентного шага.
Очень простая и эффективная эвристика — так называемая перетасовка объектов.
Давайте брать объекты попеременно из разных классов, это, можно сказать,
эвристика, основанная на гипотезе компактности, потому что считается,
что объекты одного класса, они, как правило, как-то компактно расположены.
А если вы берёте объекты из разных классов,
то они у вас получаются существенно различными.
Можно чаще брать те объекты, на которых была большая ошибка допущена,
то есть вероятность взять объект в следующий раз можно поставить
зависимость от значения отступа на этом объекте.
Можно поставить ограничение объекта,
который имеет большой положительный отступ, вообще перестать брать.
Можно также перестать брать объекты,
которые получили настолько большой отрицательный отступ, что стало ясно,
что это объект-«выброс», и настраиваться на нём уже бесполезно.
Ну в таких эвристиках обычно появляются какие-то дополнительные параметры,
которые приходится перебирать вручную и делать эксперименты многократно
при разных значениях этих параметров.
Следующая важная вещь, которая возникает в градиентных методах
— это варианты выбора градиентного шага.
Если вы посмотрите на учебники по методам оптимизации, то найдёте там такой факт,
что сходимость градиентного метода гарантируется для выпуклых функций,
если мы градиентный шаг устремляем к нулю с итерациями, но не слишком быстро.
И, в частности, можно, например, брать градиентный шаг,
как величину градиентного шага обратно пропорционально номеру итерации.
На практике эта стратегия далеко не всегда работает, и потому что функции
могут иметь очень непростой характер и из-за многоэкстремальности.
Более продвинутая стратегия — это метод скорейшего градиентного спуска,
когда вы шаг h выбираете так, чтобы достичь локального
минимума вот такой вот одномерной функции, которая получается,
если мы будем варьировать градиентный шаг в направлении фиксированного градиента.
Иногда эту задачу удаётся решать аналитически, в частности,
для регрессии при квадратичной функции потерь можно эту задачу
решить и получить величину шага оптимального, и это очень простая формула.
Чтобы выбивать процесс из неудачных локальных экстремумов,
рекомендуется периодически делать пробные большие случайные шаги в разных
направлениях, получать тем самым очередное приближение,
из которого дальше стартует градиентный процесс.
Ну и если он не уходит в какую-то более удачную область, то можно вернуться в ту
точку, из которой мы сделали такой большой прыжок, чем-то похоже на мультистарт.
Ну и наконец, ещё одна интересная стратегия повышения скорости
сходимости — это использование метода второго порядка.
Однако метод второго порядка, в частности, метод Ньютона-Рафсона,
плох тем, что он заставляет нас посчитать матрицу Гессе,
это матрица частных производных,
которая… Её не только долго посчитать, но и её ещё надо обращать,
это операция, которая очень трудоёмкая и далеко не
всегда её удаётся встроить в итерационный процесс.
Можно сделать следующее эвристическое предположение.
Допустим, что в этой матрице Гессе есть диагональное преобладание.
Это действительно часто бывает так, но мы сделаем ещё более грубое предположение,
будем считать все недиагональные элементы равными нулю.
В таком случае матрицу очень легко обратить.
Обратная диагональная матрица — это матрица, у которой на диагонали стоят
обратные элементы, и получается очень простая формула,
в которой практически выписана величина градиентного шага,
причём этот градиентный шаг по каждой размерности свой.
Можно в этой формуле легко полагать градиентный шаг h равным единице.
Вот и ещё приходится вводить дополнительный параметр для того,
чтобы предотвратить обнуление элемента, который оказывается в знаменателе.
Получается, что у нас,
когда градиент большой, но вторая производная близка к нулю,
это означает, что мы находимся где-то в районе точек перегибов функции,
то есть это, скорее всего, далеко от локальных экстремумов,
но в этой области мы можем делать нормальный, настоящий градиентный спуск.
А вот когда мы заходим в область, локально близкую к экстремуму,
то здесь уже надо пользоваться методами, близкими к методам второго порядка.
Вот этот метод называется диагональным методом Левенберга-Марквардта,
и отличается тем, что он очень быстро может быть реализован,
он очень простой как для реализации,
так и в смысле скорости вычислений, он быстрый.
И, тем не менее, он сохраняет свойство метода второго порядка в окрестности
локальных экстремумов.
[ЗАСТАВКА]
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
