Обучение на размеченных данных

Добро пожаловать на курс "Обучение на размеченных данных"! В этом модуле вы узнаете, что такое машинное обучение, какие в нём бывают постановки задачи, и что особенного в обучении на размеченных данных. Затем вы изучите один из основных способов решения задач обучения на размеченных данных — предсказание с помощью линейных моделей. Мы обсудим, как их настраивать и применять в задачах регрессии и классификации. В практических заданиях вы поработаете с настоящими данными и узнаете, какие проблемы в них можно обнаружить, а также попробуете делать прогнозы при помощи линейных моделей.

Вторая неделя нашего курса будет посвящена общим вопросам, с которыми приходится столкнуться в любой задаче анализа данных. Вы узнаете, что такое проблема переобучения, из-за чего она возникает, как её можно обнаружить и как с ней бороться — в частности, вы познакомитесь с кросс-валидацией, с помощью которой можно оценить способность алгоритма давать хорошие предсказания на новых данных. Далее речь пойдёт о метриках качества — без них невозможно понять, подходит ли алгоритм для решения той или иной задачи. Наконец, вы познакомитесь с библиотекой scikit-learn, которая является одним из основных инструментов современных специалистов по анализу данных.

Добро пожаловать на третью неделю курса! Вы уже поработали с линейными моделями, научились измерять их качество и устранять переобучение с помощью регуляризации. Пришло время разобраться, почему регуляризация действительно помогает уменьшить сложность модели или произвести отбор признаков — об этом пойдёт речь в первом уроке. Там же вы познакомитесь с логистической регрессией, которая является одним из наиболее популярных методов для решения задач классификации. Далее вы узнаете о некоторых важных нюансах работы с линейными моделями: масштабировании признаков, переходе в новые признаковые пространства и т.д. Мы не только расскажем обо всём этом, но и покажем, как оно работает в Python и библиотеке scikit-learn.

Линейные модели — очень важный и полезный, но слишком простой класс алгоритмов в машинном обучении; не во всех задачах они позволяют добиться желаемого качества. В этом модуле вы познакомитесь с новым семейством алгоритмов — решающими деревьями. Они во многом являются полной противоположностью линейных моделей. В частности, сами по себе они очень сложны и подвержены переобучению. При этом оказывается, что если объединить много деревьев в одну сложную модель, то можно получить очень качественное решение. Об этом крайне важном подходе — построении композиций решающих деревьев — мы в основном и будем говорить на этой неделе.