Об этом курсе
70,836

100% онлайн

Начните сейчас и учитесь по собственному графику.

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.

Продвинутый уровень

Course requires strong background in calculus, linear algebra, probability theory and machine learning.

Прибл. 39 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 6 hours/week...

Английский

Субтитры: Английский, Корейский

Приобретаемые навыки

Bayesian OptimizationGaussian ProcessMarkov Chain Monte Carlo (MCMC)Variational Bayesian Methods

100% онлайн

Начните сейчас и учитесь по собственному графику.

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.

Продвинутый уровень

Course requires strong background in calculus, linear algebra, probability theory and machine learning.

Прибл. 39 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 6 hours/week...

Английский

Субтитры: Английский, Корейский

Программа курса: что вы изучите

Неделя
1
2 ч. на завершение

Introduction to Bayesian methods & Conjugate priors

Welcome to first week of our course! Today we will discuss what bayesian methods are and what are probabilistic models. We will see how they can be used to model real-life situations and how to make conclusions from them. We will also learn about conjugate priors — a class of models where all math becomes really simple....
9 видео ((всего 55 мин.)), 1 материал для самостоятельного изучения, 2 тестов
9 видео
Bayesian approach to statistics5мин
How to define a model3мин
Example: thief & alarm11мин
Linear regression10мин
Analytical inference3мин
Conjugate distributions2мин
Example: Normal, precision5мин
Example: Bernoulli4мин
1 материал для самостоятельного изучения
MLE estimation of Gaussian mean10мин
2 практического упражнения
Introduction to Bayesian methods20мин
Conjugate priors12мин
Неделя
2
6 ч. на завершение

Expectation-Maximization algorithm

This week we will about the central topic in probabilistic modeling: the Latent Variable Models and how to train them, namely the Expectation Maximization algorithm. We will see models for clustering and dimensionality reduction where Expectation Maximization algorithm can be applied as is. In the following weeks, we will spend weeks 3, 4, and 5 discussing numerous extensions to this algorithm to make it work for more complicated models and scale to large datasets....
17 видео ((всего 168 мин.)), 3 тестов
17 видео
Probabilistic clustering6мин
Gaussian Mixture Model10мин
Training GMM10мин
Example of GMM training10мин
Jensen's inequality & Kullback Leibler divergence9мин
Expectation-Maximization algorithm10мин
E-step details12мин
M-step details6мин
Example: EM for discrete mixture, E-step10мин
Example: EM for discrete mixture, M-step12мин
Summary of Expectation Maximization6мин
General EM for GMM12мин
K-means from probabilistic perspective9мин
K-means, M-step7мин
Probabilistic PCA13мин
EM for Probabilistic PCA7мин
2 практического упражнения
EM algorithm8мин
Latent Variable Models and EM algorithm10мин
Неделя
3
2 ч. на завершение

Variational Inference & Latent Dirichlet Allocation

This week we will move on to approximate inference methods. We will see why we care about approximating distributions and see variational inference — one of the most powerful methods for this task. We will also see mean-field approximation in details. And apply it to text-mining algorithm called Latent Dirichlet Allocation...
11 видео ((всего 98 мин.)), 2 тестов
11 видео
Mean field approximation13мин
Example: Ising model15мин
Variational EM & Review5мин
Topic modeling5мин
Dirichlet distribution6мин
Latent Dirichlet Allocation5мин
LDA: E-step, theta11мин
LDA: E-step, z8мин
LDA: M-step & prediction13мин
Extensions of LDA5мин
2 практического упражнения
Variational inference15мин
Latent Dirichlet Allocation15мин
Неделя
4
5 ч. на завершение

Markov chain Monte Carlo

This week we will learn how to approximate training and inference with sampling and how to sample from complicated distributions. This will allow us to build simple method to deal with LDA and with Bayesian Neural Networks — Neural Networks which weights are random variables themselves and instead of training (finding the best value for the weights) we will sample from the posterior distributions on weights....
11 видео ((всего 122 мин.)), 2 тестов
11 видео
Sampling from 1-d distributions13мин
Markov Chains13мин
Gibbs sampling12мин
Example of Gibbs sampling7мин
Metropolis-Hastings8мин
Metropolis-Hastings: choosing the critic8мин
Example of Metropolis-Hastings9мин
Markov Chain Monte Carlo summary8мин
MCMC for LDA15мин
Bayesian Neural Networks11мин
1 практическое упражнение
Markov Chain Monte Carlo20мин
Неделя
5
5 ч. на завершение

Variational Autoencoder

Welcome to the fifth week of the course! This week we will combine many ideas from the previous weeks and add some new to build Variational Autoencoder -- a model that can learn a distribution over structured data (like photographs or molecules) and then sample new data points from the learned distribution, hallucinating new photographs of non-existing people. We will also the same techniques to Bayesian Neural Networks and will see how this can greatly compress the weights of the network without reducing the accuracy....
10 видео ((всего 79 мин.)), 3 материалов для самостоятельного изучения, 3 тестов
10 видео
Modeling a distribution of images10мин
Using CNNs with a mixture of Gaussians8мин
Scaling variational EM15мин
Gradient of decoder6мин
Log derivative trick6мин
Reparameterization trick7мин
Learning with priors5мин
Dropout as Bayesian procedure5мин
Sparse variational dropout5мин
3 материала для самостоятельного изучения
VAE paper10мин
Relevant papers10мин
Categorical Reparametrization with Gumbel-Softmax10мин
2 практического упражнения
Variational autoencoders16мин
Categorical Reparametrization with Gumbel-Softmax18мин
Неделя
6
4 ч. на завершение

Gaussian processes & Bayesian optimization

Welcome to the final week of our course! This time we will see nonparametric Bayesian methods. Specifically, we will learn about Gaussian processes and their application to Bayesian optimization that allows one to perform optimization for scenarios in which each function evaluation is very expensive: oil probe, drug discovery and neural network architecture tuning....
7 видео ((всего 58 мин.)), 2 тестов
7 видео
Gaussian processes8мин
GP for machine learning5мин
Derivation of main formula11мин
Nuances of GP12мин
Bayesian optimization10мин
Applications of Bayesian optimization5мин
1 практическое упражнение
Gaussian Processes and Bayesian Optimization16мин
5 ч. на завершение

Final project

In this module you will apply methods that you learned in this course to this final project...
1 тест
4.6
Рецензии: 91Chevron Right

60%

начал новую карьеру, пройдя эти курсы

36%

получил значимые преимущества в карьере благодаря этому курсу

Лучшие рецензии

автор: JGNov 18th 2017

This course is little difficult. But I could find very helpful.\n\nAlso, I didn't find better course on Bayesian anywhere on the net. So I will recommend this if anyone wants to die into bayesian.

автор: VOApr 3rd 2019

Great introduction to Bayesian methods, with quite good hands on assignments. This course will definitely be the first step towards a rigorous study of the field.

Преподаватели

Avatar

Daniil Polykovskiy

Researcher
HSE Faculty of Computer Science
Avatar

Alexander Novikov

Researcher
HSE Faculty of Computer Science

О Национальный исследовательский университет "Высшая школа экономики"

National Research University - Higher School of Economics (HSE) is one of the top research universities in Russia. Established in 1992 to promote new research and teaching in economics and related disciplines, it now offers programs at all levels of university education across an extraordinary range of fields of study including business, sociology, cultural studies, philosophy, political science, international relations, law, Asian studies, media and communicamathematics, engineering, and more. Learn more on www.hse.ru...

О специализации ''Продвинутое машинное обучение'

This specialization gives an introduction to deep learning, reinforcement learning, natural language understanding, computer vision and Bayesian methods. Top Kaggle machine learning practitioners and CERN scientists will share their experience of solving real-world problems and help you to fill the gaps between theory and practice. Upon completion of 7 courses you will be able to apply modern machine learning methods in enterprise and understand the caveats of real-world data and settings....
Продвинутое машинное обучение

Часто задаваемые вопросы

  • Зарегистрировавшись на сертификацию, вы получите доступ ко всем видео, тестам и заданиям по программированию (если они предусмотрены). Задания по взаимной оценке сокурсниками можно сдавать и проверять только после начала сессии. Если вы проходите курс без оплаты, некоторые задания могут быть недоступны.

  • Записавшись на курс, вы получите доступ ко всем курсам в специализации, а также возможность получить сертификат о его прохождении. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.

  • Course requires strong background in calculus, linear algebra, probability theory and machine learning.

Остались вопросы? Посетите Центр поддержки учащихся.