Об этом курсе
4.2
Оценки: 139
Рецензии: 37
Специализация

Курс 4 из 7 в программе

100% онлайн

100% онлайн

Начните сейчас и учитесь по собственному графику.
Гибкие сроки

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.
Продвинутый уровень

Продвинутый уровень

Часов на завершение

Прибл. 39 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...
Доступные языки

Английский

Субтитры: Английский
Специализация

Курс 4 из 7 в программе

100% онлайн

100% онлайн

Начните сейчас и учитесь по собственному графику.
Гибкие сроки

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.
Продвинутый уровень

Продвинутый уровень

Часов на завершение

Прибл. 39 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 3-6 hours/week for base track, 6-9 with all the horrors of honors section...
Доступные языки

Английский

Субтитры: Английский

Программа курса: что вы изучите

Неделя
1
Часов на завершение
5 ч. на завершение

Intro: why should i care?

In this module we gonna define and "taste" what reinforcement learning is about. We'll also learn one simple algorithm that can solve reinforcement learning problems with embarrassing efficiency....
Reading
13 видео ((всего 84 мин.)), 7 материалов для самостоятельного изучения, 3 тестов
Video13 видео
Reinforcement learning vs all3мин
Multi-armed bandit4мин
Decision process & applications6мин
Markov Decision Process5мин
Crossentropy method9мин
Approximate crossentropy method5мин
More on approximate crossentropy method6мин
Evolution strategies: core idea6мин
Evolution strategies: math problems5мин
Evolution strategies: log-derivative trick8мин
Evolution strategies: duct tape6мин
Blackbox optimization: drawbacks4мин
Reading7 материала для самостоятельного изучения
What you're getting into1мин
Setting up course environment10мин
Note: this course vs github course1мин
Course teaser placeholder10мин
Primers1мин
About honors track1мин
Extras10мин
Неделя
2
Часов на завершение
3 ч. на завершение

At the heart of RL: Dynamic Programming

This week we'll consider the reinforcement learning formalisms in a more rigorous, mathematical way. You'll learn how to effectively compute the return your agent gets for a particular action - and how to pick best actions based on that return....
Reading
5 видео ((всего 54 мин.)), 2 материалов для самостоятельного изучения, 4 тестов
Video5 видео
State and Action Value Functions13мин
Measuring Policy Optimality6мин
Policy: evaluation & improvement10мин
Policy and value iteration8мин
Reading2 материала для самостоятельного изучения
Advanced Reward Design10мин
Discrete Stochastic Dynamic Programming10мин
Quiz3 практического упражнения
Reward design8мин
Optimality in RL10мин
Policy Iteration14мин
Неделя
3
Часов на завершение
5 ч. на завершение

Model-free methods

This week we'll find out how to apply last week's ideas to the real world problems: ones where you don't have a perfect model of your environment....
Reading
6 видео ((всего 47 мин.)), 1 материал для самостоятельного изучения, 4 тестов
Video6 видео
Monte-Carlo & Temporal Difference; Q-learning8мин
Exploration vs Exploitation8мин
Footnote: Monte-Carlo vs Temporal Difference2мин
Accounting for exploration. Expected Value SARSA.11мин
On-policy vs off-policy; Experience replay7мин
Reading1 материал для самостоятельного изучения
Extras10мин
Quiz1 практическое упражнение
Model-free reinforcement learning10мин
Неделя
4
Часов на завершение
5 ч. на завершение

Approximate Value Based Methods

This week we'll learn to scale things even farther up by training agents based on neural networks....
Reading
9 видео ((всего 104 мин.)), 3 материалов для самостоятельного изучения, 5 тестов
Video9 видео
Loss functions in value based RL11мин
Difficulties with Approximate Methods15мин
DQN – bird's eye view9мин
DQN – the internals9мин
DQN: statistical issues6мин
Double Q-learning6мин
More DQN tricks10мин
Partial observability17мин
Reading3 материала для самостоятельного изучения
TD vs MC10мин
Extras10мин
DQN follow-ups10мин
Quiz3 практического упражнения
MC & TD8мин
SARSA and QLeaning8мин
DQN12мин
4.2
Рецензии: 37Chevron Right
Формирование карьерного пути

33%

начал новую карьеру, пройдя эти курсы
Карьерные преимущества

60%

получил значимые преимущества в карьере благодаря этому курсу
Продвижение по карьерной лестнице

25%

стал больше зарабатывать или получил повышение

Лучшие рецензии

автор: AHAug 17th 2018

Learned a lot. The pace is quick and the assignment is challenging sometimes

автор: TCMay 17th 2018

Great course. Best course so far on reinforcement learning.

Преподавателя

Avatar

Pavel Shvechikov

Researcher at HSE and Sberbank AI Lab
HSE Faculty of Computer Science
Avatar

Alexander Panin

Lecturer
HSE Faculty of Computer Science

О Национальный исследовательский университет "Высшая школа экономики"

National Research University - Higher School of Economics (HSE) is one of the top research universities in Russia. Established in 1992 to promote new research and teaching in economics and related disciplines, it now offers programs at all levels of university education across an extraordinary range of fields of study including business, sociology, cultural studies, philosophy, political science, international relations, law, Asian studies, media and communications, IT, mathematics, engineering, and more. Learn more on www.hse.ru...

О специализации ''Advanced Machine Learning'

This specialization gives an introduction to deep learning, reinforcement learning, natural language understanding, computer vision and Bayesian methods. Top Kaggle machine learning practitioners and CERN scientists will share their experience of solving real-world problems and help you to fill the gaps between theory and practice. Upon completion of 7 courses you will be able to apply modern machine learning methods in enterprise and understand the caveats of real-world data and settings....
Advanced Machine Learning

Часто задаваемые вопросы

  • Зарегистрировавшись на сертификацию, вы получите доступ ко всем видео, тестам и заданиям по программированию (если они предусмотрены). Задания по взаимной оценке сокурсниками можно сдавать и проверять только после начала сессии. Если вы проходите курс без оплаты, некоторые задания могут быть недоступны.

  • Записавшись на курс, вы получите доступ ко всем курсам в специализации, а также возможность получить сертификат о его прохождении. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.

Остались вопросы? Посетите Центр поддержки учащихся.