Об этом курсе
3.9
Оценки: 68
Рецензии: 14
Специализация
100% онлайн

100% онлайн

Начните сейчас и учитесь по собственному графику.
Гибкие сроки

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.
Продвинутый уровень

Продвинутый уровень

Часов на завершение

Прибл. 40 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 6-8 hours/week...
Доступные языки

Английский

Субтитры: Английский

Приобретаемые навыки

GraphsHiveApache HiveApache Spark
Специализация
100% онлайн

100% онлайн

Начните сейчас и учитесь по собственному графику.
Гибкие сроки

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.
Продвинутый уровень

Продвинутый уровень

Часов на завершение

Прибл. 40 часа на выполнение

Предполагаемая нагрузка: 6 weeks of study, 6-8 hours/week...
Доступные языки

Английский

Субтитры: Английский

Программа курса: что вы изучите

Неделя
1
Часов на завершение
12 минуты на завершение

Welcome to the Second Course: Big Data Analysis

...
Reading
8 videos (Total 12 min)
Video8 видео
What is BigData Analysis?1мин
Tools For BigData Analysis1мин
Graph Data Analysis2мин
Meet Alexey Dral2мин
Meet Pavel Mezentsevмин
Meet Natalia Pritykovskayaмин
Meet Pavel Klemenkovмин
Часов на завершение
3 ч. на завершение

Big Data SQL: Hive

...
Reading
15 videos (Total 105 min), 1 материал для самостоятельного изучения, 3 тестов
Video15 видео
HTTP Web Service: Access Log Format4мин
Business Use Cases: Solution with Hive6мин
(optional) SQL: likbez10мин
Hive Data Definition Language (DDL)11мин
Hive Data Manipulation Language (DML)6мин
Hive Analytics: RegexSerDe, Views7мин
(optional) Regular Expressions, Likbez9мин
Hive Analytics: UDF, UDAF, UDTF7мин
Hive Streaming4мин
Hive PTF (Window Functions)5мин
Hive Optimization: Partitioning, Bucketing and Sampling8мин
Hive Map-Side Joins: Plain, Bucket, Sort-Merge5мин
Hive Optimization: Data Skew4мин
Hive Optimization: Row-Columnar File Formats, Compression8мин
Reading1 материала для самостоятельного изучения
Slack Channel is the quickest way to get answers to your questions10мин
Quiz3 практического упражнения
Hive: SQL over Hadoop MapReduce20мин
Hive Analytics with UDF and Streaming20мин
Hive final20мин
Неделя
2
Часов на завершение
7 ч. на завершение

Big Data SQL: Hive (practice week)

...
Reading
3 videos (Total 11 min), 6 материалов для самостоятельного изучения, 5 тестов
Video3 видео
How to Install Docker on Windows 7, 8, 104мин
How to submit your first Hadoop assignment3мин
Reading6 материала для самостоятельного изучения
Assignments. General requirements10мин
Hive assignment. Intro and instructions10мин
Grading System: Instructions and Common Problems10мин
Docker Installation Guide10мин
Copy of Assignments. General requirements10мин
Copy of Assignments. General requirements10мин
Неделя
3
Часов на завершение
2 ч. на завершение

Spark SQL and Spark Dataframe

...
Reading
14 videos (Total 82 min), 2 тестов
Video14 видео
What is Pandas DataFrame and how to create it4мин
How to process a DataFrame as SQL4мин
Working with Hive4мин
Reading and Writing Files7мин
RDD vs. DF vs. SQL3мин
Projection and Filtering5мин
Functions5мин
Aggregates6мин
Join8мин
User Defined Functions8мин
Time Processing4мин
Window Functions7мин
Two-Dimensional Distributions4мин
Quiz2 практического упражнения
Introducing DataFrame and SQL16мин
Spark SQL and Spark Dataframe18мин
Неделя
4
Часов на завершение
4 ч. на завершение

Graph Analysis from Big Data Perspective

...
Reading
13 videos (Total 83 min), 5 тестов
Video13 видео
Graph representation7мин
Counting common friends. Part I2мин
Counting common friends. Part II10мин
Counting common friends. Part III5мин
GraphFrames: Introduction6мин
Motif Finding: DSL6мин
Motif Finding: Counting Mutual Friends6мин
Motif Finding: Under The Hood. Part 114мин
Motif Finding: Under The Hood. Part 24мин
Triangles Count: Introduction3мин
Triangles Count: Edge Lists6мин
Triangles Count: GraphFrame6мин
Quiz4 практического упражнения
Graph Representations10мин
Motif Finding18мин
Triangles Count8мин
Graph Analysis from Big Data Perspective20мин
3.9
Рецензии: 14Chevron Right
Формирование карьерного пути

50%

начал новую карьеру, пройдя эти курсы
Карьерные преимущества

83%

получил значимые преимущества в карьере благодаря этому курсу

Лучшие рецензии

автор: SMNov 13th 2018

content of the course is remarkable and the way they explained concepts is very lucid. I just want to give suggestions please give link to the data set they are using for illustrating the concepts.

автор: SSFeb 3rd 2018

I wish I could give more rating than 5 :). Excellent course. Thanks so much for such an excellent course. All the instructors are great.

Преподавателя

Avatar

Pavel Klemenkov

Chief Data Scientist
NVIDIA
Avatar

Pavel Mezentsev

Senior Data Scientist
PulsePoint inc
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

О Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

О специализации ''Big Data for Data Engineers'

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Часто задаваемые вопросы

  • Зарегистрировавшись на сертификацию, вы получите доступ ко всем видео, тестам и заданиям по программированию (если они предусмотрены). Задания по взаимной оценке сокурсниками можно сдавать и проверять только после начала сессии. Если вы проходите курс без оплаты, некоторые задания могут быть недоступны.

  • Записавшись на курс, вы получите доступ ко всем курсам в специализации, а также возможность получить сертификат о его прохождении. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.

Остались вопросы? Посетите Центр поддержки учащихся.