The two key components of any data pipeline are data lakes and warehouses. This course highlights use-cases for each type of storage and dives into the available data lake and warehouse solutions on Google Cloud Platform in technical detail. Also, this course describes the role of a data engineer, the benefits of a successful data pipeline to business operations, and examines why data engineering should be done in a cloud environment. Learners will get hands-on experience with data lakes and warehouses on Google Cloud Platform using QwikLabs.
от партнера
Google CloudОб этом курсе
Недавно просмотрено: 101,432
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 9 часов на выполнение
Английский
Субтитры: Английский, Испанский
Преподаватели
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 9 часов на выполнение
Английский
Субтитры: Английский, Испанский
от партнера
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Программа курса: что вы изучите
7 минут на завершение
Introduction
This module gives an introduction of the Data Engineering specialization and the course.
7 минут на завершение
2 видео ((всего 7 мин.))
2 ч. на завершение
Introduction to Data Engineering
This module describes the role of a data engineer and motivates the claim why data engineering should be done in the Cloud
2 ч. на завершение
13 видео ((всего 55 мин.))
13 видео
Analyze data engineering challenges8мин
Intro to BigQuery3мин
Data Lakes and Data Warehouses5мин
Demo: Federated Queries with BigQuery6мин
Transactional Databases vs Data Warehouses4мин
Partner effectively with other data teams6мин
Manage data access and governance2мин
Demo: Finding PII in your dataset with DLP API1мин
Build production-ready pipelines2мин
Review GCP customer case study3мин
Recap1мин
Lab Intro: Using BigQuery to do Analysis17
1 практическое упражнение
Introduction to Data Engineering30мин
2 ч. на завершение
Building a Data Lake
In this module, we describe what data lake is and how to use Google Cloud Storage as you data lake on GCP
2 ч. на завершение
10 видео ((всего 58 мин.))
10 видео
Data Storage and ETL options on GCP4мин
Building a Data Lake using Cloud Storage10мин
Demo: Optimizing cost with Google Cloud Storage classes and Cloud Functions7мин
Securing Cloud Storage5мин
Storing All Sorts of Data Types5мин
Demo: Running federated queries on Parquet and ORC files in BigQuery4мин
Storing Relational Data in the Cloud1мин
Cloud SQL as a relational Data Lake7мин
Lab: Loading Taxi Data into Cloud SQL27
1 практическое упражнение
Building a Data Lake4мин
4 ч. на завершение
Building a data warehouse
In this module, we talk about BigQuery as a data warehousing option on GCP
4 ч. на завершение
20 видео ((всего 112 мин.)), 1 материал для самостоятельного изучения, 3 тестов
20 видео
Intro to BigQuery1мин
Demo: Querying TB of Data in seconds7мин
Getting Started9мин
Loading Data11мин
Lab Intro: Loading Data into BigQuery21
Exploring Schemas24
Demo: Exploring Schemas10мин
Schema Design3мин
Nested and Repeated Fields8мин
Demo: Nested and Repeated Fields15мин
Lab Intro: Working with JSON and Array Data in BigQuery13
Optimizing with Partitioning and Clustering5мин
Demo: Creating Partitioned Tables7мин
Demo: Partitioning and Clustering6мин
Preview: Transforming Batch and Streaming Data2мин
Recap1мин
Monitoring BigQuery usage and reservations5мин
Intro to BigQuery System Table Reports6мин
Demo: BigQuery System Tables with Data Studio7мин
1 материал для самостоятельного изучения
BigQuery Pricing 10мин
1 практическое упражнение
Building a Data Warehouse4мин
2 минуты на завершение
Summary
This module reviews all the topics covered in the course
2 минуты на завершение
1 видео ((всего 2 мин.))
1 видео
Course Summary1мин
Рецензии
Лучшие отзывы о курсе MODERNIZING DATA LAKES AND DATA WAREHOUSES WITH GCP
от партнера AA14 февр. 2020 г.
Good introduction and overview of the field of data engineering, data lakes and modern data warehouses and a hands-on walkthrough of all the technologies related to solving these problems on GCP.
от партнера FM16 апр. 2020 г.
A better understanding of BigQuery starts here. A vital resource for consultants, data analysts, and product managers, and an important reference source for engineers and data scientists.
от партнера BA8 февр. 2020 г.
The course offers a nice description of what modern DWH means, which are the differences between classic DWH and cloud DWH. You have the chance to work with the new cloud concept on GCP.
от партнера ME29 авг. 2020 г.
I really like how the Google courses do not overwhelm the learner with too much information. The information was presented well and the labs were very practical with clear instructions.
Часто задаваемые вопросы
Можно ли ознакомиться с курсом до регистрации?
Да, до регистрации можно просмотреть первое видео и программу курса. Чтобы получить полный доступ к материалам курса, необходимо оплатить его.
Что я получу, зарегистрировавшись на курс?
После регистрации на курс и начала сессии вы получаете доступ ко всем видео и другим ресурсам курса, включая материалы для самостоятельного изучения и форумы обсуждений. Вы сможете выполнять тренировочные, а также сдавать обязательные оцениваемые задания и получить сертификат о прохождении курса.
Когда я получу сертификат о прохождении курса?
Если вы успешного пройдете курс, на странице ваших достижений появится электронный сертификат, который можно распечатать или прикрепить к профилю LinkedIn.
Почему я не могу прослушать этот курс?
Это один из немногих курсов на Coursera, которые предоставляются только на платной основе.
Получу ли я зачеты в университете за прохождение курса?
Этот курс не приравнивается к зачету в университетах, однако некоторые вузы принимают сертификаты на свое усмотрение. Дополнительную информацию уточняйте в своем деканате. Онлайн-дипломы и сертификаты Mastertrack™ от Coursera позволяют получить зачеты.
Остались вопросы? Посетите Центр поддержки учащихся.
