De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
от партнера
Building Batch Data Pipelines on GCP em Português Brasileiro
Google CloudОб этом курсе
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
от партнера
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Программа курса: что вы изучите
6 минут на завершение
Introdução
Neste módulo, apresentaremos o curso e a programação
6 минут на завершение
2 видео ((всего 6 мин.))
1 ч. на завершение
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 ч. на завершение
5 видео ((всего 18 мин.))
5 видео
EL, ELT e ETL4мин
Considerações sobre qualidade1мин
Como fazer operações no BigQuery3мин
Limitações3мин
ETL para solucionar problemas de qualidade de dados4мин
1 практическое упражнение
EL, ELT, ETL30мин
2 ч. на завершение
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 ч. на завершение
9 видео ((всего 49 мин.))
9 видео
Como executar o Hadoop no Cloud Dataproc10мин
GCS em vez do HDFS6мин
Como otimizar o Dataproc5мин
Como otimizar o armazenamento do Dataproc9мин
Como otimizar os modelos e o escalonamento automático do Dataproc4мин
Como otimizar o monitoramento do Dataproc3мин
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27
Resumo31
1 практическое упражнение
Como executar o Spark no Cloud Dataproc4мин
3 ч. на завершение
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 ч. на завершение
11 видео ((всего 45 мин.))
11 видео
Introdução7мин
Componentes do Data Fusion2мин
Como criar pipelines6мин
Como analisar dados usando o Wrangler1мин
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1мин
Ambiente do Apache Airflow1мин
DAGs e operadores12мин
Como programar o fluxo de trabalho6мин
Monitoramento e registro4мин
Laboratório: Introdução ao Cloud Composer12
1 практическое упражнение
Cloud Data Fusion e Cloud Composer30мин
7 ч. на завершение
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 ч. на завершение
12 видео ((всего 40 мин.))
12 видео
Cloud Dataflow8мин
Por que os clientes valorizam o Dataflow3мин
Como criar pipelines do Cloud Dataflow em código3мин
Principais considerações no design de pipelines2мин
Como transformar dados com PTransforms3мин
Laboratório: Como criar um pipeline simples do Dataflow17
Como agregar com GroupByKey e Combine7мин
Laboratório: MapReduce no Cloud Dataflow18
Entradas secundárias e janelas de dados4мин
Laboratório: Prática de entradas secundárias de pipelines11
Como criar e reutilizar modelos de pipeline3мин
Pipelines de SQL do Cloud Dataflow3мин
1 практическое упражнение
Processamento de dados com o Cloud Dataflow30мин
4 минуты на завершение
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 минуты на завершение
1 видео ((всего 4 мин.))
1 видео
Resumo do curso4мин
Часто задаваемые вопросы
Когда я получу доступ к лекциям и заданиям?
Access to lectures and assignments depends on your type of enrollment. If you take a course in audit mode, you will be able to see most course materials for free. To access graded assignments and to earn a Certificate, you will need to purchase the Certificate experience, during or after your audit. If you don't see the audit option:
- The course may not offer an audit option. You can try a Free Trial instead, or apply for Financial Aid.
- The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.
Что я получу, оплатив сертификацию?
Оплатив сертификацию, вы получите доступ ко всем материалам курса, включая оцениваемые задания. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.
What is the refund policy?
Средства можно вернуть в течение двух недель с момента оплаты или (для только что начавшихся курсов) в течение двух недель после первой сессии, в зависимости от того, какое событие наступит позже. Средства не возвращаются после получения сертификата о прохождении курса, даже если вы закончили курс в течение двухнедельного гарантийного срока. Ознакомьтесь с нашей политикой возврата средств.
Is financial aid available?
Да, Coursera предоставляет финансовую помощь учащимся, которые не могут оплатить обучение. Чтобы подать заявление, перейдите по ссылке 'Финансовая помощь' слева под кнопкой 'Зарегистрироваться' и заполните форму. Если его примут, вы получите уведомление. Подробнее
Остались вопросы? Посетите Центр поддержки учащихся.
