De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
Этот курс входит в специализацию ''Специализация Data Engineer, Big Data and ML on Google Cloud em Português'
от партнера
Об этом курсе
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Курс 3 из 5 в программе
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Средний уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
Преподаватели
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Курс 3 из 5 в программе
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Средний уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
от партнера
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Программа курса: что вы изучите
6 минут на завершение
Introdução
Neste módulo, apresentaremos o curso e a programação
6 минут на завершение
2 видео ((всего 6 мин.))
1 ч. на завершение
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 ч. на завершение
5 видео ((всего 18 мин.))
5 видео
EL, ELT e ETL4мин
Considerações sobre qualidade1мин
Como fazer operações no BigQuery3мин
Limitações3мин
ETL para solucionar problemas de qualidade de dados4мин
1 практическое упражнение
EL, ELT, ETL30мин
2 ч. на завершение
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 ч. на завершение
9 видео ((всего 49 мин.))
9 видео
Como executar o Hadoop no Cloud Dataproc10мин
GCS em vez do HDFS6мин
Como otimizar o Dataproc5мин
Como otimizar o armazenamento do Dataproc9мин
Como otimizar os modelos e o escalonamento automático do Dataproc4мин
Como otimizar o monitoramento do Dataproc3мин
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27
Resumo31
1 практическое упражнение
Como executar o Spark no Cloud Dataproc4мин
3 ч. на завершение
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 ч. на завершение
11 видео ((всего 45 мин.))
11 видео
Introdução7мин
Componentes do Data Fusion2мин
Como criar pipelines6мин
Como analisar dados usando o Wrangler1мин
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1мин
Ambiente do Apache Airflow1мин
DAGs e operadores12мин
Como programar o fluxo de trabalho6мин
Monitoramento e registro4мин
Laboratório: Introdução ao Cloud Composer12
1 практическое упражнение
Cloud Data Fusion e Cloud Composer30мин
7 ч. на завершение
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 ч. на завершение
12 видео ((всего 40 мин.))
12 видео
Cloud Dataflow8мин
Por que os clientes valorizam o Dataflow3мин
Como criar pipelines do Cloud Dataflow em código3мин
Principais considerações no design de pipelines2мин
Como transformar dados com PTransforms3мин
Laboratório: Como criar um pipeline simples do Dataflow17
Como agregar com GroupByKey e Combine7мин
Laboratório: MapReduce no Cloud Dataflow18
Entradas secundárias e janelas de dados4мин
Laboratório: Prática de entradas secundárias de pipelines11
Como criar e reutilizar modelos de pipeline3мин
Pipelines de SQL do Cloud Dataflow3мин
1 практическое упражнение
Processamento de dados com o Cloud Dataflow30мин
4 минуты на завершение
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 минуты на завершение
1 видео ((всего 4 мин.))
1 видео
Resumo do curso4мин
Специализация Data Engineer, Big Data and ML on Google Cloud em Português: общие сведения
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Часто задаваемые вопросы
Можно ли ознакомиться с курсом до регистрации?
Что я получу, зарегистрировавшись на курс?
Когда я получу сертификат о прохождении курса?
Почему я не могу прослушать этот курс?
Is financial aid available?
Получу ли я зачеты в университете за прохождение курса?
Остались вопросы? Посетите Центр поддержки учащихся.
