De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
Этот курс входит в специализацию ''Специализация Data Engineer, Big Data and ML on Google Cloud em Português'
от партнера
Об этом курсе
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Курс 3 из 5 в программе
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Курс 3 из 5 в программе
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Промежуточный уровень
Прибл. 13 часов на выполнение
Португальский (бразильский)
Субтитры: Португальский (бразильский), Английский
от партнера
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Программа курса: что вы изучите
6 минут на завершение
Introdução
Neste módulo, apresentaremos o curso e a programação
6 минут на завершение
2 видео ((всего 6 мин.))
1 ч. на завершение
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 ч. на завершение
5 видео ((всего 18 мин.))
5 видео
EL, ELT e ETL4мин
Considerações sobre qualidade1мин
Como fazer operações no BigQuery3мин
Limitações3мин
ETL para solucionar problemas de qualidade de dados4мин
1 практическое упражнение
EL, ELT, ETL30мин
2 ч. на завершение
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 ч. на завершение
9 видео ((всего 49 мин.))
9 видео
Como executar o Hadoop no Cloud Dataproc10мин
GCS em vez do HDFS6мин
Como otimizar o Dataproc5мин
Como otimizar o armazenamento do Dataproc9мин
Como otimizar os modelos e o escalonamento automático do Dataproc4мин
Como otimizar o monitoramento do Dataproc3мин
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27
Resumo31
1 практическое упражнение
Como executar o Spark no Cloud Dataproc4мин
3 ч. на завершение
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 ч. на завершение
11 видео ((всего 45 мин.))
11 видео
Introdução7мин
Componentes do Data Fusion2мин
Como criar pipelines6мин
Como analisar dados usando o Wrangler1мин
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1мин
Ambiente do Apache Airflow1мин
DAGs e operadores12мин
Como programar o fluxo de trabalho6мин
Monitoramento e registro4мин
Laboratório: Introdução ao Cloud Composer12
1 практическое упражнение
Cloud Data Fusion e Cloud Composer30мин
7 ч. на завершение
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 ч. на завершение
12 видео ((всего 40 мин.))
12 видео
Cloud Dataflow8мин
Por que os clientes valorizam o Dataflow3мин
Como criar pipelines do Cloud Dataflow em código3мин
Principais considerações no design de pipelines2мин
Como transformar dados com PTransforms3мин
Laboratório: Como criar um pipeline simples do Dataflow17
Como agregar com GroupByKey e Combine7мин
Laboratório: MapReduce no Cloud Dataflow18
Entradas secundárias e janelas de dados4мин
Laboratório: Prática de entradas secundárias de pipelines11
Como criar e reutilizar modelos de pipeline3мин
Pipelines de SQL do Cloud Dataflow3мин
1 практическое упражнение
Processamento de dados com o Cloud Dataflow30мин
4 минуты на завершение
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 минуты на завершение
1 видео ((всего 4 мин.))
1 видео
Resumo do curso4мин
Специализация Data Engineer, Big Data and ML on Google Cloud em Português: общие сведения
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Neste curso, os participantes irão adquirir as seguintes habilidades:
• projetar e criar sistemas de processamento de dados no Google Cloud Platform
• usar dados não estruturados com as APIs do Spark e de aprendizado de máquina no Cloud Dataproc
• processar dados em lote e streaming com a implementação de canais de dados de escalonamento automático no Cloud Dataflow
• derivar insights de negócios a partir de conjuntos de dados extremamente grandes usando o Google BigQuery
• treinar, avaliar e prever com modelos de aprendizado de máquina usando o TensorFlow e o Cloud ML
• ativar insights instantâneos dos dados de streaming
Esta aula destina-se a desenvolvedores experientes responsáveis pelo gerenciamento de transformações de Big Data.
>>> Ao se inscrever nesta especialização, você concorda com os Termos de Serviço do Qwiklabs conforme estabelecido na seção de perguntas frequentes. Veja os Termos de Serviço aqui: https://qwiklabs.com/terms_of_service <<<
Часто задаваемые вопросы
Можно ли ознакомиться с курсом до регистрации?
Да, до регистрации можно просмотреть первое видео и программу курса. Чтобы получить полный доступ к материалам курса, необходимо оплатить его.
Когда я получу доступ к лекциям и заданиям?
Регистрируясь на курс до начала сессии, вы получаете доступ ко всем видеолекциям и материалам для самостоятельного изучения. Задания можно отправлять после начала сессии.
Что я получу, зарегистрировавшись на курс?
После регистрации на курс и начала сессии вы получаете доступ ко всем видео и другим ресурсам курса, включая материалы для самостоятельного изучения и форумы обсуждений. Вы сможете выполнять тренировочные, а также сдавать обязательные оцениваемые задания и получить сертификат о прохождении курса.
Когда я получу сертификат о прохождении курса?
Если вы успешного пройдете курс, на странице ваших достижений появится электронный сертификат, который можно распечатать или прикрепить к профилю LinkedIn.
Почему я не могу прослушать этот курс?
Это один из немногих курсов на Coursera, которые предоставляются только на платной основе.
What is the refund policy?
Когда вы оформите подписку, начнется семидневный бесплатный пробный период, в течение которого подписку можно отменить без штрафа. По истечении этого срока вы не сможете вернуть средства, но сможете отменить подписку в любой момент. Ознакомьтесь с нашей политикой возврата средств.
Is financial aid available?
Да, Coursera предоставляет финансовую помощь учащимся, которые не могут оплатить обучение. Чтобы подать заявление, перейдите по ссылке "Финансовая помощь" слева под кнопкой "Зарегистрироваться". Заполните форму заявления. Если его примут, вы получите уведомление. Обратите внимание: этот шаг необходимо выполнить для каждого курса специализации, в том числе для дипломного проекта. Подробнее
Остались вопросы? Посетите Центр поддержки учащихся.
