Этот курс входит в специализацию ''Специализация Modern Big Data Analysis with SQL'

4.7
звезд
Оценки: 185

Ian Cook и еще 1 преподаватель
Лучшие преподаватели

от партнера

Специализация Modern Big Data Analysis with SQLCloudera

Об этом курсе

Недавно просмотрено: 24,323

In this course, you'll learn how to manage big datasets, how to load them into clusters and cloud storage, and how to apply structure to the data so that you can run queries on it using distributed SQL engines like Apache Hive and Apache Impala. You’ll learn how to choose the right data types, storage systems, and file formats based on which tools you’ll use and what performance you need.
By the end of the course, you will be able to
• use different tools to browse existing databases and tables in big data systems;
• use different tools to explore files in distributed big data filesystems and cloud storage;
• create and manage big data databases and tables using Apache Hive and Apache Impala; and
• describe and choose among different data types and file formats for big data systems.

To use the hands-on environment for this course, you need to download and install a virtual machine and the software on which to run it. Before continuing, be sure that you have access to a computer that meets the following hardware and software requirements:
• Windows, macOS, or Linux operating system (iPads and Android tablets will not work)
• 64-bit operating system (32-bit operating systems will not work)
• 8 GB RAM or more
• 25GB free disk space or more
• Intel VT-x or AMD-V virtualization support enabled (on Mac computers with Intel processors, this is always enabled;
on Windows and Linux computers, you might need to enable it in the BIOS)
• For Windows XP computers only: You must have an unzip utility such as 7-Zip or WinZip installed (Windows XP’s built-in unzip utility will not work)

Сертификат, ссылками на который можно делиться с другими людьми

Получите сертификат по завершении

100% онлайн

Начните сейчас и учитесь по собственному графику.

Курс 3 из 3 в программе

Специализация Modern Big Data Analysis with SQL

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.

Начальный уровень

Прибл. 21 час на выполнение

Английский

Субтитры: Арабский, Французский, Португальский (Европа), Итальянский, Вьетнамский, Немецкий, Русский, Английский, Испанский

Чему вы научитесь

Use different tools to browse existing databases and tables in big data systems

Use different tools to explore files in distributed big data filesystems and cloud storage

Create and manage big data databases and tables using Apache Hive and Apache Impala

Describe and choose among different data types and file formats for big data systems

Приобретаемые навыки

Data ManagementDistributed File SystemsCloud StorageBig DataSQL

Сертификат, ссылками на который можно делиться с другими людьми

Получите сертификат по завершении

100% онлайн

Начните сейчас и учитесь по собственному графику.

Курс 3 из 3 в программе

Специализация Modern Big Data Analysis with SQL

Гибкие сроки

Назначьте сроки сдачи в соответствии со своим графиком.

Начальный уровень

Прибл. 21 час на выполнение

Английский

Преподаватели

Оценка преподавателя

4.88/5 (оценок: 28)

Ian Cook
Лучшие преподаватели

Staff Curriculum Developer

Cloudera

17,841 учащийся

2 курса

Glynn Durham

от партнера

Cloudera

At Cloudera, we believe that data can make what is impossible today, possible tomorrow. We empower people to transform complex data into clear and actionable insights. Cloudera delivers an enterprise data cloud for any data, anywhere, from the Edge to AI. Powered by the relentless innovation of the open source community, Cloudera advances digital transformation for the world’s largest enterprises.

Программа курса: что вы изучите

Неделя

Неделя 1

3 ч. на завершение

Orientation to Data in Clusters and Cloud Storage

3 ч. на завершение

7 видео ((всего 56 мин.)), 3 материалов для самостоятельного изучения, 1 тест

7 видео

Welcome to the Course4мин

Browsing Tables with Hue7мин

Browsing Tables with SQL Utility Statements6мин

Browsing HDFS with the Hue File Browser13мин

Browsing HDFS from the Command Line9мин

Understanding S3 and Other Cloud Storage Platforms6мин

Browsing S3 Buckets from the Command Line8мин

3 материала для самостоятельного изучения

Review and Preparation30мин

Instructions for Downloading and Installing the Exercise Environment30мин

Troubleshooting the VM5мин

1 практическое упражнение

Week 1 Graded Quiz30мин

Неделя

Неделя 2

5 ч. на завершение

Defining Databases, Tables, and Columns

5 ч. на завершение

7 видео ((всего 33 мин.)), 12 материалов для самостоятельного изучения, 2 тестов

7 видео

Week 2 Introduction3мин

Introduction to the CREATE TABLE Statement5мин

Using Different Schemas on the Same Data12мин

Specifying TBLPROPERTIES2мин

Examining, Modifying, and Removing Tables1мин

Hive and Impala Interoperability2мин

Impala Metadata Refresh3мин

12 материалов для самостоятельного изучения

Creating Databases and Tables with Hue30мин

Creating Databases and Tables with SQL15мин

Permissions to Create Databases and Tables5мин

The ROW FORMAT Clause25мин

The STORED AS Clause15мин

The LOCATION Clause20мин

CREATE TABLE Shortcuts10мин

Using Hive SerDes15мин

Working with Unstructured and Semi-Structured Data15мин

Examining Table Structure10мин

Dropping Databases and Tables5мин

Modifying Existing Tables35мин

2 практических упражнения

Week 2 Practice Quiz30мин

Week 2 Graded Quiz30мин

Неделя

Неделя 3

3 ч. на завершение

Data Types and File Types

3 ч. на завершение

5 видео ((всего 14 мин.)), 12 материалов для самостоятельного изучения, 2 тестов

5 видео

Week 3 Introduction1мин

Overview of Data Types1мин

Choosing the Right Data Types4мин

Overview of File Types3мин

Choosing the Right File Types3мин

12 материалов для самостоятельного изучения

Integer Data Types5мин

Decimal Data Types10мин

Character String Data Types10мин

Other Data Types5мин

Examining Data Types10мин

Out-of-Range Values5мин

Text Files5мин

Avro Files5мин

Parquet Files5мин

ORC Files5мин

Other File Types5мин

Creating Tables with Avro and Parquet Files20мин

2 практических упражнения

Week 3 Practice Quiz20мин

Week 3 Graded Quiz30мин

Неделя

Неделя 4

5 ч. на завершение

Managing Datasets in Clusters and Cloud Storage

5 ч. на завершение

8 видео ((всего 48 мин.)), 13 материалов для самостоятельного изучения, 3 тестов

8 видео

Week 4 Introduction3мин

Refresh Impala's Metadata Cache after Loading Data2мин

Loading Files into HDFS with Hue's Table Browser10мин

Loading Files into HDFS with Hue's File Browser6мин

Loading Files into HDFS from the Command Line8мин

Loading Files into S3 from the Command Line10мин

Using Hive and Impala to Load Data into Tables3мин

Conclusion2мин

13 материалов для самостоятельного изучения

More about HDFS Shell Commands10мин

Chaining and Scripting with HDFS Commands5мин

HDFS Permissions5мин

Other Ways to Load Files into S35мин

S3 Permissions10мин

Missing Values15мин

Character Sets5мин

Using Sqoop to Import Data15мин

More Sqoop Import Options5мин

Using Sqoop to Export Data5мин

SQL LOAD DATA Statements10мин

SQL INSERT Statements10мин

SQL INSERT ... SELECT and CTAS Statements15мин

2 практических упражнения

Week 4 Practice Quiz30мин

Week 4 Graded Quiz30мин

Рецензии

4.7

Рецензии: 42

5 stars
78.37%
4 stars
16.21%
3 stars
4.32%
2 stars
0.54%
1 star
0.54%

Лучшие отзывы о курсе MANAGING BIG DATA IN CLUSTERS AND CLOUD STORAGE

от партнера PZ3 сент. 2020 г.

This was definitely the most challenging course I have done so far, but I am loving it! Glynn and Ian do a fantastic job of guiding you through the content in an engaging and practical manner.

от партнера SY29 февр. 2020 г.

This is Very good course for a beginners, it gives you lots of exercises to practice in vm and course material is Really really good but only thing is you have to read a lot ,

от партнера AM15 дек. 2019 г.

It would have been nice if videos would have been present instead of reading. Also a more deep diving would have been done in concepts like bucketing and indexing.

от партнера MA13 апр. 2020 г.

This is one of the systematic specializations which makes the harder and otherwise overwhelming subject so easy to navigate, follow and learn.

Посмотреть все отзывы

Специализация Modern Big Data Analysis with SQL: общие сведения

This Specialization teaches the essential skills for working with large-scale data using SQL.

Maybe you are new to SQL and you want to learn the basics. Or maybe you already have some experience using SQL to query smaller-scale data with relational databases. Either way, if you are interested in gaining the skills necessary to query big data with modern distributed SQL engines, this Specialization is for you. Most courses that teach SQL focus on traditional relational databases, but today, more and more of the data that’s being generated is too big to be stored there, and it’s growing too quickly to be efficiently stored in commercial data warehouses. Instead, it’s increasingly stored in distributed clusters and cloud storage. These data stores are cost-efficient and infinitely scalable. To query these huge datasets in clusters and cloud storage, you need a newer breed of SQL engine: distributed query engines, like Hive, Impala, Presto, and Drill. These are open source SQL engines capable of querying enormous datasets. This Specialization focuses on Hive and Impala, the most widely deployed of these query engines. This Specialization is designed to provide excellent preparation for the Cloudera Certified Associate (CCA) Data Analyst certification exam. You can earn this certification credential by taking a hands-on practical exam using the same SQL engines that this Specialization teaches—Hive and Impala.

Часто задаваемые вопросы

Когда я получу доступ к лекциям и заданиям?
Доступ к лекциям и заданиям предоставляется в зависимости от типа регистрации. Если вы проходите курс в режиме слушателя, то получите бесплатный доступ к большинству материалов курса. Чтобы открыть оцениваемые задания и возможность получить сертификат, необходимо будет приобрести прохождение с сертификатом. Это можно сделать во время прохождения в режиме слушателя или после него. Если вы не видите варианта 'Режим слушателя'.
Курс может не предлагаться в режиме слушателя. Попробуйте бесплатную пробную версию или подайте заявку на финансовую помощь.
Курс предлагаться в режиме 'Полный курс, без сертификата'. В нем можно просматривать все материалы, выполнять обязательные задания и получить итоговую оценку. Приобрести дополнительно прохождение с сертификатом в таком случае нельзя.
Что я получу, оформив подписку на специализацию?
Записавшись на курс, вы получите доступ ко всем курсам в специализации, а также возможность получить сертификат о его прохождении. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.
Is financial aid available?
Да, Coursera предоставляет финансовую помощь учащимся, которые не могут оплатить обучение. Чтобы подать заявление, перейдите по ссылке "Финансовая помощь" слева под кнопкой "Зарегистрироваться". Заполните форму заявления. Если его примут, вы получите уведомление. Обратите внимание: этот шаг необходимо выполнить для каждого курса специализации, в том числе для дипломного проекта. Подробнее
What are the hardware and software requirements for the exercise environment?
• Windows, macOS, or Linux operating system (iPads and Android tablets will not work) • 64-bit operating system (32-bit operating systems will not work) • 8 GB RAM or more • 25GB free disk space or more • Intel VT-x or AMD-V virtualization support enabled (on Mac computers with Intel processors, this is always enabled; on Windows and Linux computers, you might need to enable it in the BIOS) • For Windows XP computers only: You must have an unzip utility such as 7-Zip or WinZip installed (Windows XP’s built-in unzip utility will not work)
Получу ли я зачеты в университете за прохождение курса?
Этот курс не приравнивается к зачету в университетах, однако некоторые вузы принимают сертификаты на свое усмотрение. Дополнительную информацию уточняйте в своем деканате. Онлайн-дипломы и сертификаты Mastertrack™ от Coursera позволяют получить зачеты.

Остались вопросы? Посетите Центр поддержки учащихся.

Managing Big Data in Clusters and Cloud Storage