This course is for novice programmers or business people who would like to understand the core tools used to wrangle and analyze big data. With no prior experience, you will have the opportunity to walk through hands-on examples with Hadoop and Spark frameworks, two of the most common in the industry. You will be comfortable explaining the specific components and basic processes of the Hadoop architecture, software stack, and execution environment. In the assignments you will be guided in how data scientists apply the important concepts and techniques such as Map-Reduce that are used to solve fundamental problems in big data. You'll feel empowered to have conversations about big data and the data analysis process.
от партнера
Hadoop Platform and Application Framework
Калифорнийский университет в Сан-ДиегоОб этом курсе
Недавно просмотрено: 98,421
Карьерные результаты учащихся
30%
начал новую карьеру, пройдя эти курсы
27%
получил значимые преимущества в карьере благодаря этому курсу
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Прибл. 26 часов на выполнение
Английский
Субтитры: Французский, Португальский (бразильский), Русский, Английский, Испанский
Приобретаемые навыки
Python ProgrammingApache HadoopMapreduceApache Spark
Карьерные результаты учащихся
30%
начал новую карьеру, пройдя эти курсы
27%
получил значимые преимущества в карьере благодаря этому курсу
Сертификат, ссылками на который можно делиться с другими людьми
Получите сертификат по завершении
100% онлайн
Начните сейчас и учитесь по собственному графику.
Гибкие сроки
Назначьте сроки сдачи в соответствии со своим графиком.
Прибл. 26 часов на выполнение
Английский
Субтитры: Французский, Португальский (бразильский), Русский, Английский, Испанский
от партнера
Калифорнийский университет в Сан-Диего
UC San Diego is an academic powerhouse and economic engine, recognized as one of the top 10 public universities by U.S. News and World Report. Innovation is central to who we are and what we do. Here, students learn that knowledge isn't just acquired in the classroom—life is their laboratory.
Программа курса: что вы изучите
2 ч. на завершение
Hadoop Basics
Welcome to the first module of the Big Data Platform course. This first module will provide insight into Big Data Hype, its technologies opportunities and challenges. We will take a deeper look into the Hadoop stack and tool and technologies associated with Big Data solutions.
2 ч. на завершение
7 видео ((всего 53 мин.)), 4 материалов для самостоятельного изучения, 1 тест
7 видео
The Apache Framework: Basic Modules3мин
Hadoop Distributed File System (HDFS)5мин
The Hadoop "Zoo"5мин
Hadoop Ecosystem Major Components11мин
Exploring the Cloudera VM: Hands-On Part 116мин
Exploring the Cloudera VM: Hands-On Part 26мин
4 материала для самостоятельного изучения
Apache Hadoop Ecosystem10мин
Lesson 1 Slides (PDF)10мин
Hardware & Software Requirements10мин
Lesson 2 Slides - Cloudera VM Tour10мин
1 практическое упражнение
Basic Hadoop Stack30мин
4 ч. на завершение
Introduction to the Hadoop Stack
In this module we will take a detailed look at the Hadoop stack ranging from the basic HDFS components, to application execution frameworks, and languages, services.
4 ч. на завершение
10 видео ((всего 70 мин.)), 6 материалов для самостоятельного изучения, 3 тестов
10 видео
The Hadoop Distributed File System (HDFS) and HDFS28мин
MapReduce Framework and YARN8мин
The Hadoop Execution Environment4мин
YARN, Tez, and Spark11мин
Hadoop Resource Scheduling6мин
Hadoop-Based Applications3мин
Introduction to Apache Pig7мин
Introduction to Apache HIVE7мин
Introduction to Apache HBASE7мин
6 материалов для самостоятельного изучения
Hadoop Basics - Lesson 1 Slides10мин
Lesson 2: Hadoop Execution Environment - Slides10мин
Lesson 3: Hadoop-Based Applications Overview - All Slides10мин
Command list for Applications Slides10мин
Tips to handle service connection errors10мин
References for Applications10мин
3 практических упражнения
Overview of Hadoop Stack30мин
Hadoop Execution Environment30мин
Hadoop Applications30мин
3 ч. на завершение
Introduction to Hadoop Distributed File System (HDFS)
In this module we will take a detailed look at the Hadoop Distributed File System (HDFS). We will cover the main design goals of HDFS, understand the read/write process to HDFS, the main configuration parameters that can be tuned to control HDFS performance and robustness, and get an overview of the different ways you can access data on HDFS.
3 ч. на завершение
9 видео ((всего 58 мин.)), 5 материалов для самостоятельного изучения, 3 тестов
9 видео
The HDFS Performance Envelope5мин
Read/Write Processes in HDFS4мин
HDFS Tuning Parameters6мин
HDFS Performance and Robustness9мин
Overview of HDFS Access, APIs, and Applications5мин
HDFS Commands8мин
Native Java API for HDFS4мин
REST API for HDFS8мин
5 материалов для самостоятельного изучения
Lesson 1: Introduction to HDFS - Slides10мин
HDFS references10мин
Lesson 2: HDFS Performance and Tuning - Slides10мин
HDFS Access, APIs10мин
Lesson 3: HDFS Access, APIs, Applications - Slides10мин
3 практических упражнения
HDFS Architecture30мин
HDFS performance,tuning, and robustness30мин
Accessing HDFS30мин
7 ч. на завершение
Introduction to Map/Reduce
This module will introduce Map/Reduce concepts and practice. You will learn about the big idea of Map/Reduce and you will learn how to design, implement, and execute tasks in the map/reduce framework. You will also learn the trade-offs in map/reduce and how that motivates other tools.
7 ч. на завершение
9 видео ((всего 27 мин.)), 3 материалов для самостоятельного изучения, 3 тестов
9 видео
The Map/Reduce Framework2мин
A MapReduce Example: Wordcount in detail4мин
MapReduce: Intro to Examples and Principles2мин
MapReduce Example: Trending Wordcount1мин
MapReduce Example: Joining Data4мин
MapReduce Example: Vector Multiplication2мин
Computational Costs of Vector Multiplication3мин
MapReduce Summary2мин
3 материала для самостоятельного изучения
Lesson 1: Introduction to MapReduce - Slides10мин
A note on debugging map/reduce programs.10мин
Lesson 2: MapReduce Examples and Principles - Slides10мин
1 практическое упражнение
Lesson 1 Review30мин
Рецензии
Лучшие отзывы о курсе HADOOP PLATFORM AND APPLICATION FRAMEWORK
от партнера CA9 дек. 2015 г.
Very detailed , thorough introduction to a lot of the Hadoop ecosystem. Nice explanation and assignment to get a feel for Spark. At times a bit dry but altogether a well structured and taught course.
от партнера GM31 янв. 2016 г.
I'm forced to give 5 stars. I don't want to have a certification on a poor quality course (another coursera mistake). This material needs tremendous amount of work to get finished and revised.
от партнера NP15 мая 2020 г.
Learned about Hadoop Ecosystem, limitations of map-reduce approach and Spark as a solution to overcome some of limitations.Thanks for giving me the opportunity to participate in this MOOC.
от партнера GC24 окт. 2015 г.
Super hands on introduction to key Hadoop components, such as Spark, Map Reduce, Hive, Pig, HBase, HDFS, YARN, Squoop and Flume. I can't wait to the next course on the specialization.
Часто задаваемые вопросы
Когда я получу доступ к лекциям и заданиям?
Доступ к лекциям и заданиям предоставляется в зависимости от типа регистрации. Если вы проходите курс в режиме слушателя, то получите бесплатный доступ к большинству материалов курса. Чтобы открыть оцениваемые задания и возможность получить сертификат, необходимо будет приобрести прохождение с сертификатом. Это можно сделать во время прохождения в режиме слушателя или после него. Если вы не видите варианта 'Режим слушателя'.
- Курс может не предлагаться в режиме слушателя. Попробуйте бесплатную пробную версию или подайте заявку на финансовую помощь.
- Курс предлагаться в режиме 'Полный курс, без сертификата'. В нем можно просматривать все материалы, выполнять обязательные задания и получить итоговую оценку. Приобрести дополнительно прохождение с сертификатом в таком случае нельзя.
Что я получу, оплатив сертификацию?
Оплатив сертификацию, вы получите доступ ко всем материалам курса, включая оцениваемые задания. После успешного прохождения курса на странице ваших достижений появится электронный сертификат. Оттуда его можно распечатать или прикрепить к профилю LinkedIn. Просто ознакомиться с содержанием курса можно бесплатно.
Is financial aid available?
Да, Coursera предоставляет финансовую помощь учащимся, которые не могут оплатить обучение. Чтобы подать заявление, перейдите по ссылке 'Финансовая помощь' слева под кнопкой 'Зарегистрироваться' и заполните форму. Если его примут, вы получите уведомление. Подробнее
Получу ли я зачеты в университете за прохождение курса?
Этот курс не приравнивается к зачету в университетах, однако некоторые вузы принимают сертификаты на свое усмотрение. Дополнительную информацию уточняйте в своем деканате. Онлайн-дипломы и сертификаты Mastertrack™ от Coursera позволяют получить зачеты.
Остались вопросы? Посетите Центр поддержки учащихся.
