Before you can work with data you have to get some. This course will cover the basic ways that data can be obtained. The course will cover obtaining data from the web, from APIs, from databases and from colleagues in various formats. It will also cover the basics of data cleaning and how to make data “tidy”. Tidy data dramatically speed downstream data analysis tasks. The course will also cover the components of a complete data set including raw data, processing instructions, codebooks, and processed data. The course will cover the basics needed for collecting, cleaning, and sharing data.
The data.table Package
Loading...
Из курса от партнера Johns Hopkins University
Getting and Cleaning Data
5988 оценок
Из урока
Week 1
In this first week of the course, we look at finding data and reading different file types.
Познакомьтесь с преподавателями
Jeff Leek, PhDAssociate Professor, Biostatistics
Bloomberg School of Public Health
Roger D. Peng, PhDAssociate Professor, Biostatistics
Bloomberg School of Public Health
Brian Caffo, PhDProfessor, Biostatistics
Bloomberg School of Public Health
Это лекция о библиотеке data.table, которая является более быстрым и более эффективным аналогом
data.frame, которая обычно используется, для анализа
данных в R. Библиотека data.table по факту
является расширением для data.frame.
Таким образом, все функции, которые работают в data.frame должны работать и в data.table.
А если у вас что-то не работает, то всегда можно рассчитывать на оперативные обновления.
Библиотека написана на языке С, так что некоторые ее функции работают
быстрее, чем в data.frame.
Причем гораздо быстрее при
создании выборки из данных, группировке переменных и обновлении переменных.
Но эта библиотека потребует от вас освоения нового синтаксиса.
Так что придется потратить немного времени на обучение.
Давайте инициализируем библиотеку data.table и
создадим новый блок данных с помощью команды data.frame.
Если мы посмотрим на него, то увидим, что он имеет,
три переменных: x, y, z, помещенные в каждый из столбцов.
Мы можем создать подобный блок данных и с помощью data.table.
Сделаем это точно таким же образом.
Просто передаем data.table аргументы для переменных,
которые мы хотим создать. И если вы посмотрите на верхнюю часть
таблицы, вы увидите, что он выглядит подобно тому,
как если бы вы использовали data.frame.
Вы можете посмотреть все таблицы с данными,
что хранятся в памяти в текущий момент. Сделать это можно с помощью команды tables.
Она имеет букву s на конце.
Заметьте, это не тоже самое, что команда table.
Она возвращает имя таблицы с данными, сколько
рядов, сколько
мегабайт, сколько колонок, и есть ли ключ.
Я расскажу немного больше о ключах буквально через минуту.
Вам может понадобиться
получить значения заданных строк, сделать это можно так же, как и в случае с
data.frame. Для этого нужно
задать первый аргумент в квадратных скобках, а затем поставить запятую.
Вы можете так же сделать выборку по строкам, где значение y
равно
некоему a - точно так же, как и в случае
с data.frame
Одна вещь, которая немного отличается - это когда вы
выделяете элементы только по одному параметру, функция DT возвращает вам строки с соответствующими номерами.
То есть если вы зададите такую функцию и укажете, что вам нужны второй и третий элементы из таблицы,
то функция вернет именно строки под номером два и три из вашей таблицы.
Что произойдет, если вы попробуете выделить какие-то столбцы?
и иначе.
data.frame, то увидите, что старые методы уже не работают для функции DT.
Эта функция уже не будет выделять столбцы по той же
схеме, что работала для data.frame.
Он делает немного другое.
Эта функция использует операторы (expressions), через
которые обобщает данные различными способами.
Любой оператор - это некий
набор выражений, заключенный в фигурные скобки, как здесь.
Вот пример выражения, которое говорит напечатать
десять, а затем сообщает переменной значение 5. И на экран выводится только 10.
Когда же вы просите R вывести на экран переменную k, то получите только 5 - заданное ей значение.
Этот факт нам пригодится совсем скоро, когда мы
попытаемся использовать подобные операторы для обобщений в наших таблицах.
Вместо параметра
во второй части скобок вы можете указать
список функций, которые хотите
выполнить. Причем функции будут применены к переменным, заданным по названиям столбцов.
Здесь x - это одна из переменных в таблице данных,
а z - другая переменная.
Заметьте, мы не должны использовать кавычки.
Функция сама распознает переменные, которые вы ей передаете.
В итоге получим среднее по х,
а также сумму значений по z.
Вообще, вы можете подставлять сюда любую функцию.
Вы можете задать функцию table для значений y.
Каждый раз, когда вы передаете список в этот
второй аргумент, он выполняет перечисленные функции и возвращает соответствующие значения.
И это может пригодиться для обобщения данных.
Следующее, что эта функция может делать очень быстро, при этом
не занимая много памяти, - добавлять новые столбцы.
Предположим, вы хотите добавить новый столбец к вашей таблице данных,
со значениями, равными z в квадрате.
Тогда вы можете использовать команду, в которой двоеточие со знаком равно соответствует добавлению этой
переменной w к таблице данных. Здесь стоит отметить, что , когда вы
добавляете новую переменную через data.frame, R создает дубликат блока данных в памяти и
уже к нему добавляет новую переменную.
Таким образом, в памяти остаются две копии ваших данных.
А когда вы имеете дело с большими наборами данных, это может вызвать проблемы
с памятью. В случае с таблицами и функцией DT таких проблем нет,
потому что новая копия не создается.
Правда, вам все равно стоит проявлять известную осторожность.
Предположим, мы создали вторую таблицу данных, которая получает данные из первой,
а затем внесли изменения в первую таблицу данных.
Теперь, поскольку копия не была сделана, если мы вернемся назад и посмотрим на первую таблицу данных,
то значения переменной y в ней поменяются,
поскольку мы сказали, что y всегда равен двум.
Но вторая таблица, DT2, зависит от первой,
а копия первой таблицы не была
сделана. Поэтому по факту мы внесли изменения не в одну, а сразу в две таблицы.
Поэтому если вы хотите создать копию таблицы, вам нужно
четко это прописать с помощью функции Copy,
поскольку она создаст именно копию вашей таблицы.
Следующее, что вы можете сделать, - это
выполнять многоэтапные функции при создании новых переменных.
Так, к примеру, здесь у меня есть оператор такого вида.
Видите, он начинается с фигурной скобки и заканчивается фигурной скобкой.
А за каждым выражением внутри оператора следует точка с запятой.
Первое выражение говорит, что я передаю сумму переменных х и z
во временную переменную tmp,
а второе - что мне нужно
взять логарифм по основанию 2 от суммы 5 и временной переменной.
Как вы помните, такой оператор возвращает
значение последнего выражения.
Поэтому в конечном итоге происходит следующее: этой переменной m будет
присвоено значение выражения логарифм по основанию 2 от х плюс z плюс 5.
Как видите, вы без труда можете применить такую многоступенчатую функцию
с помощью библиотеки data.table.
Вы также можете использовать команды наподобие тех, что доступны в библиотеке plyr.
Например, мы можем добавить к этой таблице
переменную а, которая принимает значение TRUE каждый раз, когда
переменная х больше нуля, и FALSE - когда меньше нуля.
Теперь у нас в таблице появилась бинарная переменная, с которой мы можем поработать.
Далее, предположим, что мы хотим ввести новую переменную,
которая бы зависела от того, с какой стороны от нуля находится х.
Мы можем взять среднее от х плюс
w и сгруппировать все по a с помощью команды "by=a".
Тогда наша функция возьмет среднее от всех х плюс w, когда a равно TRUE,
и это среднее будет помещено во всех строках, где a имеет значение TRUE.
А затем - среднее от х плюс w для всех случаев, когда переменная a имеет значение FALSE.
И подставит результат во все строки, где a равно FALSE.
То есть новая переменная равна среднему от суммы переменных,
причем сумма берется по переменной, для которой мы использовали функцию "by=".
В библиотеке data.table есть несколько специальных переменных, которые позволяют выполнять определенные
операции очень быстро.
Итак, первая - это .N (с точкой)
Это целое число с длиной 1. .N возвращает
число раз, которое конкретный элемент встречается в таблице.
Например, я создам таблицу данных,
которая содержит большое число повторяющихся a, b, c.
Скажем, сто тысяч a, b и c.
Тогда, если я захочу, то смогу подсчитать, сколько раз каждая из этих букв
появляется в моей таблице. Я могу использовать функцию DT с аргументами: запятая, .N,
и все сгруппировать по х, где и содержатся буквы. В результате
.N посчитает, сколько раз каждая из групп (a, b, c) встречается в таблице.
Выполняется все очень быстро по сравнению, скажем, с равноценной
операцией, DT $ x.
Уникальной особенностью таблиц является то, что они имеют
ключи. Если вы установите ключ, то можно
делать выборки и сортировать данные гораздо
быстрее, чем с data.frame.
Сейчас я создам таблицу данных, в ней будет переменная х
и переменная y. Также я укажу, что
переменная х и будет ключом для моей таблицы.
Теперь, если я хочу сделать выборку по x, скажем, подставлю 'a' в одинарных кавычках,
то программа будет знать, что надо искать по ключу.
В моем случае ключ - это х. Поэтому я очень быстро получу
выборку строк, где x принимает значение а.
Вы можете использовать ключи, чтобы облегчить объединение таблиц с данными.
Например, здесь я создал две таблицы, в одной из них заданы переменные
х и у. А во второй таблице - х и z.
Я могу установить ключ в обоих случаях
равным х. То есть одинаковый ключ для двух таблиц.
А потом, я могу слить их вместе.
Это, на самом деле быстрее, чем слияние через date.frame, но только если
у вас задан один и тот же ключ для обеих таблиц.
И когда я говорю быстрее, я имею ввиду намного быстрее.
Таблицы также удобно
использовать, если вы хотите иметь возможность быстро
читать данные с диска.
Здесь я создал большой набор данных,
с сотнями тысяч значений.
Затем, я создам временный файл с помощью этой команды.
И запишу наш большой набор данных в этот файл.
Потом я засеку, сколько займет времени его считывание с помощью команды Fread.
Команда Fread может быть применена и для
считывания таблиц данных. Это альтернатива функции read.table.
Как видите, вся операция заняла 0,32 секунды.
Если бы я попытался сделать эту же операцию,
просто используя функцию read.table,
чтобы прочитать файл, весь процесс был бы более
чем в десять раз медленнее.
Так что, читать файлы с данными получается значительно быстрее через библиотеку data.table.
Подводя итог, data.table может работать и быстрее, и с более
эффективным использованием памяти, чем data.frame, хотя для ее использования вам понадобится изучить
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2019 Все права защищены.
