0:00
[МУЗЫКА]
[МУЗЫКА] [МУЗЫКА]
Давайте познакомимся подробнее с библиотекой Pandas.
Pandas — это библиотека на Python, которая позволяет нам осуществлять начальную
аггрегацию и трансформацию данных, читать данные из различных источников,
из csv-таблиц, из excel-таблиц, из xls-таблиц,
а также некоторых других источников данных.
Pandas интегрирована с многими библиотеками экосистемы Python,
и Pandas позволяет нам осуществлять изначальную обработку некоторую,
простую обработку, визуализацию данных с помощью библиотеки matplotlib.
Основной концепт Pandas — это Series, изначальный концепт.
Серия — это некоторый типизированный массив.
Давайте потестируем наш Pandas и создадим серию.
Как вы видите, кроме собственных данных, которые мы передали со стандартного
python'овского листа, у нас есть еще и индекс.
В качестве индекса по дефолту выступают упорядоченные целые числа,
но в принципе, можно использовать строки, даты и многие другие типы объектов.
Вот здесь мы, например, создаем серию с индексом из строк.
Можно также использовать и напрямую словари с аналогичным результатом.
К элементам обращаться по индексу.
А из-за того, что индекс упорядоченный, то Pandas также позволяет нам индексировать
нашу серию по порядку, то есть осуществлять поиск элементов по порядку,
ровно точно так же, как мы индексировали python'овские листы.
Также в сериях можно использовать срезы.
Причем семантика срезов аналогична семантике срезов в листах и в NumPy
array'ах.
Давайте также посмотрим.
Серия — это некоторая оболочка, некоторая обертка над NumPy array'ем,
и вызвав свойство values, можно получить низлежащий NumPy array,
а также можно получить и напрямую объект index, в котором хранится, понятное дело,
индекс нашей серии.
Давайте рассмотрим некоторый более интересный пример.
В материалах к данному видео также имеются таблицы,
давайте загрузим одну из них в серию с помощью вызова функции from_csv.
Как вы видите, это курс евро за некоторый период в апреле 2017-го.
Причем серия напрямую определила,
что индексом являются даты и скастовала наши строки в дату.
Кроме того, серии можно индексировать с помощью условий.
Давайте попробуем найти те даты, в которые курс евро был меньше 60 рублей.
Вот таким образом мы получаем битовую маску, некоторую серию,
где true стоит там, где условие выполняется, а false, соответственно там,
где не выполняется, а с помощью вот такой нехитрой индексации можно получить серию с
теми элементами, для которых в маске стояло true.
Или можем попробовать сделать более сложное условие.
Найти те даты, для которых курс евро был меньше 60 рублей,
а сами даты были после 4-го апреля.
Как вы можете заметить, в данном случае мы используем составное условие.
То есть у нас есть две битовые маски, две серии из boolean,
и мы используем между ними логическую операцию.
С помощью серии, мы можем оперировать только с одномерными массивами,
только с одномерными величинами.
Предположим, мы хотим проанализировать, например, совместные курсы доллара,
евро и, скажем, британского фунта.
Для этого можно использовать DataFrame.
DataFrame — это фактически набор из серий с некоторым единым индексом.
Можно представлять себе DataFrame как некоторую Excel-таблицу.
Только оперируем мы с ним не с помощью Excel'я, а с помощью Python'а программно.
Давайте создадим наш DataFrame.
Его можно создать аналогично сериям с помощью нескольких массивов.
Мы передаем данные, мы передаем колонку.
DataFrame, опять же, автоматически создает нам индекс.
Или также мы можем создать DataFrame не построчно, а по столбцам.
В принципе, аналогичный результат.
Однако давайте же считаем другой файл, currencies.csv.
Это тоже таблица, в которой лежат курсы валют примерно за тот же промежуток
времени, только еще и для доллара и для британского фунта.
С помощью DataFrame мы можем получить отдельный столбец,
который будет представлен, ну скажем, в виде объекта series.
Так оно и есть.
Или срезать DataFrame, то есть взять несколько столбцов, которые нам интересны.
Например, для доллара и британского фунта.
А также мы можем создать новый столбец из старых, применяя некоторые операции.
Как вы видите, мы получили разницу между британским фунтом и евро.
Или же посмотреть, насколько изменился курс евро и доллара с прошлого дня.
Тут мы можем воспользоваться функцией shift.
Также индексация осуществляется с помощью функции loc и iloc.
Допустим, мы хотим получить DataFrame, который состоит из строк,
где изменения доллара и евро с прошлого дня стали отрицательными.
То есть доллар и евро подешевели.
Да, действительно, бывает и так.
Или же, если нам необходимо обратиться к номеру строки,
то можно использовать свойство iloc и срезать наш DataFrame построчно.
Pandas имеет некоторое количество функций для подсчета простой статистики.
Например, мы можем посчитать корреляцию между столбцом,
отвечающим за курс доллара, и столбцом, отвечающим за курс евро.
Как вы видите, коэффициент корреляции достаточно высок.
Или математическое ожидание курсов валют.
Тоже похоже на правду.
Можно также и визуализировать наши данные.
Данные можно визуализировать, используя библиотеку matplotlib.
Давайте заинлайним matplotlib, то есть сделаем так, чтобы вывод matplotlib
интегрировался в наш IPython Notebook, и нарисуем простенький график.
Видите?
Вот он, график курсов доллара и евро.
Кроме того, DataFrame можно сохранять на жесткий диск.
Например, с помощью функции to_csv мы сохраняем наш DataFrame в csv-таблицу,
с помощью функции to_excel мы сохраняем ее в xls-файл,
которым в дальнейшем можно оперировать в рамках того же самого Excel'я.
Блеканов Иван Станиславовичдоцент
Севрюков Сергей Юрьевичстарший преподаватель
Просолупов Евгений Викторовичк.ф.-м.н., доцент
Коротков Павел Алексеевичстарший преподаватель
Мишенин Алексей Николаевичстарший преподаватель
Утешев Алексей Юрьевичпрофессор
Вольф Дмитрий Александровичассистент
Малютин Евгений Алексеевичассистент
Камалов Михаил ВалерьевичАспирант
