Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.
6.2.3. Загрузка данных из внешних источников
Loading...
Из курса от партнера National Research University Higher School of Economics
Эконометрика (Econometrics)
334 оценки
Из урока
Автокорреляция
Или о том, чем могут быть опасны зависимые ошибки :)
Познакомьтесь с преподавателями
Boris DemeshevSenior Lecturer
Department of Applied Economics
Теперь рассмотрим открытые
источники финансовых и экономических данных, доступные в Интернете.
Ну, пожалуй, самые известные — это Google и Yahoo,
то есть, если мы наберем finance.google.com,
то мы получим финансовую базу данных Гугла.
Здесь, соответственно, у нас есть информация о куче цен различных компаний.
Аналогично можно посмотреть finance.yahoo.com.
Мы автоматически будем скачивать данные с этих источников.
Также открытой базой данных, не только финансовых, но и многих других,
социальных, но и не только, показателей является Quandl.
Здесь можно, например, взять загрузить свой набор данных,
добавить к нему описание, и он будет публично доступен другим людям.
Из широко известных русских источников можно назвать Финам.
И в рамках Высшей школы экономики
существует sophist.hse.ru,
где содержатся также данные по многим
статистическим рядам.
Теперь попробуем загрузить эти данные в R автоматически.
Это я привел пример пяти достаточно крупных, четырех достаточно крупных
источников данных, и, соответственно, здесь все загружается автоматически.
Давайте рассмотрим на примере, ну, каждый на примере.
Например, sophist.hse.ru.
Открываем его, вот выбираем какой-нибудь статистический ряд, например,
по населению и трудовым ресурсам, численность населения.
Мы видим, что показатели годовые, и показатель называется POPNUM_Y.
Вот нам потребуется только название этого показателя, чтобы загрузить его в R.
POPNUM_Y.
Соответственно, выбираем, загружаем в набор данных.
Значит, здесь напишем: загрузка данных, загрузка данных,
a поместим sophisthse,
и набор данных назывался POPNUM_Y.
Запускаем.
Загрузка занимает какие-то время, и мы можем посмотреть на результат.
Вот, показатель численность населения России,
соответственно, с 91-го по 14-й год как менялось.
Теперь давайте загрузим какой-нибудь пример данных
с Quandl.
Теперь рассмотрим набор Quandl.
b равняется Quandl,
и тут укажем, пусть это будет GNP
— валовый национальный продукт.
Вот у нас загрузился набор
данных b по валовому национальному продукту,
Quandl это FRED/GNP — это, соответственно, американские данные.
Quandl вывел предупреждение о том, что без регистрации на
Quandl загрузка какого-то ограниченного количества, типа 50 наборов в день.
Eсли вы хотите загружать больше,
вы можете зарегистрироваться там и загружать больше.
Теперь загрузим цены акций, например, компании Apple с сайта google.finance,
finance.google.com.
Здесь нам нужна маленькая хитрость из-за того,
что месяца по-русски будут не так, как по английски
называются, то поэтому при чтении дат происходит иногда маленькая проблемка.
Чтобы ее избежать, нам потребуется одна маленькая настройка.
Sys.
setlocale("LC_ TIME","c").
setlocale("LC_ TIME","c").
Мы настроим локаль, чтобы она была больше похожа на английскую.
После этого у нас без запинки прочитаются цены акций с Гугла,
даже если у вас русскоязычная версия Windows.
Выбираем желаемое название компании, Apple сокращается AAPL,
соответствующие названия компаний можно посмотреть на сайте Гугла.
Данные мы берем с какой-нибудь конкретной даты, с 2010-го, скажем,
01-01 по 2014-й, пусть будет 02-03,
и источник, откуда мы загружаем данные — google.
Исполняем эту команду,
и мы получаем акции компании Apple.
Можно посмотреть на начало таблички, AAPL.
Здесь у нас цена открытия, максимальная цена,
минимальная цена, цена закрытия и объем торгов.
И, соответственно, хвостик таблички.
Всегда при загрузке данных из любых источников проверяйте, смотрите,
что загрузилось именно то, что вы хотели.
Если вы хотите выбрать Yahoo, то, соответственно, какие-то
цены по некоторым акциям представлены на Yahoo, вот здесь меняется Google на Yahoo.
И, соответственно, загрузка данных с российского источника finam.ru.
Выбираем getsymbols.
Давайте загрузим акции Газпрома.
symbols равняется Gazprom, он сокращается- четыре буквы GAZP.
Ну и тоже мы указываем даты, с две тысячи пусть будет одиннадцатого, 01-02,
по 2014.
09-09, и источник мы указываем
finam.
После того как вы загрузили ваши данные,
обязательно смотрите на начало таблички head (GAZP).
Мы тут видим, что у нас он в январе, первые дни не загрузились.
Но это нормально, потому что там нерабочие дни, поэтому, соответственно,
не с 01.02, а с 01.11 имеются котировки акций.
И смотрим на хвостик таблички: Газпром,
и вот у нас загрузилось по 2014.09.10, опять же это цена
открытия акций Газпрома, максимальная, минимальная, закрытия и объем торгов.
Соответственно, с котировками,
которые получаются с помощью команды getsymbols, они возвращают стандартный
многомерный временной ряд в формате xts, и можно строить различные графики,
например, самый простой дефолтный график можно построить.
Сейчас мы отмасштабируем, вот отмасштабировался график,
и, соответственно, как менялись акции Газпрома с 2011 по 2014.
Графиков для временных рядов можно построить очень много разных.
Давайте, например, построим четыре цены: открытия, закрытия,
минимальную и максимальную на одном графике: au_toplot (GAZPOM).
Нам нужно первые четыре столбца, последний пятый отвечает за объем торгов,
он совершенно в других единицах измерения.
Ну и нам построить вот по соседству четыре графика, можно,
соответственно, построить четыре графика на одном,
здесь выбрать facets = 2.
И увидеть, что они практически идентичны.
Для тех, кто занимается техническим анализом,
в R, конечно, реализованы свои специальные графики.
Например, можно построить chartSeries от Газпром.
Вот такой график, в котором внизу автоматом построены,
объемы торгов нанесены.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
