Наука о данных включает большой спектр подходов и методов сбора, обработки, анализа и визуализации массивов данных любого размера. Отдельным практически важным направлением данной науки является работа с большими данными с помощью новых принципов математического и вычислительного моделирования, когда классические методы перестают работать ввиду невозможности их масштабирования. Настоящий курс призван помочь обучающемуся изучить основы предметной области через постановку и решение типичных задач, с которыми исследователь в области науки о данных может столкнуться в своей работе. Чтобы научить слушателя решать такие задачи, авторы курса предоставляют обучающемуся необходимый теоретический минимум и показывают, как пользоваться инструментальной базой на практике.
Случайные величины
Loading...
From the course by Saint Petersburg State University
Введение в науку о данных (An Introduction to Data Science)
19 оценки
Saint Petersburg State University
19 оценки
From the lesson
Математический инструментарий науки о данных.
Meet the Instructors
Блеканов Иван Станиславовичдоцент
Кафедра технологии программирования
Севрюков Сергей Юрьевичстарший преподаватель
кафедра Технологии программирования
Просолупов Евгений Викторовичк.ф.-м.н., доцент
кафедра Технологии программирования
Коротков Павел Алексеевичстарший преподаватель
кафедра Технологии программирования
Мишенин Алексей Николаевичстарший преподаватель
кафедра Технологии программирования
Утешев Алексей Юрьевичпрофессор
кафедра управления медико-биологическими системами
Вольф Дмитрий Александровичассистент
кафедра Технологии Программирования
Малютин Евгений Алексеевичассистент
кафедра Технологии Программирования
Камалов Михаил ВалерьевичАспирант
Кафедра Технологии программирования
[МУЗЫКА]
[МУЗЫКА] [МУЗЫКА] Следующее понятие,
с которым нам нужно познакомиться — это случайная величина.
Но прежде необходимо получить представление о том,
что такое вероятностное пространство.
Как мы уже говорили ранее, понятие вероятности относится к правдоподобию
некоторых событий, которые являются результатами случайных экспериментов.
Каждый такой результат случайного эксперимента может быть описан множеством
различных свойств, из которых только некоторые могут представлять для
нас интерес в данный момент.
Например, пусть у нас имеется коллекция текстовых документов.
Каждый документ в коллекции обладает целым рядом свойств.
Например, количество слов,
тематика документа, название документа, автор.
Из этих свойств нас могут в данный момент интересовать только некоторые.
Если элементарным исходом эксперимента является выбор одного конкретного
документа с определенным набором свойств, то мы можем определить и
вероятности появления каждого из этих свойств, исследовав нашу коллекцию.
Такая совокупность множества элементарных событий,
множества всех возможных событий, а также вероятностей наступления каждого из
событий и называется вероятностным пространством.
Теперь можно объяснить, что такое случайная величина.
Формально, случайная величина — это такое числовое значение,
которое неизвестно заранее и определяется в результате случайного эксперимента.
Практически это числовая функция, заданная на вероятностном пространстве.
То есть каждому элементарному исходу случайного эксперимента мы сопоставляем
некоторое числовое значение.
Часто, сопоставляемое числовое значение определяется естественным образом из
природы самого события.
Например, количество страниц в документе является исходной числовой величиной.
Сложнее бывает с характеристиками, которые не являются числовыми.
Например, отношение документа к некоторой тематике.
В таком случае, нам нужно установить соответствие между нашими нечисловыми,
или качественными, характеристиками события и числовым значением.
Например, в случае тематики документа,
мы можем сопоставить каждой возможной теме некоторое числовое значение,
и это будет значением нашей случайной величины.
Либо же мы можем в качестве случайной величины выбрать степень принадлежности
каждого документа к конкретной тематике.
Таким образом, для каждой темы у нас будет своя случайная величина,
определяющая принадлежность документа именно к этой теме.
Случайная величина называется дискретной,
если она принимает отдельные изолированные значения.
В таком случае,
множество значений случайной величины будет конечным или счетным.
Например, количество бросков монетки до первого выпадания орла является
дискретной случайной величиной, счетно бесконечным множеством различных значений.
Случайная величина называется непрерывной,
если она принимает произвольное значение из некоторого вещественного интервала.
Множество различных значений непрерывной случайной величины всегда
бесконечно и не счетно.
Например, высота, на которую взлетит мячик при подкидывании его вертикально вверх,
является непрерывной случайной величиной.
Две случайные величины называют независимыми, если значение одной
из них не позволяет лучше предугадать вероятность появления значения другой.
Более формально, величины x₁ и х₂ называют независимыми, если независимы
любые два события x₁ = a и х₂ = b для произвольных вещественных чисел a и b.
Теперь можно рассмотреть ряд математических величин,
которые характеризуют случайную величину.
Прежде всего,
мы посмотрим, как определяется вероятность различных значений случайной величины.
То есть ее распределение вероятности.
Пользуясь известными нам значениями вероятности,
мы можем определить такие характеристики случайной величины,
как математическое ожидание, дисперсия и среднеквадратичное отклонение.
Поскольку для каждого события в вероятностном пространстве определена
вероятность его появления,
можно вычислить и вероятность каждого значения случайной величины.
Вероятность значения величины a случайной величины X равно сумме
вероятностей всех возможных элементарных событий в нашем
вероятностном пространстве, которое случайная величина X отображает в a.
Поскольку случайная величина отображает все элементарные события в
числовые значения,
сумма вероятности всех значений случайной величины обязательно равна единице.
Для дискретной случайной величины с конечным множеством значений,
распределение вероятности могло бы представлять собой таблицу,
где каждому значению случайной величины сопоставлялась бы его вероятность.
Для непрерывной случайной величины это уже невозможно,
поэтому нам необходимо ввести такое понятие, как функция распределения.
Функция распределения случайной величины X сопоставляет каждому
вещественному числу a вероятность того, что X не превосходит a.
Можно привести некоторые базовые свойства функции распределения случайной величины.
Так, функция распределения является неубывающей функцией,
значения которой всегда лежат на отрезке от 0 до 1, а также вероятность того,
что случайная величина X лежит между значениями a и b равна
функции распределения в точке b минус функция распределения в точке a.
Плотность распределения случайной величины определяется как производная функции
распределения в некоторой точке.
Для дискретных случайных величин плотность распределения в таком виде не определена.
Плотность распределения случайной величины обладает, например,
такими свойствами: плотность распределения не отрицательна,
интеграл плотности распределения от −∞ до +∞ всегда равен 1,
интеграл плотности распределения от a до b равен вероятности того,
что случайная величина X лежит в отрезке от a до b.
И наконец, функция распределения случайной величины X равна
интегралу плотности распределения этой случайной величины на отрезке от −∞ до a.
Пожалуй, главной характеристикой случайной величины является ее
математическое ожидание.
Оно характеризует среднее значение случайной величины
с учетом вероятностей всех возможных значений этой случайной величины.
Для дискретной случайной величины математическое ожидание может быть
определено в виде суммы по всем возможным значениям случайной величины.
Значение случайной величины умноженное на вероятность этого значения.
Для непрерывной случайной величины, распределенной на отрезке ab,
математическое ожидание будет равно интегралу от a до b,
x умножить на плотность распределения случайной величины по dx.
Если конкретный отрезок распределения случайной величины неизвестен,
интеграл можно брать от −∞ до +∞.
Из определения математического ожидания случайной величины не сложно вывести ряд
его свойств.
В частности, математическое ожидание, очевидно,
является линейным по отношению к случайной величине.
Также, если имеются две независимые случайные величины X и Y,
то математическое ожидание их произведения
равно произведению математических ожиданий этих случайных величин.
Следующей важнейшей характеристикой случайной величины является ее дисперсия.
Дисперсия показывает, насколько сильно значение случайной величины отклоняется от
ее математического ожидания.
Поэтому дисперсию еще называют мерой разброса случайной величины.
Для вычисления дисперсии случайной величины необходимо вычислить
математическое ожидание квадрата разности между значением случайной величины и
математическим ожиданием этой случайной величины.
В частности, для дискретной случайной величины это будет равно сумме по
i = 1 до n, вероятности каждого значения случайной величины,
умноженной на квадрат разности этого значения
случайной величины и математического ожидания случайной величины.
Для непрерывной случайной величины формула будет выглядеть подобным образом.
В этом случае дисперсия равна интегралу от −∞ до +∞ квадрат
разности х минус матожидания от Х,
умноженное на плотность распределения (x) по dx.
Из определения дисперсии случайной величины можно вывести, например,
приведенные на данном слайде свойства этой величины.
Наряду с дисперсией случайной величины,
для оценки меры отклонения случайной величины от ее математического
ожидания используется и другая величина, называемая среднеквадратичное отклонение.
Среднеквадратичное отклонение представляет собой корень из дисперсии случайной
величины, поэтому среднеквадратичное отклонение часто обозначают буквой σ,
в то время как для дисперсии общепринято обозначение в виде σ².
Нередко использование среднеквадратичного отклонения является предпочтительным перед
дисперсией, поскольку среднеквадратичное отклонение измеряется в тех же единицах
измерения, что и сама случайная величина.
Например, если наша случайная величина представляет собой дальность полета
снаряда, то сама случайная величина и ее математическое ожидание будут измеряться в
метрах, в то время как дисперсия будет измеряться в метрах квадратных.
Поэтому, среднеквадратичное отклонение, которое также измеряется в метрах,
будет предпочтительнее.
Закон больших чисел в одной из своих формулировок гласит,
что при достаточно большом числе испытаний, среднее арифметическое
реализовавшихся значений случайной величины с фиксированным распределением
будет приближаться к математическому ожиданию этой случайной величины.
Это утверждение позволит нам в дальнейшем делать предположение о
значении математического ожидания случайной величины, основываясь
только на наблюдении за ее значениями.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
