Это стандартный курс линейной алгебры, содержащий все необходимые для статистики и многомерного анализа приложения и алгоритмы, но не всегда содержащий подробные доказательства. Данный курс пригодится вам для того, чтобы изучить азы линейной алгебры и ознакомиться с базовыми определениями, понятиями и алгоритмами, научиться решать задачи, в которых необходим данный инструментарий. Многие пространственные задачи требуют знания линейной алгебры, а так же ряд задач экономики находит более простое решение, если владеть механизмами решения таких задач; эта наука находит себе применение во всех направлениях математики и ее приложениях, которые только можно представить. После прохождения данного курса вы научитесь корректно использовать понятия вектора, базиса, линейного пространства и линейной зависимости, оператора и матрицы, а так же овладеете несложными инструментами для решения и анализа задач линейной алгебры, научитесь оперировать матрицами и находить максимально подходящие условия для поиска ответа; ознакомитесь с классическими теоремами и узнаете красивые задачи данной науки, а также научитесь проверять свои решения на корректность, а результаты на адекватность, а еще мы обсудим теорему Перрона-Фробениуса и ее приложение к индексированию страниц в интернете. Внимательно смотрите лекции и вовремя выполняйте все необходимые задания. Удачи!
10.5. Процесс ортогонализации
Loading...
Из курса от партнера National Research University Higher School of Economics
Линейная алгебра (Linear Algebra)
150 оценки
Из урока
Квадратичные формы и процесс ортогонализации
В этом модуле разговор пойдёт про квадратичные формы - ещё один вид преобразований, про то, почему они удобны, за какие изменения пространств отвечают, и как приводить их к самому красивому виду путём замены координат.
Познакомьтесь с преподавателями
Irina KhovanskayaSenior Research Fellow, Lecturer
International Laboratory for Institutional Analysis of Economic Reforms
[МУЗЫКАЛЬНАЯ ЗАСТАВКА] [МУЗЫКАЛЬНАЯ ЗАСТАВКА] Нам
осталось рассмотреть на сегодняшней лекции только 1 случай — тот случай,
который и является, на самом деле, сложным для квадратичных форм.
А что, если есть совпадающие собственные значения?
Если все собственные значения были разные,
это значит нам был обеспечен ортогональный собственный базис.
Если есть совпадающие собственные значения, вообще могут, вообще говоря,
могут появиться жордановы клетки, но теорема гарантирует нам,
что никаких жордановых клеток не будет.
Мы знаем, что есть, обязательно есть собственный базис,
значит никакой никаких жордановых клеток не будет.
Какие же сложности появляются, если есть совпадающие собственные значения?
Мы видим, что может появиться целое собственное пространство с одним и том же
собственным значением,
и внутри этого собственного пространства мы можем выбрать базис, как хотим.
А если мы можем выбрать базис, как хотим, он необязательно получится ортогональным.
А нам нужен именно ортогональный базис,
нам внутри собственного пространства нужно выбрать именно ортогональный базис.
Как это сделать?
Ну например, вот смотрите, когда мы рассмотрим такую матрицу,
мы найдем ее собственные значения, мы видим,
что 1 собственное значение есть некратное и 2 кратных собственных значения.
2 кратным собственным значениям соответствуют 2 разных вектора,
но эти векторы можно написать по разному.
Мы видим, что здесь у этого уравнения будет 2 решения,
но какие именно решения выбрать, мы можем решать по-разному.
А нам нужно выбрать решение так, чтобы эти векторы были ортогональны друг другу.
То есть, в выбранном двумерном пространстве, собственном,
любая независимая пара векторов будет собственным базисом.
А нам нужно только пара ортогональных векторов.
Как с этим быть?
Есть такой процесс ортогонализации, который обеспечит нам
из плохого базиса, из неортогонального базиса, ортогональный базис.
Итак, пусть есть набор векторов h1,..., hk.
Эти векторы линейно независимы,
и они находятся в каком-то линейном пространстве М.
Мы даже не говорим, что они порождают все пространство М,
просто какое-то подпространство его порождают.
В результате процесса ортогонализации мы получим другой набор векторов e1,...,en.
При этом что будет верно про них?
Во-первых, этот набор будет ортогональным, любые пары векторов еi будет
ортогональным, будет ортогонален вектору еj, это условие будет выполняться.
Как этот набор векторов связан с набором векторов h1,...,hk?
А связан он будет именно так: линейное пространство,
порожденное векторами h1,..., hi будет совпадать с линейным
пространством, порожденным векторами e1,...,ei.
То есть, вектор e1 мы выберем просто совпадающим с вектором h1,
таким образом, вектор е1 будет порождать ровно то же самое одномерное пространство,
что и вектор h1.
Как выбирать вектор е2?
Итак, пусть в некотором линейном пространстве М существует
набор линейно независимых векторов h1,...,hk.
Когда мы говорим об этих векторах,
надо думать о собственных векторах с одним и тем же собственным значением.
Мы выбрали какое-то количество линейно независимых собственных векторов с одним и
тем же собственным значением, но мы не умеем позаботиться о том,
чтобы они были ортогональны друг другу.
Тогда существует набор линейно независимых собственных,
линейно независимых векторов e1,...,еk такой,
что, во-первых, эти векторы взаимно ортогональны,
вектор ei ортогонален вектору ej, если только i ≠ j,
и, во-вторых, как этот набор связан с исходным набором
векторов h1,...,hk, а связан он так: пространство,
порожденное векторами e1,...,ei совпадает с пространством,
порожденным векторами h1,...,hi.
Смотрите, вектор e1 будет порождать то же пространство, что порождал вектор h1.
Векторы e1 и e2 будут порождать то же пространство,
что порождали векторы h1 и h2.
Векторы e1, e2, e3 будут порождать то же
трехмерное пространство, что порождали векторы h1, h2, h3 и так далее.
То есть, подпространства, порожденные, будут совпадать,
а сами векторы мы будем менять.
Процесс ортогонализации не только докажет,
что существует такой базис e1,...,en,
процесс ортогонализации на то и процесс,
что он позволяет явно построить набор векторов e1,...,ek,
если мы знаем набор векторов h1,...,hk.
Итак, как устроен процесс ортогонализации?
Нам нужно, чтобы пространство,
порожденное вектором e1 совпадало с пространством, порожденным вектором h1.
Возьмем вектор e1, просто совпадающий с вектором h1.
Теперь будем выбирать вектор e2.
Что нам нужно?
Нам нужно, чтобы пространство, порожденное векторами e1 и e2 совпадало
с пространством, порожденным векторами h1 и h2, а значит должна быть линейная
комбинация векторов h1 и h2, ничего нового не должно появиться — это во-первых.
Во-вторых, вектор e2 должен быть ортогонален вектору h1.
Если мы построим ортогональный вектор, это нам обеспечит, к тому же, линейную
независимость векторов, и мы получим, действительно, двумерное пространство.
Действительно, оно будет совпадать с пространством,
порожденным векторами h1 и h2.
Как выбрать такой вектор?
Давайте сделаем вот что: давайте возьмем представим вестор
e2 в таком виде: это будет вектор h2 + λ * e1.
При помощи этого λ, λ — это какое-то число, и мы это λ сейчас будем подбирать.
Мы его подберем так,
чтобы скалярное произведение этого вектора с вектором e1 было нулевым.
Но мы видим, что условие,
то что вектор e2 — это линейная комбинация векторов h1 и h2, оно выполняется.
Ну что ж, давайте выпишем условие < e2, e1 > = 0, с одной стороны,
а с другой стороны, мы распишем по линейности скалярного произведения.
Мы получаем прямо выражение для числа λ, прямо мы видим, как посчитать число λ.
Если эти векторы и были ортогональны, ничего над...
не надо добавлять, а если они ортогональны не были,
вот такая поправка: λ *, такое λ * e1 — поправит дело.
Векторы e1 и e2 после такой поправки станут ортогональны.
Вот смотрите, у нас было 2 вектора,
они не были линейно зависимы, но они не были ортогональны.
Мы теперь по этим 2 векторам строим новый набор из 2 векторов.
Сначала 1-й вектор взяли, совпадающим с вектором h1,
а второй вектор взяли уже не вектор h2,
а подправили вектор h2 при помощи вектора h1, чтобы получился ортогональный вектор.
Вот так вот и работает процесс ортогонализации.
А если векторов было больше?
Хорошо, если было 2 вектора, то мы устроили из 2 векторов, соорудили
ортогональный базис, а если векторов было много, если было пространство большой
размерности, как дальше будет действовать процесс ортогонализации?
Давайте посмотрим на 1 шаг процесса ортогонализации.
Пусть мы 1-е i векторов уже ортогонализовали,
пусть у нас есть набор набор e1,...,ei, все эти векторы ортогональны друг другу.
Например, 1-е 2 вектора или 1-е 5 векторов,
а нам нужно построить следующий вектор ei+1.
Как мы будем действовать?
Смотрите, мы возьмем вектор hi+1 и подправим его
при помощи всех векторов, имеющихся.
Мы возьмем λ1e1 +λ2e2 +...
+ λiei.
Мы получили опять, точно также, как действовали,
когда было всего лишь 2 вектора: мы вектор he+1 подправляем при
помощи первых i векторов, умноженных на коэффициенты.
Откуда возьмутся эти коэффициенты?
Как вычислить λi?
Прекрасный план, только как их найти?
Найти очень просто.
Коэффициент λi находится из того,
что вектор ei+1 ортогонален вектору ei для любого i.
Вектор ei+1 ортогонален вектору el, скалярное произведение равно 0.
Это в точности накладывает условие на λl,
накладывает линейное условие, позволяет нам вычислить λl.
Вот посмотрим, здесь больше векторов, уже не 2 вектора,
нам нужно ортогонализовать вот эту систему векторов.
Ну что же, мы так вот и действуем: 1-й вектор выбрали,
совпадающим с вектором h1, потом построили 2-й вектор,
потом при помощи уже 1-х двух векторов построили 3-й вектор.
3-й вектор получился ортогональным вектору e1 и e2.
И так процесс может действовать сколько нам нужно: сколько было векторов,
столько шагов мы и можем сделать.
Это все, мы построили ортогональный базис при помощи, когда мы выбрали вот в
собственном подпространстве ортогональный базис, можно уже при помощи этого базиса
одинаково менять квадратичную форму и матрицу линейного оператора?
Нет, пока что не все.
Мы помним, что нам важно не только, чтобы скалярное произведение
одного базисного вектора на другой базисный вектор было нулевым; не только,
чтобы векторы базиса были ортогональны друг другу,
но и чтобы скалярное произведение каждого вектора на себя было равно единице.
Как этого добиться?
Как этого добиться, мы уже обсуждали.
Для того, чтобы длина вектора стала равна единице,
можно просто умножить этот вектор на соответствующее число.
Мы уже видели,
что это число — это корень из скалярного произведения вектора на себя.
Таким образом, умножая каждый из полученных векторов на такое выражение,
мы получим базис, в котором, во-первых,
все векторы ортогональны — мы довольно долго над этим работали — во-вторых,
длина каждого вектора равна единице — мы это получили, умножая вектор на число.
Смотрите, перед нами ортогональный набор векторов,
все векторы ортогональны друг другу.
Нам нужно, как говорят математики, его нормировать, нам нужно сделать так,
чтобы длина каждого вектора стала равна единице.
Как это делается?
Ну вот так и делается: каждое число умножим на корень из скалярного
произведения его на себя.
Как видно, в таких матрицах, ортогональных,
часто встречаются иррациональные числа.
Нечасто длина вектора с целыми координатами — это рациональное число,
часто приходится считать корни, ну что же, это нормально.
Итак, мы научились решать такую задачу: мы научились приводить квадратичную
форму к главным осям, к сумме квадратов, при помощи ортогонального преобразования.
Что мы для этого делаем?
У нас есть матрица квадратичной формы.
Это симметричная матрица, у нее не может быть, у ее характеристического многочлена
не может быть никаких комплексных корней, у нее только вещественные корни.
Единственное, самое страшное, что нам угрожает,
что некоторые корни будут совпадать, будут корни с какой-то кратностью.
Однако никакой жордановой клетки у такой матрицы быть не может,
у нее обязательно есть собственный базис.
Давайте построим для этой матрицы собственный базис.
Если все значения, собственные, были различные, осталось только его
нормировать, осталось только сделать так, чтобы длина каждого вектора равнялась 0.
Если есть совпадающие собственные значения, то в собственном пространстве,
размерностью больше, чем 1, нужно провести процесс ортогонализации, нужно добиться,
чтобы векторы в этом собственном, чтобы базисные векторы в этом собственном
пространстве были ортогональны друг другу при помощи процесса ортогонализации.
После этого уже можно просто их нормировать,
и снова получится ортогональное преобразование.
Итак, мы получили ортогональное преобразование,
при помощи которого матрица квадратичной формы приводится к виду суммы квадратов.
И вот, пожалуйста, действительно, это так и работает.
[МУЗЫКАЛЬНАЯ ЗАСТАВКА]
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
