2.3. Задание параллельной области и опции, влияющие на ее выполнение

Loading...

Из курса от партнера National Research Tomsk State University

Введение в параллельное программирование с использованием OpenMP и MPI

37 оценки

National Research Tomsk State University

Введение в параллельное программирование с использованием OpenMP и MPI

37 оценки

Потребность решения сложных прикладных задач с большим объемом вычислений и принципиальная ограниченность максимального быстродействия «классических» – по схеме фон Неймана – ЭВМ привели к появлению многопроцессорных вычислительных систем (МВС) или суперкомпьютеров. Широкое распространение параллельные вычисления приобрели с переходом компьютерной индустрии на массовый выпуск многоядерных процессоров с векторными расширениями. В настоящие время практически все устройства – от карманных гаджетов и до самых мощных суперкомпьютеров – оснащены многоядерными процессорами. И если вы пишите последовательную программу, не применив распределение работы между разными ядрами центрального процессора и не проведя векторизацию, то вы используете только часть вычислительных возможностей центрального процессора. Пройдя этот курс, вы познакомитесь с основными архитектурами МВС, с двумя стандартами (OpenMP и MPI), позволяющими писать параллельные программы для систем с общей и распределенной памятью. На простых примерах будут разобраны основные конструкции и способы распределения работы. Выполнение практических заданий позволит вам приобрести практические навыки создания параллельных программ. Курс будет интересен всем, кто занимается программированием. Для участия в курсе слушателю необходимо иметь базовые знания по программированию с использованием С/С++. Курс состоит из 9 недель. Каждая неделя курса содержит видеолекции, а также проверочные задания. Сертификат получают слушатели, набравшие более 80 % от максимально возможного количества баллов. При этом итоговый результат, представленный как 100 %, складывается из следующих составляющих: тесты 1–5 недели дают 4 %, тесты 6–9 недели дают 5 %, все практические задания дают 10 %, кроме итогового практического задания по OpenMP, которое дает 20 %. Сертификат о прохождении данного курса дает дополнительные баллы при поступлении в магистратуру Национального исследовательского Томского государственного университета. Перечень магистерских программ находится по ссылке: https://pro-online.tsu.ru/edu/student/table.php

Из урока

Основы OpenMP

Добро пожаловать на вторую неделю курса! На этой неделе мы рассмотрим особенности программирования для систем с общей памятью. Разберемся с такими понятиями, как поток и многопоточность. Мы начнем изучение технологии OpenMP, научимся создавать параллельную область. На примерах рассмотрим директивы, которые позволяют управлять процессом исполнения кода в параллельной области.

2.1. Особенности программирования для систем с общей памятью. Понятие процесса, потока и многопоточности6:37

2.2. Технология OpenMP, особенности и ее компоненты8:39

2.3. Задание параллельной области и опции, влияющие на ее выполнение8:25

2.4. Модель памяти. Классы переменных в OpenMP7:20

2.5. Режимы выполнения многопоточных программ. Вложенный параллелизм8:55

Познакомьтесь с преподавателями

Николай Николаевич Богословский (Nikolay N. Bogoslovskiy)
Кандидат физико-математических наук, доцент (Сandidate of Physics and Mathematics, Associate Professor)
Кафедра вычислительной математики и компьютерного моделирования ММФ (Department of Calculus Mathematics and Computer Modelling, Mechanics and Mathematics Faculty)
Евгений Александрович Данилкин (Evgeniy A. Danilkin)
Кандидат физико-математических наук, доцент (Сandidate of Physics and Mathematics, Associate Professor)
Кафедра вычислительной математики и компьютерного моделирования ММФ (Department of Calculus Mathematics and Computer Modelling, Mechanics and Mathematics Faculty)

[МУЗЫКА]

[МУЗЫКА]

[МУЗЫКА] Здравствуйте!

Я рад, что вы добрались до этой лекции,

потому что сейчас мы уже начнем непосредственно изучать директивы

параллельного программирования и рассматривать различные версии программ.

А сначала я отвечу на те вопросы, которые задавал в предыдущей лекции.

Я считаю, что одними из самых главных директив и важных, которые были в

добавленной спецификации 4.0, является директива SMPD и директива Target.

Первая директива позволяет явно указать,

что нам нужно векторизовать код, а вторая директива позволяет нам

запускать дополнительные вычисления на сопроцессорах.

Эти директивы мы рассмотрим в последующих лекциях более подробно.

А сейчас давайте перейдем к изучению директивы,

которая позволяет создавать параллельную область.

Когда на прошлой лекции мы рассматривали модель параллельного выполнения, я говорил

о том, что в момент запуска программы порождается поток-мастер (основной поток),

и он, и только он, исполняет все последовательные области программы.

Для того, чтобы создать область кодов, в которых будут операторы выполняться сразу

несколькими потоками, необходимо объявить параллельную секцию.

Для объявления параллельной секции используется директива parallel.

Синтаксис данной директивы следующий: pragma omp parallel.

И дальше идут опции, которые влияют на выполнение этой директивы или на то,

какие переменные у нас какого типа будут.

Блок кода, который должен выполняться параллельно,

должен быть заключён в фигурные скобки.

При входе в параллельную область порождается новый N − 1-поток.

Каждый поток получает свой уникальный номер, причем поток, который породил

остальные, получает номер ноль и становится основным потоком данной группы.

Остальные потоки в качестве номера получают целые числа от 1 до N − 1.

Количество потоков, выполняющих данную параллельную область, остается неизменным

от входа в параллельную область до выхода из этой параллельной области.

При выходе из параллельной области производится неявная синхронизация всех

потоков, и дополнительные потоки уничтожаются или удаляются.

Все порожденные потоки исполняют один и тот же код,

соответствующий параллельной области.

Предполагается, что в SMP-системах потоки будут распределены по различным процессам.

Однако, это, как правило,

находится в ведении операционной системы и гарантировать,

что они находятся в разных ядрах или в разных процессорах, вы не можете.

Давайте рассмотрим простой пример,

демонстрирующий использование данной директивы.

В данном примере нет сложных вычислений, она работает достаточно быстро, но

для понимания того, как работает директива parallel, этой программы достаточно.

В начале выполнения программы существует только один поток.

И поэтому команду printf у нас выполнит только поток-мастер.

И вы на экране увидите сообщение «Последовательная область 1».

Далее поток добирается до директивы parallel,

соответственно, он порождает дополнительные потоки.

В общем случае мы не знаем, сколько будет создано потоков, но предположим,

что у нас один процессор и четыре ядра.

Тогда будет порождено три дополнительных потока.

Соответственно, параллельная область в общем выполнит четыре потока.

В параллельной области у нас имеется одна команда — это вызов функции printf.

И соответственно, вы тогда на экране увидите «Параллельная область»,

и это сообщение будет выведено четыре раза,

так как у нас четыре потока и каждый из них выполнил данную команду.

Далее параллельная область заканчивается,

дополнительные потоки удаляются, и остается только один поток — поток-мастер.

Он выполняет вызов функции printf,

которая выводит у нас на экран «Последовательная область 2».

И это сообщение будет выведено только один раз.

Вот так работает директива parallel.

То есть вы создаете дополнительные потоки, они дружно выполняют код,

который находится в параллельной секции, и завершают свое выполнение.

И поток-мастер заканчивает выполнение программы.

А теперь мы с вами рассмотрим опции данной директивы.

У этой директивы достаточно много опций, но мы рассмотрим только две из них,

которые влияют на ее выполнение, на то, как выполняется параллельная секция.

А остальные мы рассмотрим с вами позже,

когда будем рассматривать модели памяти и соответствующие директивы.

А теперь давайте рассмотрим опции, которые влияют на выполнение параллельной секции.

И первая опция, которая влияет, — это опция if.

Вы ее указываете сразу после директивы parallel и в круглых скобках пишете

логическое выражение.

Если логическое выражение — истина, тогда параллельная секция создается,

а если логическое выражение ложно, тогда участок кода, относящийся к

параллельной секции, выполняется в обычном последовательном режиме.

Я думаю, вы задались вопросом: «А зачем мне это?

Я уже хочу распараллелить этот участок кода, я знаю точно».

Предположим, вы пишете универсальную функцию в библиотеку,

которой будут пользоваться остальные люди.

И она решает достаточно простую задачу — перемножение матрицы на вектор.

Один человек может вызвать вашу функцию для

перемножения матрицы большой размерности — 10 тысяч на 10 тысяч.

И тогда вам действительно нужно провести распараллеливание,

чтобы задействовать все вычислительные ресурсы.

А другой пользователь будет вызывать вашу функцию для перемножения

маленькой матрицы, размерности два на два, допустим.

И тогда дополнительные накладные расходы, которые возникают при создании

параллельной секции и при удалении потоков в конце нее,

повлияют на эффективность вашей функции.

И в этом случае нужно и проще, и лучше, выполнить код последовательный.

Это будет быстрее.

Вот для таких случаев и предназначена данная опция.

И тогда вы можете учесть все условия, когда вы вычисляете большие матрицы,

и когда производите перемножение для маленьких матриц.

А теперь давайте рассмотрим следующую опцию.

Это опция num_threads.

И в круглых скобках вы пишете выражение, в результате которого получится целое число.

Благодаря этой опции вы можете указать, сколько потоков

должны выполнять параллельную секцию, относящуюся к директиве parallel.

В общем случае, если вы не укажете эту опцию,

создастся количество потоков по умолчанию, ну, либо,

если вы укажете количество потоков с использованием «переменное окружение».

А теперь давайте еще ответим на важный вопрос: какой участок кода,

заключаемый в фигурные скобки, может являться параллельной секцией?

И такой участок кода, на самом деле, должен иметь один вход и один выход.

Не допускаются условные переходы как

из параллельной секции в другую часть программы,

так и из других частей программы нельзя переходить внутрь параллельной секции.

Если вы будете соблюдать эти правила, то никаких ошибок у вас не будет.

В этой лекции мы с вами рассмотрели основную директиву parallel

(данная директива позволяет создавать параллельную секцию) и две опции,

которые влияют на то, как параллельная секция выполняется.

Ну и в конце лекции я хочу задать очередной вопрос: вы видите код простой

функции.

Предположим, вы ее вызываете своей основной программой.

Ответьте на следующие вопросы: будет ли скомпилирована программа и если нет,

то почему?

Попробуйте это сделать без реальной компиляции программы и

реального попытки выполнения данной функции.

А на следующей лекции я дам правильный ответ.

До встречи!

Ознакомьтесь с нашим каталогом

Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.

Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.

© Coursera Inc., 2019 Все права защищены.

Загрузить из App Store

Загрузить в Google Play