Современная жизнь немыслима без web-сервисов, ежедневно приносящих дивиденды в самых разных областях человеческой деятельности. А значит, профессия web-разработчика еще долго будет оставаться высокооплачиваемой и востребованной на рынке IT-специалистов. Существует множество решений и инструментов на разных языках программирования, упрощающих и ускоряющих web-разработку. В рамках данного курса освещается построение web-приложений на языке Python. Курс читают разработчики, применяющие Python в проектах, которыми ежедневно используют миллионы людей. В данном курсе вы сможете приобрести как базовые знания о функционировании современного интернета в целом, так и практические навыки создания интернет-приложений на языке Python.
Сложный поиск и замена
Loading...
Из курса от партнера Moscow Institute of Physics and Technology
Создание Web-сервисов на Python
41 оценки
Explore Related Videos
At Coursera, you will find the best lectures in the world. Here are some of our personalized recommendations for you
Moscow Institute of Physics and Technology
41 оценки
Курс 3 из 4 — Specialization Программирование на Python
Из урока
Сбор данных со сторонних сайтов
В этом модуле мы узнаем, зачем нам собирать данные со сторонних сайтов и познакомимся с таким распространённым инструментом, как регулярные выражения.
Познакомьтесь с преподавателями
Абрамов Тимур
Пестров Никита
Опрышко Александр
Партилов Алексей
Добрый день, в этом видео мы закончим изучать синтаксис регулярных выражений,
разберем замену с помощью регулярных выражений и их компиляцию,
узнаем что делать с помощью регулярных выражений,
а что лучше не делать и подведем итоги.
Давайте рассмотрим специальные символьные классы.
В прошлом видео мы рассматривали обычные символьные классы,
а специальные символьные классы,
это всего лишь сокращение для наиболее часто используемых символьных классов,
например, \w обозначает букву, цифру и знак подчеркивания.
В питоне 3 под буквами
и цифрами подразумевается также символ национального алфавита, не только ASCII.
Если мы хотим, чтобы буквы были только буквой латинского алфавита, то есть ASCII,
мы должны указать специальный флаг re.ASCII и тогда под
\w будут попадать только латинские буквы и цифры.
/W, это обратный символьный класс,
который означает, что в этом месте может
стоять все что угодно, кроме букв, цифр и знака подчеркивания.
\s обозначает пробел, причем не только пробел как таковой,
но и другие пробельные символы, такие как тобуляция и перенос строки.
\S обозначает не пробел, а \b обозначает границу слова,
то есть границу между символом, между буквой и не буквой,
причем сама эта граница занимает ноль символов, то есть не является символом.
\B, это позиция внутри слова.
Крышка и доллар, мы упоминали о нем в предыдущем видео,
это начало и конец строки.
Причем если не указан ключ мултилайн,
то это начало и конец строки всего текста,
а если указан дополнительный флаг мультилайн,
то это начало и конец каждой строке, если текст многострочный.
Давайте попробуем немного практики.
У нас есть список никнеймов, которые мы хотим проверить корректные они или некорректные.
Мы считаем, что в никнейме у нас может быть только буквы,
цифры и знак подчеркивания. Давайте попробуем написать регулярное выражение.
Смотрите, в нашей программе мы используем метод re-compile,
который позволяет один раз компилировать регулярное выражение
и потом несколько раз его использовать.
Методы у скомпилированного регулярного выражения,
ровно такие же, как у модуля ре,
только не надо передавать первым параметром само регулярное выражение,
потому что оно задается именно при компиляции,
также вторым параметром [inaudible] у re-compile могут быть флаги,
это удобно использовать если регулярное выражение встречается
несколько раз в программе или используется внутри цикла,
чтобы каждый раз оно не компилировалось заново внутри больших вычислений,
внутри длительных вычислений не повторялся этот код.
Давайте переберем все ники, в нашем списке никнеймов и проверим,
является ли никнейм валидным или нет.
Для этого мы будем писать valid,
если регулярное выражение нашло полностью соответствие в нашем нике и in valid, если нет.
Давайте попробуем. Удивительно все ники у нас валидны. Почему так получилось?
Ведь на самом деле в Алёне есть буква ё,
которое не соответствуют латинскими буквам, а в Иван Ивановиче вообще есть пробел.
Дело в том, что мы написали match,
который хотя и ищет соответствия сначала строки,
в отличие от search, который ищет полностью,
но никто не говорит,
что это соответствие должно идти до конца строки, поэтому супер хаксер нашелся целиком,
в Алёне наш match нашел первые две буквы А Л,
которые попали под регулярный уровень,
и это было достаточно, он уже вернул истину.
Иван Иванович точно также. Что же нам делать?Конечно же
мы можем с легкостью изменить это регулярное выражение просто добавив крышку и доллар.
Теперь оно будет означать,
что начиная с начала строки до самого ее конца идут буквы, цифры и подчеркивания.
Попробуем, что у нас получилось.
Теперь Иван Иванович стал не валидным,
но Алёна по прежнему осталась валидной,
потому что под \w попадают и символ национального алфавита.
Если мы хотим сделать,
чтобы под \w попадали только английские буквы,
мы должны добавить флаг re.ASCII.
После этого валидным у нас остается ник только суперхаксер,
который полностью удовлетворяет нашим требованиям к никам.
Давайте попробуем еще немножко поиграть с регулярными выражениями,
давайте найдем в строке, имеющееся у нас, все женские имена,
но найти по настоящему все женские имена мы не сможем,
давайте будем искать строки,
которые начинаются с большой буквы, а заканчивается на -на.
Многие женские имена заканчиваются на -на. Давайте попробуем.
Сначала у нас идет большая буква А, это символьный класс от А до Я,
потом идет любые буквы, цифры, ну в женских именах не может быть цифр,
подчеркиваний, поэтому мы с некоторым допущением считаем,
что подойдет наш \w и заканчивается на две маленьких буквы н и а. Давайте посмотрим,
что у нас найдется в данном случае. Нашлась Анна, нашлась Лена,
нашлась Яна и нашелся -ильнар,
потому что мы же не говорим в нашем регулярном выражении,
что это должно быть последней буквы слова,
у нас просто после каких-то букв идет на,
и действительно, нашелся -ильнар,
который нам не нужен.
Что нужно сделать, чтобы этого не было?
Мы можем добавить границу слова в начало и в конец регулярного выражения,
тогда это будет означать,
что мы действительно ищем слово,
которое начинается с большой буквы и заканчивается на на.
Давайте попробуем. Ильнар у нас ушел,
какие еще есть минус у этого регулярного выражения.
Допустим к нам пришли не только ЯНА,
но и ПОЛИНА, которое написано большими буквами.
Полина, конечно же, у нас не нашлась,
потому что мы ищем слова оканчивающиеся на маленькие буквы. Давайте исправим это.
Попробуем написать группу, в которую входит как -на маленькое так и -на большое.
Что у нас вернулось? на, на на, НА, потому что файндолл,
если находит группу внутри строки, возвращает уже
не все соответствие регулярного выражения, а только то, что попало в группу.
Это тоже можно исправить,
используя специальный синтаксис знак вопроса и двоеточие.
Если внутри скобок поставить знак вопроса и двоеточие, то это будет означать, что то,
что в них находится, группируется, но не запоминается,
таким образом мы сможем вернуть все, что нам требуется.
Давайте перейдем к более сложным случаям.
Допустим у нас есть строка,
как защитить металл от процесса коррозии.
В этих словах встречаются двойные буквы,
то есть две буквы одинаковых идущих подряд.
Как же это найти? Для этого мы можем использовать обратные ссылки.
Напишем такое регулярное выражение. В скобках \w,
которое означает любую букву или цифру, а за ней \1,
то есть мы будем ссылаться на то, что попало внутри скобок.
Скобка образует группу с номером один, а /1 ссылается на первую группу.
Таким образом под это регулярное выражение попадет
любая двойная буква или цифра или знак подчернкивания. Давайте проверим.
Мы нашли буквы л, р,
с и и. Давайте попробуем теперь в этой строке заменить все буквы а на знаки вопроса.
Для этого мы используем новый метод re.sub, который принимает регулярные выражения,
текст для замены и текст,
в котором мы заменяем и возвращает уже замененный текст.
Давайте теперь совместим эти два варианта и попробуем не просто найти все двойные буквы,
а заменить их на заглавную версию самих себя.
Для этого мы можем передать в re.sub функцию,
внутри которой мы будем обращаться к
найденному тексту и переводить его в верхний регистр.
Делается это довольно просто. Смотрите, у нас
получилась строка как защитить металл от процесса коррозии,
мы нашли все двойные буквы и выделили их большим регистром, верхним регистром.
А что нам делать, если
мы хотим заменить найти все слова, в которых содержатся двойные буквы,
и выделить их уже целиком,
не просто двойные буквы, а все.
Для этого мы можем использовать замену на содержимое группы.
Давайте немножечко исправим наше регулярное выражение
предыдущее и добавим еще одну группу.
Смотрите, что такое слово с двойными буквами, это слово,
которое начинается с границы слова,
потом может идти сколько-то любое число букв, до тех пор пока не встретятся двойная,
потом идёт эта самая буква, потом она ещё раз повторяется и после
неё идёт ещё сколько-то букв и затем опять граница слово.
Вот так можно найти слова с двойными буквами в любом его месте.
Поскольку нам надо заменить не все,
не только двойные буквы но и всё слово целиком обозначить,
мы его тоже заключаем в группу.
Получается вот такое регулярное выражение - \b открывается группа для всего слова,
произвольное число букв, потом какая-то буква,
которую мы запоминаем, потом она же,
потом опять какое-то произвольное число букв и опять граница слово.
В метод sub мы можем в качестве строки для замены передать содержимое группы,
которую мы захватили ранее, в частности группа номер один,
это у нас все слово, ее мы окружаем в квадратные скобки,
в строке замена они не имеют никакого специального значения,
это просто квадратные скобки. Давайте посмотрим, что у нас получилось.
Смотрите, мы выделили все слова с двойными буквами в квадратные скобки.
На этом мы заканчиваем разбор регулярных выражений.
Хотелось бы подвести какие-то итоги.
Мы узнали базовые возможности регулярных выражений,
это далеко не все их возможности,
но их вполне достаточно для большинства применений.
Если вы хотите узнать о регулярных выражениях больше,
то вам следует изучить дополнительные материалы к этому уроку и документацию питона.
Также я хотел бы упомянуть цитату, которую озвучил Джеффри Фридол,
автор книги мастер [inaudible] ,
если у вас есть проблемы и вы решили использовать регулярные выражения,
у вас уже две проблемы.
Это конечно шутка, но в каждой шутке есть доля правды.
В следующем видео мы начнём пaрсить сайты с Beautiful Soup.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2019 Все права защищены.
