Современная жизнь немыслима без web-сервисов, ежедневно приносящих дивиденды в самых разных областях человеческой деятельности. А значит, профессия web-разработчика еще долго будет оставаться высокооплачиваемой и востребованной на рынке IT-специалистов. Существует множество решений и инструментов на разных языках программирования, упрощающих и ускоряющих web-разработку. В рамках данного курса освещается построение web-приложений на языке Python. Курс читают разработчики, применяющие Python в проектах, которыми ежедневно используют миллионы людей. В данном курсе вы сможете приобрести как базовые знания о функционировании современного интернета в целом, так и практические навыки создания интернет-приложений на языке Python.
Сложный поиск и замена
Loading...
Из курса от партнера Moscow Institute of Physics and Technology
Создание Web-сервисов на Python
28 оценки
Moscow Institute of Physics and Technology
28 оценки
Курс 3 из 4 — Specialization Программирование на Python
Из урока
Сбор данных со сторонних сайтов
В этом модуле мы узнаем, зачем нам собирать данные со сторонних сайтов и познакомимся с таким распространённым инструментом, как регулярные выражения.
Познакомьтесь с преподавателями
Абрамов Тимур
Пестров Никита
Опрышко Александр
Партилов Алексей
Добрый день, в этом видео мы закончим изучать синтаксис регулярных выражений,
разберем замену с помощью регулярных выражений и их компиляцию,
узнаем что делать с помощью регулярных выражений,
а что лучше не делать и подведем итоги.
Давайте рассмотрим специальные символьные классы.
В прошлом видео мы рассматривали обычные символьные классы,
а специальные символьные классы,
это всего лишь сокращение для наиболее часто используемых символьных классов,
например, \w обозначает букву, цифру и знак подчеркивания.
В питоне 3 под буквами
и цифрами подразумевается также символ национального алфавита, не только ASCII.
Если мы хотим, чтобы буквы были только буквой латинского алфавита, то есть ASCII,
мы должны указать специальный флаг re.ASCII и тогда под
\w будут попадать только латинские буквы и цифры.
/W, это обратный символьный класс,
который означает, что в этом месте может
стоять все что угодно, кроме букв, цифр и знака подчеркивания.
\s обозначает пробел, причем не только пробел как таковой,
но и другие пробельные символы, такие как тобуляция и перенос строки.
\S обозначает не пробел, а \b обозначает границу слова,
то есть границу между символом, между буквой и не буквой,
причем сама эта граница занимает ноль символов, то есть не является символом.
\B, это позиция внутри слова.
Крышка и доллар, мы упоминали о нем в предыдущем видео,
это начало и конец строки.
Причем если не указан ключ мултилайн,
то это начало и конец строки всего текста,
а если указан дополнительный флаг мультилайн,
то это начало и конец каждой строке, если текст многострочный.
Давайте попробуем немного практики.
У нас есть список никнеймов, которые мы хотим проверить корректные они или некорректные.
Мы считаем, что в никнейме у нас может быть только буквы,
цифры и знак подчеркивания. Давайте попробуем написать регулярное выражение.
Смотрите, в нашей программе мы используем метод re-compile,
который позволяет один раз компилировать регулярное выражение
и потом несколько раз его использовать.
Методы у скомпилированного регулярного выражения,
ровно такие же, как у модуля ре,
только не надо передавать первым параметром само регулярное выражение,
потому что оно задается именно при компиляции,
также вторым параметром [inaudible] у re-compile могут быть флаги,
это удобно использовать если регулярное выражение встречается
несколько раз в программе или используется внутри цикла,
чтобы каждый раз оно не компилировалось заново внутри больших вычислений,
внутри длительных вычислений не повторялся этот код.
Давайте переберем все ники, в нашем списке никнеймов и проверим,
является ли никнейм валидным или нет.
Для этого мы будем писать valid,
если регулярное выражение нашло полностью соответствие в нашем нике и in valid, если нет.
Давайте попробуем. Удивительно все ники у нас валидны. Почему так получилось?
Ведь на самом деле в Алёне есть буква ё,
которое не соответствуют латинскими буквам, а в Иван Ивановиче вообще есть пробел.
Дело в том, что мы написали match,
который хотя и ищет соответствия сначала строки,
в отличие от search, который ищет полностью,
но никто не говорит,
что это соответствие должно идти до конца строки, поэтому супер хаксер нашелся целиком,
в Алёне наш match нашел первые две буквы А Л,
которые попали под регулярный уровень,
и это было достаточно, он уже вернул истину.
Иван Иванович точно также. Что же нам делать?Конечно же
мы можем с легкостью изменить это регулярное выражение просто добавив крышку и доллар.
Теперь оно будет означать,
что начиная с начала строки до самого ее конца идут буквы, цифры и подчеркивания.
Попробуем, что у нас получилось.
Теперь Иван Иванович стал не валидным,
но Алёна по прежнему осталась валидной,
потому что под \w попадают и символ национального алфавита.
Если мы хотим сделать,
чтобы под \w попадали только английские буквы,
мы должны добавить флаг re.ASCII.
После этого валидным у нас остается ник только суперхаксер,
который полностью удовлетворяет нашим требованиям к никам.
Давайте попробуем еще немножко поиграть с регулярными выражениями,
давайте найдем в строке, имеющееся у нас, все женские имена,
но найти по настоящему все женские имена мы не сможем,
давайте будем искать строки,
которые начинаются с большой буквы, а заканчивается на -на.
Многие женские имена заканчиваются на -на. Давайте попробуем.
Сначала у нас идет большая буква А, это символьный класс от А до Я,
потом идет любые буквы, цифры, ну в женских именах не может быть цифр,
подчеркиваний, поэтому мы с некоторым допущением считаем,
что подойдет наш \w и заканчивается на две маленьких буквы н и а. Давайте посмотрим,
что у нас найдется в данном случае. Нашлась Анна, нашлась Лена,
нашлась Яна и нашелся -ильнар,
потому что мы же не говорим в нашем регулярном выражении,
что это должно быть последней буквы слова,
у нас просто после каких-то букв идет на,
и действительно, нашелся -ильнар,
который нам не нужен.
Что нужно сделать, чтобы этого не было?
Мы можем добавить границу слова в начало и в конец регулярного выражения,
тогда это будет означать,
что мы действительно ищем слово,
которое начинается с большой буквы и заканчивается на на.
Давайте попробуем. Ильнар у нас ушел,
какие еще есть минус у этого регулярного выражения.
Допустим к нам пришли не только ЯНА,
но и ПОЛИНА, которое написано большими буквами.
Полина, конечно же, у нас не нашлась,
потому что мы ищем слова оканчивающиеся на маленькие буквы. Давайте исправим это.
Попробуем написать группу, в которую входит как -на маленькое так и -на большое.
Что у нас вернулось? на, на на, НА, потому что файндолл,
если находит группу внутри строки, возвращает уже
не все соответствие регулярного выражения, а только то, что попало в группу.
Это тоже можно исправить,
используя специальный синтаксис знак вопроса и двоеточие.
Если внутри скобок поставить знак вопроса и двоеточие, то это будет означать, что то,
что в них находится, группируется, но не запоминается,
таким образом мы сможем вернуть все, что нам требуется.
Давайте перейдем к более сложным случаям.
Допустим у нас есть строка,
как защитить металл от процесса коррозии.
В этих словах встречаются двойные буквы,
то есть две буквы одинаковых идущих подряд.
Как же это найти? Для этого мы можем использовать обратные ссылки.
Напишем такое регулярное выражение. В скобках \w,
которое означает любую букву или цифру, а за ней \1,
то есть мы будем ссылаться на то, что попало внутри скобок.
Скобка образует группу с номером один, а /1 ссылается на первую группу.
Таким образом под это регулярное выражение попадет
любая двойная буква или цифра или знак подчернкивания. Давайте проверим.
Мы нашли буквы л, р,
с и и. Давайте попробуем теперь в этой строке заменить все буквы а на знаки вопроса.
Для этого мы используем новый метод re.sub, который принимает регулярные выражения,
текст для замены и текст,
в котором мы заменяем и возвращает уже замененный текст.
Давайте теперь совместим эти два варианта и попробуем не просто найти все двойные буквы,
а заменить их на заглавную версию самих себя.
Для этого мы можем передать в re.sub функцию,
внутри которой мы будем обращаться к
найденному тексту и переводить его в верхний регистр.
Делается это довольно просто. Смотрите, у нас
получилась строка как защитить металл от процесса коррозии,
мы нашли все двойные буквы и выделили их большим регистром, верхним регистром.
А что нам делать, если
мы хотим заменить найти все слова, в которых содержатся двойные буквы,
и выделить их уже целиком,
не просто двойные буквы, а все.
Для этого мы можем использовать замену на содержимое группы.
Давайте немножечко исправим наше регулярное выражение
предыдущее и добавим еще одну группу.
Смотрите, что такое слово с двойными буквами, это слово,
которое начинается с границы слова,
потом может идти сколько-то любое число букв, до тех пор пока не встретятся двойная,
потом идёт эта самая буква, потом она ещё раз повторяется и после
неё идёт ещё сколько-то букв и затем опять граница слово.
Вот так можно найти слова с двойными буквами в любом его месте.
Поскольку нам надо заменить не все,
не только двойные буквы но и всё слово целиком обозначить,
мы его тоже заключаем в группу.
Получается вот такое регулярное выражение - \b открывается группа для всего слова,
произвольное число букв, потом какая-то буква,
которую мы запоминаем, потом она же,
потом опять какое-то произвольное число букв и опять граница слово.
В метод sub мы можем в качестве строки для замены передать содержимое группы,
которую мы захватили ранее, в частности группа номер один,
это у нас все слово, ее мы окружаем в квадратные скобки,
в строке замена они не имеют никакого специального значения,
это просто квадратные скобки. Давайте посмотрим, что у нас получилось.
Смотрите, мы выделили все слова с двойными буквами в квадратные скобки.
На этом мы заканчиваем разбор регулярных выражений.
Хотелось бы подвести какие-то итоги.
Мы узнали базовые возможности регулярных выражений,
это далеко не все их возможности,
но их вполне достаточно для большинства применений.
Если вы хотите узнать о регулярных выражениях больше,
то вам следует изучить дополнительные материалы к этому уроку и документацию питона.
Также я хотел бы упомянуть цитату, которую озвучил Джеффри Фридол,
автор книги мастер [inaudible] ,
если у вас есть проблемы и вы решили использовать регулярные выражения,
у вас уже две проблемы.
Это конечно шутка, но в каждой шутке есть доля правды.
В следующем видео мы начнём пaрсить сайты с Beautiful Soup.
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2018 Все права защищены.
