Res в питоне что это
Регулярные выражения в Python
Регулярные выражения – это небольшой язык, который вы можете использовать внутри Python и многих других языках программирования. Зачастую регулярные выражения упоминаются как “regex”, “regexp” или просто “RE”, от reuglar expressions. Такие языки как Perl и Ruby фактически поддерживают синтаксис регулярных выражений прямо в собственном языке. Python же поддерживает благодаря библиотеки, которую вам нужно импортировать. Основное использование регулярных выражений – это сопоставление строк. Вы создаете правила сопоставления строк, используя регулярные выражения, после чего вы применяете их в строке, чтобы увидеть, присутствуют ли какие-либо сопоставления. «Язык» регулярных выражений на самом деле весьма короткий, так что вы вряд ли сможете использовать для всех своих нужд при сопоставлении строк. Кроме того, работая с задачами, в которых вы используете регулярные выражения, вы можете заметно усложнить процесс, а лечение багов в таком случае очень трудоемкое. В таких случаях вам нужно просто использовать Python.
Обратите внимание на то, что Python – идеальный язык для парсинга текстов согласно его правам, и его можно использовать во всем, что вы делаете с регулярными выражениями. Однако, на это может потребоваться много кода, который будет работать медленнее, чем это делают регулярные выражения, так как они скомпилированы и выполнены в С.
Согласуемые символы
Когда вам нужно найти символ в строке, в большей части случаев вы можете просто использовать этот символ или строку. Так что, когда нам нужно проверить наличие слова «dog», то мы будем использовать буквы в dog. Конечно, существуют определенные символы, которые заняты регулярными выражениями. Они так же известны как метасимволы. Внизу изложен полный список метасимволов, которые поддерживают регулярные выражения Python:
Давайте взглянем как они работают. Основная связка метасимволов, с которой вы будете сталкиваться, это квадратные скобки: [ и ]. Они используются для создания «класса символов», который является набором символов, которые вы можете сопоставить. Вы можете отсортировать символы индивидуально, например, так: [xyz]. Это сопоставит любой внесенный в скобки символ. Вы также можете использовать тире для выражения ряда символов, соответственно: [a-g]. В этом примере мы сопоставим одну из букв в ряде между a и g. Фактически для выполнения поиска нам нужно добавить начальный искомый символ и конечный. Чтобы упростить это, мы можем использовать звездочку. Вместо сопоставления *, данный символ указывает регулярному выражению, что предыдущий символ может быть сопоставлен 0 или более раз. Давайте посмотрим на пример, чтобы лучше понять о чем речь:
Этот шаблон регулярного выражения показывает, что мы ищем букву а, ноль или несколько букв из нашего класса, [b-f] и поиск должен закончиться на f. Давайте используем это выражение в Python:
В общем, это выражение просмотрит всю переданную ей строку, в данном случае это abcdfghijk.
Выражение найдет нашу букву «а» в начале поиска. Затем, в связи с тем, что она имеет класс символа со звездочкой в конце, выражение прочитает остальную часть строки, что бы посмотреть, сопоставима ли она. Если нет, то выражение будет пропускать по одному символу, пытаясь найти совпадения. Вся магия начинается, когда мы вызываем поисковую функцию модуля re. Если мы не найдем совпадение, тогда мы получим None. В противном случае, мы получим объект Match. Чтобы увидеть, как выглядит совпадение, вам нужно вызывать метод group. Существует еще один повторяемый метасимвол, аналогичный *. Этот символ +, который будет сопоставлять один или более раз. Разница с *, который сопоставляет от нуля до более раз незначительна, на первый взгляд.
Символу + необходимо как минимум одно вхождение искомого символа. Последние два повторяемых метасимвола работают несколько иначе. Рассмотрим знак вопроса «?», применение которого выгладит так: “co-?op”. Он будет сопоставлять и “coop” и “co-op”. Последний повторяемый метасимвол это
Это очень примитивный пример, но в нем говорится, что мы сопоставим следующие комбинации: xbz, xbbz, xbbbz и xbbbbz, но не xz, так как он не содержит «b».
Следующий метасимвол это ^. Этот символ позволяет нам сопоставить символы которые не находятся в списке нашего класса. Другими словами, он будет дополнять наш класс. Это сработает только в том случае, если мы разместим ^ внутри нашего класса. Если этот символ находится вне класса, тогда мы попытаемся найти совпадения с данным символом. Наглядным примером будет следующий: [ˆa]. Так, выражения будет искать совпадения с любой буквой, кроме «а». Символ ^ также используется как анкор, который обычно используется для совпадений в начале строки.
Существует соответствующий якорь для конце строки – «$». Мы потратим много времени на введение в различные концепты применения регулярных выражений. В следующих параграфах мы углубимся в более подробные примеры кодов.
Поиск сопоставлений шаблонов
Давайте уделим немного времени тому, чтобы научиться основам сопоставлений шаблонов. Используя Python для поиска шаблона в строке, вы можете использовать функцию поиска также, как мы делали это в предыдущем разделе этой статьи. Вот пример:
В этом примере мы импортируем модуль re и создаем простую строку. Когда мы создаем список из двух строк, которые мы будем искать в главной строке. Далее мы делаем цикл над строками, которые хотим найти и запускаем для них поиск. Если есть совпадения, мы выводим их. В противном случае, мы говорим пользователю, что искомая строка не была найдена.
Есть вопросы по Python?
На нашем форуме вы можете задать любой вопрос и получить ответ от всего нашего сообщества!
Telegram Чат & Канал
Вступите в наш дружный чат по Python и начните общение с единомышленниками! Станьте частью большого сообщества!
Паблик VK
Одно из самых больших сообществ по Python в социальной сети ВК. Видео уроки и книги для вас!
Существует несколько других функций, которые нужно прояснить в данном примере. Обратите внимание на то, что мы вызываем span. Это дает нам начальную и конечную позицию совпавшей строки. Если вы выведите text_pos, которому мы назначили span, вы получите кортеж на подобие следующего: (21, 24). В качестве альтернативы вы можете просто вызвать методы сопоставления, что мы и сделаем далее. Мы используем начало и конец для того, чтобы взять начальную и конечную позицию сопоставления, это должны быть два числа, которые мы получаем из span.
Коды поиска
Существует несколько специальных выражений, которые вы можете искать, используя Python. Вот короткий список с кратким пояснением каждого кода:
Вы можете использовать эти коды внутри класса символа вот так: [\d]. Таким образом, это позволит нам найти любую цифру, находящейся в пределе от 0 до 9. Я настаиваю на том, чтобы вы попробовали остальные коды выхода лично.
Компилирование
Модуль re позволяет вам «компилировать» выражение, которое вы ищите чаще всего. Это также позволит вам превратить выражение в объект SRE_Pattern. Вы можете использовать этот объект в вашей функции поиска в будущем. Давайте используем код из предыдущего примера и изменим его, чтобы использовать компилирование:
Обратите внимание на то, что здесь мы создаем объект паттерна, вызывая compile в каждой строке нашего списка, и назначаем результат переменной – регулярному выражению. Далее мы передаем это выражение нашей поисковой функции. Остальная часть кода остается неизменной. Основная причина, по которой используют компилирование это сохранить выражение для повторного использования в вашем коде в будущем. В любом случае, компилирование также принимает флаги, которые могут быть использованы для активации различных специальных функций. Мы рассмотрим это далее.
Обратите внимание: когда вы компилируете паттерны, они автоматически кэшируются, так что если вы не особо используете регулярные выражения в своем коде, тогда вам не обязательно сохранять компилированный объект как переменную.
Флаги компиляции
Существует 7 флагов компиляции, которые содержатся в Python 3. Эти флаги могут изменить поведение вашего паттерна. Давайте пройдемся по каждому из них, затем рассмотрим, как их использовать.
re.A / re.ASCII
Флаг ASCII указывает Python сопоставлять против ASCII, вместо использования полного Юникода для сопоставления, в сочетании со следующими кодами: w, W, b, B, d, D, s и S. Также существует флаг re.U / re.UNICODE, который используется в целях обратной совместимости. В любом случае, эти флаги являются излишеством, так как Python выполняет сопоставления в Юникоде в автоматическом режиме.
re.DEBUG
Данный флаг показывает информацию о дебаге вашего скомпилированного выражения.
re.I / re.IGNORECASE
Если вам нужно выполнить сравнение без учета регистра, тогда этот флаг – то, что вам нужно. Если ваше выражение было [a-z] и вы скомпилировали его при помощи этого флага, то ваш паттерн сопоставит заглавные буквы в том числе. Это также работает для Юникода и не влияет на текущую локаль.
re.L / re.LOCALE
Данный флаг делает коды: w, W, b, B, d, D, s и S зависимыми от нынешней локали. Однако, в документации говорится, что вы не должны зависеть от данного флага, так как механизм локали сам по себе очень ненадежный. Вместо этого, лучше используйте сопоставление Юникода. Далее в документации говорится, что данный флаг имеет смысл использовать только в битовых паттернах.
re.M / re.MULTILINE
re.S / re.DOTALL
Этот забавный флаг указывает метасимволу «.» (период) сопоставить любой символ. Без этого флага, данный метасимвол будет сопоставлять все, что угодно, но не новую строку.
re.X / re.VERBOSE
Если вы считаете, что ваши регулярные выражения не слишком читабельные, тогда данный флаг – это то, что вам нужно. Он позволяет визуально разделять логические секции ваших регулярных выражений, и даже добавлять комментарии! Пустое пространство внутри паттерна будет игнорироваться, кроме того случая, если классу символа или пробелу предшествует обратная косая черта.
Использование флага компиляции
Давайте уделим немного времени, и посмотрим на простой пример, в котором используется флаг компиляции VERBOSE. Неплохой пример – взять обычную электронную почту и использовать поиск регулярных выражений, таких как r’[w.-]+@[w.-]+’ и добавить комментарии, используя флаг VERBOSE. Давайте посмотрим:
Давайте пройдем дальше и научимся находить множественные совпадения.
Находим множественные совпадения
До этого момента мы научились только находить первое совпадение в строке. Но что если у вас строка, в которой содержится множество совпадений? Давайте посмотрим, как найти одно:
Теперь, как вы видите, у нас есть два экземпляра слова the, но нашли мы только одно. Существует два метода, чтобы найти все совпадения. Первый, который мы рассмотрим, это использование функции findall:
Функция findall будет искать по всей переданной ей строке, и впишет каждое совпадение в список. По окончанию поиска вышей строки, она выдаст список совпадений. Второй способ найти несколько совпадений, это использовать функцию finditer:
Как вы могли догадаться, метод finditer возвращает итератор экземпляров Match, вместо строк, которые мы получаем от findall. Так что нам нужно немного подформатировать результаты перед их выводом. Попробуйте запустить данный код и посмотрите, как он работает.
Сложности с обратными косыми
Обратные косые немного усложняют жизнь в мире регулярных выражений Python. Это связанно с тем, что регулярные выражения используют обратные косые для определения специальных форм, или для того, чтобы искать определенный символ, вместо того, чтобы вызывать его. Как если бы мы искали символ доллара $. Если мы не используем обратную косую для этого, нам нужно просто создать анкор. Проблема возникает по той причине, что Python использует символ обратной косой по той же причине в литеральных строках.
Давайте представим, что вам нужно найти строку на подобии этой: «python». Для её поиска в регулярном выражении, вам нужно будет использовать обратную косую, но, так как Python также использует обратную косую, так что на выходе вы получите следующий поисковый паттерн: «\\python» (без скобок). К счастью, Python поддерживает сырые строки, путем подстановки буквы r перед строкой. Так что мы можем сделать выдачу более читабельной, введя следующее: r”\python”. Так что если вам нужно найти что-то с обратной косой в названии, убедитесь, что используете сырые строки для этой цели, иначе можете получить совсем не то, что ищете.
Подведем итоги
В данной статье мы коснулись только вершины айсберга, под названием регулярные выражения. Существуют целые книги, посвященные регулярным выражениям, однако эта статья, по крайней мере, дает вам базовое представление для начала. Теперь вы можете искать углубленные примеры и обратиться к документации, скорее всего не один и не два раза, пока вы учитесь. Но помните о том, что регулярные выражения – очень удобный и полезный инструмент.
Являюсь администратором нескольких порталов по обучению языков программирования Python, Golang и Kotlin. В составе небольшой команды единомышленников, мы занимаемся популяризацией языков программирования на русскоязычную аудиторию. Большая часть статей была адаптирована нами на русский язык и распространяется бесплатно.
E-mail: vasile.buldumac@ati.utm.md
Образование
Universitatea Tehnică a Moldovei (utm.md)
Что такое Python RegEx: регулярные выражения в языке Python
Регулярные выражения ( Regular expressions ) или RegEx – это последовательности символов, задающие шаблоны для поиска или замены нужного фрагмента текста в строке или файле. Попросту говоря, это своего рода крошечный язык программирования, предоставляющий множество инструментов для поиска, замены и извлечения определенных фрагментов текста. К примеру, с его помощью можно быстро найти в тексте адреса электронной почты или телефонные номера. Регулярные выражения поддерживаются большинством современных языков программирования, в которых представлены различные по удобству и функционалу средства. В этой статье мы расскажем о самых основных особенностях применения RegEx в языке Python. А так же про то, как заменить часть текста в строке (спойлер: это не replace, для этого нужен re.sub() )
Язык регулярных выражений предусматривает спецсимволы, с помощью которых задается шаблон.
Символ
Описание
Пример
любой одиночный символ в заданном диапазоне
указывает на специальную последовательность (может также использоваться для экранирования спецсимволов)
любой символ, кроме символа новой строки
сравнение начинается с начала строки
“^hello”
сравнение начинается с конца строки
“world$”
ноль или больше символов
один или больше символов
точно указанное количество вхождений
либо одно, либо другое
“falls|stays”
охват и группировка
Взглянем на основные флаги и шаблоны регулярных выражений:
любой буквенный и цифровой символ, а также нижнее подчеркивание
любой небуквенный и нецифровой символ и не нижнее подчеркивание
любая цифра
любой символ, кроме цифры
любой пробельный символ (пробел, табуляция, конец строки и т. п.)
любой непробельный символ
Начало или конец слова (слева пусто или не-буква, справа буква и наоборот). Соответствует позиции, а не символу.
Не граница слова: либо и слева, и справа буквы, либо и слева, и справа НЕ буквы.
любой символ из приведенного подмножества
любой символ, кроме перечисленных
любой символ в диапазоне от a до z
любой символ в диапазоне от 0 до 9
Модуль re
Python выполняет предварительную компиляцию регулярного выражения, то есть переводит заданное выражение во внутренний формат. Это может быть осуществлено двумя способами:
Функции RegEx
В модуле re определены несколько функций и констант для работы с RegEx. Вот наиболее распространенные функции:
С помощью примеров разберем, как работают эти функции и в чем их особенности.
re.search(pattern, string)
Функция re.search() используется для поиска в строке первого вхождения заданного шаблона. Ниже приведен шаблон для поиска в тексте e-mail адреса:
re.findall(pattern, string)
Результатом работы этого кода будет список из четырех наборов цифр, содержащихся в исходной строке.
re.match(pattern, string)
Функция re.match() осуществляет поиск по заданному шаблону с начала строки. Результат
ее работы со строкой “First Second Third” и шаблоном “First” окажется положительным. Однако, если мы попытаемся найти фрагмент “Second”, соответствий не обнаружится.
re.split(pattern, string, [maxsplit=0])
Функция re.split() разделяет строку по заданному шаблону. Например, разобьем строку на отдельные слова, разделенные пробелом:
Кроме того, эта функция принимает аргумент maxsplit со значением, по умолчанию равным 0. В вышеприведенном примере она разделит строку на максимальное количество частей. Если же специально задать этот аргумент, то разделение будет осуществлено не более заданного количества раз.
В этом случае строка будет разделена всего на две части.
re.sub(pattern, repl, string, count=0)
В качестве четвертого параметра функции можно задать количество совпадений, подлежащих изменению. По умолчанию этот параметр равен 0, то есть заменяются все найденные совпадения с шаблоном. Ниже приведен пример, где во фрагменте из нескольких строк ищется и заменяется только 1 пробельный символ:
re.compile(pattern, repl, string)
С помощью функции re.compile() можно собрать регулярное выражение в отдельный объект, который в дальнейшем будет использоваться как шаблон для поиска, а также избавит от неоднократного переписывания одного и того же выражения.
Кратко коснемся понятия флагов в регулярных выражениях. Многие функции в RegЕx принимают необязательный аргумент, известный как flag. Флаги влияют на некоторые особенности работы регулярных выражений. Они доступны в модуле re под двумя именами: длинным, например, IGNORECASE, и его коротким, однобуквенным сокращением, таким как I.
Краткий формат статьи позволил лишь поверхностно коснуться огромной темы под названием регулярные выражения. Существует масса книг, публикаций и ресурсов, посвященных работе с ними. Постепенно вы сможете лично убедиться в том, что регулярные выражения – это очень полезный и мощный инструмент.
Регулярные выражения Python для новичков: что это, зачем и для чего
За последние несколько лет машинное обучение, data science и связанные с этими направлениями отрасли очень сильно шагнули вперед. Все больше компаний и просто разработчиков используют Python и JavaScript для работы с данными.
И вот здесь-то нам как раз и нужны регулярные выражения. Парсинг всего текста или его фрагментов с веб-страниц, анализ данных Twitter или подготовка данных для анализа текста — регулярные выражения приходят на помощь.
Кстати, свои советы по некоторым функциям добавил Алексей Некрасов — лидер направления Python в МТС, программный директор направления Python в Skillbox. Чтобы было понятно, где перевод, а где — комментарии, последние мы выделим цитатой.
Зачем нужны регулярные выражения?
Когда регулярные выражения не нужны? Когда есть аналогичная встроенная в Python функция, а таких немало.
А что там с регулярными выражениями в Python?
Здесь есть специальный модуль re, который предназначен исключительно для работы с регулярными выражениями. Этот модуль нужно импортировать, после чего можно начинать использовать регулярки.
Что касается самых востребованных методов, предоставляемых модулем, то вот они:
Метод предназначен для поиска по заданному шаблону в начале строки. Так, если вызвать метод match() на строке «AV Analytics AV» с шаблоном «AV», то его получится успешно завершить.
Здесь мы нашли искомую подстроку. Для вывода ее содержимого используется метод group(). При этом используется «r» перед строкой шаблона, чтобы показать, что это raw-строка в Python.
Окей, теперь давайте попробуем найти «Analythics» в этой же строке. У нас ничего не получится, поскольку строка начинается на «AV», метод возвращает none:
Методы start() и end() используются для того, чтобы узнать начальную и конечную позицию найденной строки.
Все эти методы крайне полезны в ходе работы со строками.
Этот метод похож на match(), но его отличие в том, что ищет он не только в начале строки. Так, search() возвращает объект, если мы пробуем найти «Analythics».
Что касается метода search (), то он ищет по всей строке, возвращая, впрочем, лишь первое найденное совпадение.
Здесь у нас возврат всех найденных совпадений. Так, у метода findall() нет никаких ограничений на поиск в начале или конце строки. Например, если искать «AV» в строке, то мы получим возврат всех вхождений «AV». Для поиска рекомендуется использовать как раз этот метод, поскольку он умеет работать как re.search(), так и как re.match().
Этот метод разделяет строку по заданному шаблону.
В указанном примере слово «Analythics» разделено по букве «y». Метод split() здесь принимает и аргумент maxsplit со значением по умолчанию, равным 0. Таким образом он разделяет строку столько раз, сколько это возможно. Правда, если указать этот аргумент, то разделение не может быть выполнено более указанного количества раз. Вот несколько примеров:
Здесь параметр maxsplit установлен равным 1, в результате чего строка разделена на две части вместо трех.
re.sub(pattern, repl, string)
Помогает найти шаблон в строке, заменяя на указанную подстроку. Если же искомое не найдено, то строка остается неизменной.
Здесь мы можем собрать регулярное выражение в объект, который в свою очередь можно использовать для поиска. Такой вариант позволяет избежать переписывания одного и того же выражения.
До этого момента мы рассматривали вариант с поиском определенной последовательности символов? В этом случае никакого шаблона нет, набор символов требуется вернуть в порядке, соответствующему определенным правилам. Такая задача встречается часто при работе с извлечением информации из строк. И сделать это несложно, нужно лишь написать выражение с использованием спец. символов. Вот те, что встречаются чаще всего:
Несколько примеров использования регулярных выражений
Пример 1. Возвращение первого слова из строки
Давайте сначала попробуем получить каждый символ с использованием (.)
Теперь сделаем то же самое, но чтобы в конечный результат не попал пробел, используем \w вместо (.)
Ну а теперь проделаем аналогичную операцию с каждым словом. Используем при этом * или +.
Но и здесь в результате оказались пробелы. Причина — * означает «ноль или более символов». «+» поможет нам их убрать.
Теперь давайте извлечем первое слово с использованием
^:
Пример 2. Возвращаем два символа каждого слова
Здесь, как и выше, есть несколько вариантов. В первом случае, используя \w, извлекаем два последовательных символа, кроме тех, что с пробелами, из каждого слова:
Теперь пробуем извлечь два последовательных символа с использованием символа границы слова (\b):
Пример 3. Возвращение доменов из списка адресов электронной почты.
На первом этапе возвращаем все символы после @:
В итоге части «.com», «.in» и т. д. не попадают в результат. Чтобы исправить это, нужно поменять код:
Второй вариант решения той же проблемы — извлечение лишь домена верхнего уровня с использованием «()»:
Пример 4. Получение даты из строки
Для этого необходимо использовать \d
Для того, чтобы извлечь только год, помогают скобки:
Пример 5. Извлечение слов, начинающихся на гласную
На первом этапе нужно вернуть все слова:
После этого лишь те, что начинаются на определенные буквы, с использованием «[]»:
В полученном примере есть два укороченные слова, это «argest» и «ommunity». Для того, чтобы убрать их, нужно воспользоваться \b, что необходимо для обозначения границы слова:
Кроме того, можно использовать и ^ внутри квадратных скобок, что помогает инвертировать группы:
Теперь нужно убрать слова с пробелом, для чего пробел включаем в диапазон в квадратных скобках:
Пример 6. Проверка формата телефонного номера
В нашем примере длина номера — 10 знаков, начинается он с 8 или 9. Для проверки списка телефонных номеров используем:
Пример 7. Разбиваем строку по нескольким разделителям
Здесь у нас несколько вариантов решения. Вот первое:
Кроме того, можно использовать метод re.sub() для замены всех разделителей пробелами:
Пример 8. Извлекаем данные из html-файла
Для того, чтобы решить эту задачу, выполняем следующую операцию:
При написании любых regex в коде придерживаться следующих правил:
Используйте named capture group для всех capture group, если их больше чем одна (?P. ). (даже если одна capture, тоже лучше использовать).
regex101.com отличный сайт для дебага и проверки regex
При разработке регулярного выражения, нужно не забывать и про его сложность выполнения иначе можно наступить на те же грабли, что и относительно недавно наступила Cloudflare.