Как извлечь все email-адреса и ссылки из текста

Чтобы вытащить все email-адреса из неаккуратной страницы или выгрузки, используйте шаблон, который совпадает с форматом адреса, а затем уберите знаки препинания, которые стоят рядом с ним. Простой шаблон захватывает точку или запятую в конце предложения и пропускает адреса, записанные в обфусцированном виде. Список всё равно стоит проверить глазами перед использованием.

Извлечение email и ссылокВытащить почту из страницыСделать бесплатно

Почему простые шаблоны ошибаются

Распространённый шаблон — это последовательность символов без пробелов, знак @ и ещё одна такая последовательность. Его легко написать, но у него два недостатка.

Он захватывает лишнее. В предложении «Пишите [email protected], или [email protected].» шаблон «\S+@\S+» вернёт «[email protected],» с запятой и «[email protected].» с точкой. Это не корректные адреса, и рассылка или спам-фильтр их отклонят.

Он что-то пропускает. Адреса вида «ana [at] example [dot] com» или «ana at example dot com» не находятся вовсе. Так пишут, чтобы не попасть под автоматический сбор адресов, и некоторые страницы используют такой формат по той же причине. Сначала замените слова, а потом извлекайте.

Более точный шаблон допускает в левой части только символы, которые может содержать адрес, а в правой — доменное имя из букв. Шаблон «[\w.+-]+@[\w-]+\.[\w.-]+» — разумная отправная точка. Однако он может оставить точку после домена, если адрес стоит в конце предложения, потому что последняя часть домена допускает точки. Уберите одну завершающую точку из каждого совпадения. Инструмент извлечения email и ссылок уже отбрасывает завершающие знаки препинания, так что этот шаг важен в основном тогда, когда вы пишете шаблон сами.

Вот что этот шаблон вернёт для двух примеров выше:

• «Напишите [email protected].» даёт «[email protected].» с завершающей точкой, её нужно убрать.
• «Пишите [email protected], или [email protected].» даёт «[email protected]» и «[email protected].», поэтому нужна та же очистка.

Ссылки ведут себя так же

С URL та же проблема. Ссылка в конце предложения часто несёт точку, запятую или закрывающую скобку. Ссылка внутри скобок, например (см. https://example.com/page), может захватить закрывающую скобку, если шаблон «жадный». Уберите завершающие знаки препинания, а затем проверьте, что каждая ссылка открывается в браузере.

Ссылки могут быть и относительными, например /contact, — при извлечении email-адресов они будут пропущены. Решите, нужны ли вам только абсолютные адреса, и учтите это при запуске извлечения.

Шаги, которые работают на большинстве выгрузок

1. Сначала замените обфусцированные записи с помощью поиска и замены: «[at]» превращается в @, а «[dot]» — в точку, но только там, где видно, что это адрес.
2. Вставьте текст или HTML-код страницы в поле Текст или HTML инструмента извлечения. Адреса и ссылки будут найдены, а завершающие знаки препинания отброшены.
3. Оставьте включённой опцию Удалять дубликаты. Она не учитывает регистр в email-адресах, поэтому [email protected] и [email protected] считаются одним адресом. Для уже готового списка та же задача решается в инструменте удаления дубликатов строк.
4. Включите Сортировать А→Я, если хотите получить список по порядку.
5. Просмотрите итоговый список. Ищите значения, которые не являются адресами, например имена файлов изображений, в которых случайно есть знак @.

Пример: на странице есть строки «Отдел продаж: [email protected]», «[email protected].» и «Поддержка: [email protected]». Извлечение вернёт три совпадения. После удаления точки и удаления дубликатов без учёта регистра останутся два адреса: [email protected] и [email protected]. Если нужен список по порядку, включите Сортировать А→Я в инструменте извлечения или воспользуйтесь сортировкой строк.

Держите список аккуратным и законным

Во многих странах email-адреса относятся к персональным данным, и во многих действуют правила против спама. Получение адреса с открытой страницы само по себе не даёт права отправлять на него письма. Например, GDPR в ЕС и CAN-SPAM Act в США — два известных примера, и требования в них различаются. Это общая информация, а не юридическая консультация. Прежде чем что-либо отправлять, проверьте правила, которые действуют для вас и для людей из списка, и предусмотрите возможность отписки для массовых рассылок.

Особые случаи

• Текст, который не является адресом. Строки вроде [email protected] могут совпасть с шаблоном. Удалите всё, что заканчивается на расширение файла.
• Адреса на картинке. Сначала распознайте скриншот с помощью инструмента распознавания текста с изображения, а затем извлекайте адреса из результата. В руководстве по скриншотам и фото объясняется, как добиться чистого распознавания.
• Невидимые символы. Пробел нулевой ширины внутри адреса ломает совпадение, и адрес пропускается. Если известный адрес не нашёлся, перед извлечением удалите невидимые символы. В руководстве по невидимым символам объясняется, откуда они берутся.
• Закодированные адреса. Некоторые страницы прячут адреса в HTML-сущностях, например @ вместо @. Сначала декодируйте текст страницы, иначе шаблон не увидит знак @.
• Большие выгрузки. Для больших файлов извлекайте результат в файл и сверяйте количество найденных адресов с ожидаемым числом строк.

Быстрые ответы

Почему в конце моего email-адреса после извлечения стоит точка?

Точка допускается внутри домена, поэтому шаблон, который принимает точки, может захватить ту, что завершает предложение. Уберите одну завершающую точку из каждого совпадения.

Может ли инструмент найти адреса, записанные как «name at example dot com»?

Надёжно — нет, без шага замены. Сначала переведите слова в символы, но только там, где текст явно является адресом, чтобы обычные предложения не менялись.

Законно ли отправлять письма на все адреса, которые я извлёк с веб-страницы?

Это зависит от того, где находитесь вы и получатели и что за сообщение вы отправляете. Действуют правила против спама и о конфиденциальности, поэтому сначала проверьте их. Это общая информация, а не юридическая консультация.