Перейти к содержимому

Боты и чистая статистика Обновлено 7 мин чтения

Safe Links, Proofpoint, Mimecast: как почтовые сканеры безопасности кликают по вашим ссылкам

Коротко

  • Деловые почтовые ящики стоят за шлюзами безопасности. Шлюзы переписывают ссылки во входящих письмах и проверяют их — часто до доставки и ещё раз в момент клика.
  • Для вашего сервера каждая проверка выглядит как клик. Одно письмо с пятью ссылками может дать пять «кликов» за секунду, ещё до того, как его кто-то открыл.
  • Реальный клик через шлюз часто доходит до вас двумя запросами: сначала проверка шлюза, затем человек.
  • Сканеры могут запустить всё, что запускается GET-запросом: отписки, подтверждения double opt-in, одноразовые ссылки.
  • Решение — различать запросы на редиректе, а не блокировать вендоров целиком.

В нашем обзоре фальшивых кликов почтовые сканеры безопасности были подозреваемым номер один. Они заслуживают отдельной статьи: если ваша аудитория пользуется рабочей почтой, сканеры часто становятся крупнейшим единичным источником фальшивых кликов — и ведут себя иначе, чем все остальные боты.

Что делает шлюз защиты ссылок

Большинство компаний не пускает внешнюю почту к сотрудникам без проверки. Между интернетом и почтовым ящиком стоит защищённый почтовый шлюз (secure email gateway), и одна из его задач — защита ссылок. Обычно он делает три вещи.

  1. Переписывает ссылки. Каждый внешний URL в письме заменяется ссылкой на проверочный сервис самого вендора, а исходный адрес закодирован внутри. Поэтому ссылки в корпоративной почте внезапно выглядят как safelinks.protection.outlook.com/?url=… или urldefense.com/v3/__….
  2. Сканирует при доставке. Прежде чем письмо попадёт во входящие, шлюз может загрузить ссылки (часть или все), чтобы проверить репутацию и содержимое, иногда в песочнице.
  3. Проверяет ещё раз при клике. Когда человек наконец кликает, переписанная ссылка сначала ведёт его к вендору. Вендор проверяет целевую страницу в этот момент — на случай, если она стала вредоносной после доставки, — и затем перенаправляет человека или показывает предупреждение.

Именно моменты 2 и 3 всплывают в вашей статистике.

Схема: при доставке шлюз сканирует все пять ссылок — пять запросов за одну секунду; при клике шлюз сначала проверяет ссылку, затем перенаправляет человека — два запроса на один клик
Два момента — два вида фальшивых кликов: всплеск при доставке и двойной запрос при клике.

Четыре шлюза, которые встречаются чаще всего

Microsoft Defender for Office 365 — Safe Links

Самый распространённый, потому что входит во многие бизнес-тарифы Microsoft 365. Safe Links переписывает URL на *.safelinks.protection.outlook.com и проверяет целевую страницу, >когда пользователь кликает. Microsoft также указывает, что Safe Links >сканирует URL до доставки — независимо от того, переписывает он их или нет. Администраторы могут включить сканирование подозрительных ссылок в реальном времени и заставить доставку >ждать, пока это сканирование завершится.

Есть и режим, в котором ссылки вообще не переписываются, а проверяются через API, когда кликают в поддерживаемом клиенте Outlook. Так что отсутствие обёртки safelinks ещё не значит, что Microsoft не смотрит.

Proofpoint — URL Defense

URL Defense от Proofpoint, часть пакета Targeted Attack Protection, переписывает ссылки на urldefense.com/v3/__… (в старых письмах — urldefense.proofpoint.com/v2/). Он анализирует целевую страницу, >когда по ссылке кликают, а IT-отделы университетов, которые им пользуются, описывают, как целевая страница >открывается в удалённой песочнице, прежде чем пользователя перенаправят. Это касается писем от внешних отправителей — а значит, и ваших кампаний.

Клики Proofpoint пользуются дурной славой среди email-маркетологов: >практики отмечают всплески кликов через несколько секунд после отправки, часто по всем ссылкам в письме.

Mimecast — URL Protect

Mimecast переписывает ссылки на собственную инфраструктуру, и >домен переписанной ссылки зависит от региона, где размещён аккаунт клиента. Поэтому искать нужно не одно имя хоста, а целое семейство. При клике ссылка снова проходит через Mimecast, который сканирует целевую страницу, прежде чем пропустить пользователя.

Barracuda — Link Protection

Barracuda переписывает ссылки на linkprotect.cudasvc.com/url?a=… и заявляет, что переписанные URL >проверяются в реальном времени при клике. Вредоносные адреса ведут на страницу с отказом в доступе. Ссылки внутри зашифрованных писем и вложений не переписываются.

Шлюз Как выглядит переписанная ссылка Когда проверяет
Microsoft Safe Links …safelinks.protection.outlook.com/?url=… До доставки и при клике
Proofpoint URL Defense urldefense.com/v3/__… При клике, в песочнице; о всплесках при доставке сообщают повсеместно
Mimecast URL Protect региональный хост Mimecast При клике
Barracuda Link Protection linkprotect.cudasvc.com/url?a=… При клике, в реальном времени

Точное поведение зависит от политики конкретного клиента, поэтому один и тот же вендор может выглядеть по-разному от компании к компании.

Как это проявляется в ваших цифрах

Всплеск при доставке

Сканирование до доставки даёт классическую картину: все ссылки в письме «кликнуты» за секунду-другую, через несколько секунд после доставки письма. В том числе ссылки, по которым никто не стал бы кликать разом: логотип, футер, политика конфиденциальности, ссылка отписки. Запросы приходят из облачной сети вендора, а не с домашнего или мобильного подключения.

Двойной клик

Этот случай тоньше. Когда реальный человек кликает по защищённой ссылке, шлюз загружает ваш URL, чтобы его проверить, затем перенаправляет человека, и его браузер загружает ваш URL ещё раз. Два запроса примерно за секунду на одно действие человека. Наивный трекер покажет два клика, и ваша конверсия из клика упадёт вдвое.

Здесь человек настоящий. Задача не в том, чтобы выбросить клик, а в том, чтобы засчитать человека один раз и не засчитывать сканер.

Побочные эффекты помимо статистики

Всё, что происходит по обычному GET-запросу, может запустить сканер:

  • Ссылки отписки. Сканер, который «кликнул» по ссылке отписки, может отписать получателя, который и не думал уходить. Это одна из причин, почему стандарт отписки в один клик (>RFC 8058) требует POST-запроса, а сканеры их не отправляют.
  • Подтверждения double opt-in. Подписку «подтверждает» машина, и подтверждение больше не доказывает, что адрес принадлежит человеку.
  • Одноразовые и лимитированные ссылки. Сброс пароля, magic-ссылки для входа и персональные ссылки с ограниченным числом переходов могут быть израсходованы раньше, чем получатель их увидит.

Чего делать не стоит

Напрашивается решение заблокировать вендоров: отбрасывать все запросы из сетей Microsoft, Proofpoint или Mimecast. Это выходит боком.

  • При клике проверка шлюза происходит до того, как человека перенаправят. Практики предупреждают, что >блокировка или ограничение частоты запросов шлюза на редиректе может затруднить защищённым получателям открытие ваших ссылок.
  • Через крупные сети провайдеров ходят и реальные люди: корпоративные VPN, облачные рабочие столы, релеи приватности.
  • На всё, что шлюз не смог проверить, он может повесить баннер с предупреждением, — а это стоит вам тех самых кликов, которые вам действительно нужны.

Цель — ответить сканеру, не засчитывая его как человека и не позволяя ему запустить ничего, что должно принадлежать человеку.

Что делать вместо этого

  1. Классифицируйте на редиректе. Сеть (ASN дата-центра или вендора), тайминг и заголовки браузера вместе позволяют отличить сканер от человека. Шлюз получает быстрый безобидный ответ, человек — целевую страницу, а засчитывается только человек.
  2. Не вешайте побочные эффекты на GET. На своих страницах поставьте между ссылкой и действием дополнительный шаг, например кнопку подтверждения, и поддержите заголовок отписки в один клик через POST.
  3. Считайте людей, а не запросы. Объединяйте пару «сканер плюс человек» в один клик. Используйте уникальные ссылки для каждого получателя, чтобы повторный запрос от того же получателя не раздувал итог.
  4. Следите за первой минутой. Если значительная доля кликов по рассылке приходит в течение минуты после доставки, вы видите шлюзы, а не энтузиазм.

Именно так это решает createlink.link. Anti-Bot фильтр работает на вашем собственном сервере и принимает решение до редиректа — по заголовкам запроса, обратному DNS с прямым подтверждением и сети посетителя. Сканеры получают нейтральную страницу и засчитываются как боты, а не как клики. Кроме того, они не расходуют лимит персональной ссылки, так что каждый переход остаётся за получателем. Разделение видно в блоке «Люди против ботов» вашей статистики.

Чек-лист

  • Наведите курсор на ссылку в письме, отправленном на рабочий ящик: адрес safelinks, urldefense, Mimecast или cudasvc означает, что на пути стоит шлюз.
  • Ищите всплески, когда все ссылки кликнуты в первые секунды после доставки.
  • Ожидайте двух запросов на один реальный клик от защищённых получателей и считайте их за один.
  • Никогда не прячьте отписку, подтверждение или одноразовое действие за голой GET-ссылкой.
  • Не блокируйте вендоров оптом: отвечайте сканеру и засчитывайте человека.

Корпоративные ящики часто — самая ценная аудитория, которая у вас есть. Запретить их шлюзам смотреть на ваши ссылки вы не можете, но можете перестать считать шлюзы своими клиентами.