Перейти к содержимому

Боты и чистая статистика Обновлено 5 мин чтения

iCloud Private Relay, WARP и VPN: пользователи сетей приватности — люди, а не боты

Коротко

  • Некоторые люди намеренно скрывают свой адрес: iCloud Private Relay на iPhone и Mac, Cloudflare WARP, VPN, встроенный в браузер Microsoft Edge.
  • Тогда их клики приходят из сетей крупных компаний — Cloudflare, Akamai, Fastly. Невнимательный фильтр думает: «сеть крупной компании — значит сервер, значит бот» — и не пускает живого человека.
  • Хороший фильтр сначала распознаёт такие сети приватности и пропускает этих людей, а всё остальное всё равно проверяет.
  • Не путайте это с Apple Mail Privacy Protection: вот там действительно робот, который заранее загружает картинки из писем. Та же компания — противоположный ответ.

Представьте: вы отправили человеку персональную ссылку. Он открывает её на iPhone. Фильтр видит, что клик пришёл из сети Cloudflare, решает «это сервер, а не человек» и показывает нейтральную страницу вместо вашего оффера.

Человек не жалуется. Он просто уходит. А вы об этом так и не узнаёте.

Это одна из самых частых ошибок в фильтрации ботов, и мы сами когда-то её допустили. Так что эта статья — отчасти признание. Расскажем, что это за сервисы приватности и как фильтр должен с ними обращаться.

Почему человек может выглядеть как сервер

Каждый посетитель приходит со своим адресом. Обычно он принадлежит домашнему интернет-провайдеру или мобильному оператору, и сразу понятно, что за ним человек.

Сервисы приватности это меняют. Они скрывают настоящий адрес человека от сайтов, которые он открывает. Для этого трафик идёт через чужую сеть, а в таких масштабах это сети очень крупных компаний.

Поэтому адрес, который видит ваша ссылка, принадлежит крупной технологической компании, а не домашнему провайдеру. Фильтры обычно считают сети крупных компаний «серверами», потому что именно там живут скрипты и сканеры. Для облачных серверов Amazon или Google это разумная догадка. Для человека с включённым Private Relay — нет.

Это немного похоже на то, чтобы судить о людях по машине. Большинство грузовых фургонов везут посылки. Но если кто-то приехал в ваш магазин на такси, он всё равно покупатель.

Как работает iCloud Private Relay

Схема: iPhone человека отправляет трафик на ретранслятор Apple, который знает пользователя, но не сайт; второй ретранслятор от партнёра, например Cloudflare, Akamai или Fastly, знает сайт, но не пользователя; ваша ссылка видит адрес второго ретранслятора
Два ретранслятора, две компании. Ваша ссылка видит только второй.

Private Relay входит в платную подписку Apple iCloud+. Он защищает просмотр страниц в Safari на iPhone, iPad и Mac. Каждый путь делится на две части:

  1. Первый ретранслятор принадлежит Apple. Он знает, кто человек, но не знает, какой сайт тот открывает.
  2. Второй ретранслятор принадлежит другой компании. Apple называет её >сторонним поставщиком контента; самые известные — Cloudflare, Akamai и Fastly. Он знает сайт, но не знает человека.

Ваша ссылка видит только адрес второго ретранслятора. По словам Apple, этот адрес всё равно соответствует региону человека, а по умолчанию — ближайшему городу, так что статистика по странам остаётся правильной.

Apple ничего из этого не скрывает. Компания публикует список адресов Private Relay с примерным расположением каждого, чтобы владельцы сайтов могли распознать этот трафик. Он есть в >руководстве Apple для операторов сетей и сайтов (на английском).

Другие сервисы приватности

  • Cloudflare WARP — режим приватности в бесплатном приложении Cloudflare. Трафик выходит через сеть Cloudflare.
  • Microsoft Edge Secure Network — VPN, встроенный в браузер Edge. Он тоже работает на Cloudflare.
  • Платные VPN-сервисы — обычно выходят в интернет через обычные хостинговые компании. Это более сложный случай, о нём ниже.

Общее у всех: настоящие люди в сетях, похожих на серверные.

Та же компания, противоположный ответ: Mail Privacy Protection

У Apple есть ещё одна функция приватности с похожим названием — Mail Privacy Protection. Когда она включена, серверы Apple заранее загружают все картинки из письма, включая картинку для отслеживания открытий, — независимо от того, читает человек письмо или нет.

Поэтому, когда в вашей статистике встречается Apple:

  • посещение вашей страницы через Private Relay — это человек;
  • загрузка картинки из письма через Mail Privacy Protection — это робот. Именно поэтому открытия у пользователей Apple Mail выглядят слишком хорошо.

Если обращаться с обоими одинаково, один случай неизбежно будет оценён неверно. Подробнее о письмах — в статье Apple Mail Privacy Protection и открытия писем.

Что делает хороший фильтр с пользователями приватности

  1. Сначала проверяет сети приватности. Прежде чем сработает правило «сеть серверов = бот», он спрашивает: это ретранслятор приватности? Порядок важен. Если правило о серверах сработает первым, человек уже потерян.
  2. Распознаёт сети надёжно, а не угадывает по названию. У каждой сети есть официальный номер, и проверять нужно именно его. Искать в названии слово вроде «cloud» — плохая идея: в «Cloudflare» тоже есть «cloud». Именно на этом мы и попались.
  3. Не считает один загруженный адрес одним ботом. Многие пользователи ретрансляторов делят небольшое количество адресов. Много кликов с одного такого адреса — это много людей.
  4. Остальное всё равно проверяет. Если запрос из сети приватности прямо называет себя ботом или ведёт себя не как настоящий браузер, это всё равно робот. Сеть приватности получает доверие за то, откуда пришёл клик, а не пропуск на всё.

Платные VPN: честный компромисс

Большинство платных VPN-сервисов выводят своих пользователей через обычные хостинговые компании — те же места, где работают скрипты и сканеры. Публичного списка, который в таких сетях отличал бы «человека с VPN» от «сервера», нет.

Поэтому фильтр, который не пускает серверный трафик на вашу страницу, отсеет и часть пользователей VPN. Это осознанный выбор. В большинстве кампаний пользователи VPN — небольшая доля живых людей, а из хостинговых сетей приходит большинство роботов. Если ваша аудитория часто пользуется VPN, об этом компромиссе стоит знать. Подробнее о типах сетей — в статье дата-центр или домашняя сеть.

Как это решает createlink.link

Anti-Bot фильтр в createlink.link распознаёт сети приватности Cloudflare, Fastly и Akamai по их официальным номерам и проверяет их первыми, ещё до правила о серверных сетях. Люди, которые приходят через них, попадают на вашу страницу.

Такой порядок мы ввели, научившись на собственной ошибке: когда-то настоящий посетитель из одной из этих сетей получил нейтральную страницу вместо целевой. Теперь мы проверяем этот случай каждый раз, когда меняем фильтр.

Всё остальное остаётся как было. Другие хостинговые компании и облака по-прежнему не попадают на вашу целевую страницу. А остальные проверки — настоящий ли браузер, действительно ли «Googlebot» от Google — действуют для всех. О них — в статье как отличить клик бота от клика человека.

Короткий чек-лист

  • Сети приватности проверяются до любого правила «сервер = бот».
  • Сети распознаются по официальному номеру, а не по словам в названии.
  • Загруженный адрес ретранслятора — это много людей, а не один бот.
  • Посещения страниц через Private Relay — люди; загрузки картинок через Mail Privacy Protection — роботы.
  • Платные VPN — это компромисс, решайте его по собственным цифрам.

Люди, которые пользуются сервисами приватности, решили скрыть свой адрес, а не то, что они люди. Хороший фильтр уважает первое и всё равно видит второе.