Коротко
- Дехто свідомо приховує свою адресу: iCloud Private Relay на iPhone і Mac, Cloudflare WARP, VPN, вбудований у браузер Microsoft Edge.
- Тоді їхні кліки приходять із мереж великих компаній — Cloudflare, Akamai, Fastly. Неуважний фільтр думає: «мережа великої компанії — отже сервер, отже бот» — і не пускає живу людину.
- Добрий фільтр спершу розпізнає такі мережі приватності й пропускає цих людей, а все інше однаково перевіряє.
- Не плутайте це з Apple Mail Privacy Protection: ось там справді робот, який заздалегідь завантажує зображення з листів. Та сама компанія — протилежна відповідь.
Уявіть: ви надіслали людині персональне посилання. Вона відкриває його на iPhone. Фільтр бачить, що клік прийшов із мережі Cloudflare, вирішує «це сервер, а не людина» і показує нейтральну сторінку замість вашого оферу.
Людина не скаржиться. Вона просто йде. А ви про це так і не дізнаєтеся.
Це одна з найпоширеніших помилок у фільтрації ботів, і ми самі колись її припустилися. Тож ця стаття — почасти зізнання. Розповімо, що це за сервіси приватності і як фільтр має з ними поводитися.
Чому людина може виглядати як сервер
Кожен відвідувач приходить зі своєю адресою. Зазвичай вона належить домашньому інтернет-провайдерові або мобільному операторові, і одразу зрозуміло, що за нею людина.
Сервіси приватності це змінюють. Вони приховують справжню адресу людини від сайтів, які вона відкриває. Для цього трафік проходить через чужу мережу, а в таких масштабах це мережі дуже великих компаній.
Тож адреса, яку бачить ваше посилання, належить великій технологічній компанії, а не домашньому провайдерові. Фільтри зазвичай вважають мережі великих компаній «серверами», бо саме там живуть скрипти й сканери. Для хмарних серверів Amazon чи Google це слушна здогадка. Для людини з увімкненим Private Relay — ні.
Це трохи схоже на те, щоб судити людей за машиною. Більшість вантажних бусиків везуть посилки. Але якщо хтось приїхав до вашого магазину на таксі, він однаково покупець.
Як працює iCloud Private Relay
Private Relay входить до платної підписки Apple iCloud+. Він захищає перегляд сторінок у Safari на iPhone, iPad і Mac. Кожен шлях розбивається на дві частини:
- Перший ретранслятор належить Apple. Він знає, хто людина, але не знає, який сайт вона відкриває.
- Другий ретранслятор належить іншій компанії. Apple називає її >стороннім постачальником контенту; найвідоміші — Cloudflare, Akamai і Fastly. Він знає сайт, але не знає людину.
Ваше посилання бачить лише адресу другого ретранслятора. За словами Apple, ця адреса однаково відповідає регіону людини, а за замовчуванням — найближчому місту, тож статистика за країнами лишається правильною.
Apple нічого з цього не приховує. Компанія публікує список адрес Private Relay із приблизним розташуванням кожної, щоб власники сайтів могли розпізнати цей трафік. Він є в >посібнику Apple для операторів мереж і сайтів (англійською).
Інші сервіси приватності
- Cloudflare WARP — режим приватності в безкоштовному застосунку Cloudflare. Трафік виходить через мережу Cloudflare.
- Microsoft Edge Secure Network — VPN, вбудований у браузер Edge. Він теж працює на Cloudflare.
- Платні VPN-сервіси — зазвичай виходять в інтернет через звичайні хостингові компанії. Це складніший випадок, про нього нижче.
Спільне в усіх: справжні люди в мережах, схожих на серверні.
Та сама компанія, протилежна відповідь: Mail Privacy Protection
У Apple є ще одна функція приватності зі схожою назвою — Mail Privacy Protection. Коли її ввімкнено, сервери Apple заздалегідь завантажують усі зображення з листа, зокрема картинку для відстеження відкриттів, — незалежно від того, читає людина лист чи ні.
Тож коли у вашій статистиці трапляється Apple:
- відвідування вашої сторінки через Private Relay — це людина;
- завантаження зображення з листа через Mail Privacy Protection — це робот. Саме тому відкриття в користувачів Apple Mail виглядають надто гарно.
Якщо поводитися з обома однаково, один випадок неминуче буде оцінено хибно. Більше про листи — у статті Apple Mail Privacy Protection і відкриття листів.
Що робить добрий фільтр із користувачами приватності
- Спершу перевіряє мережі приватності. Перш ніж спрацює правило «мережа серверів = бот», він питає: чи це ретранслятор приватності? Порядок важливий. Якщо правило про сервери спрацює першим, людину вже втрачено.
- Розпізнає мережі надійно, а не вгадує за назвою. Кожна мережа має офіційний номер, і перевіряти треба саме його. Шукати в назві слово на кшталт «cloud» — погана ідея: у «Cloudflare» теж є «cloud». Саме на цьому ми й попалися.
- Не вважає одну завантажену адресу одним ботом. Багато користувачів ретрансляторів ділять невелику кількість адрес. Багато кліків з однієї такої адреси — це багато людей.
- Решту однаково перевіряє. Якщо запит із мережі приватності прямо називає себе ботом або поводиться не як справжній браузер, це однаково робот. Мережа приватності отримує довіру за те, звідки прийшов клік, а не перепустку на все.
Платні VPN: чесний компроміс
Більшість платних VPN-сервісів виводять своїх користувачів через звичайні хостингові компанії — ті самі місця, де працюють скрипти й сканери. Публічного списку, який у таких мережах відрізняв би «людину з VPN» від «сервера», немає.
Тож фільтр, який не пускає серверний трафік на вашу сторінку, відсіє й частину користувачів VPN. Це свідомий вибір. У більшості кампаній користувачі VPN — невелика частка живих людей, а з хостингових мереж приходить більшість роботів. Якщо ваша аудиторія часто користується VPN, про цей компроміс варто знати. Більше про типи мереж — у статті дата-центр чи домашня мережа.
Як це вирішує createlink.link
Anti-Bot фільтр у createlink.link розпізнає мережі приватності Cloudflare, Fastly й Akamai за їхніми офіційними номерами і перевіряє їх першими, ще до правила про серверні мережі. Люди, які приходять через них, потрапляють на вашу сторінку.
Такий порядок ми запровадили, навчившись на власній помилці: колись справжній відвідувач з однієї з цих мереж отримав нейтральну сторінку замість цільової. Тепер ми перевіряємо цей випадок щоразу, коли змінюємо фільтр.
Усе інше лишається як було. Інші хостингові компанії й хмари так само не потрапляють на вашу цільову сторінку. А решта перевірок — чи браузер справжній, чи «Googlebot» справді від Google — діють для всіх. Про них — у статті як відрізнити клік бота від кліку людини.
Короткий чек-лист
- Мережі приватності перевіряються до будь-якого правила «сервер = бот».
- Мережі розпізнаються за офіційним номером, а не за словами в назві.
- Завантажена адреса ретранслятора — це багато людей, а не один бот.
- Відвідування сторінок через Private Relay — люди; завантаження зображень через Mail Privacy Protection — роботи.
- Платні VPN — це компроміс, вирішуйте його за власними цифрами.
Люди, які користуються сервісами приватності, вирішили приховати свою адресу, а не те, що вони люди. Добрий фільтр поважає перше й однаково бачить друге.