Коротко
- Ни один признак по отдельности не отличит бота от человека. Пять признаков вместе — отличат: что посетитель отправляет, откуда приходит, настоящее ли у него имя, когда кликает и как себя ведёт.
- Не верьте тому, кем посетитель себя называет. Смотрите, что он забывает отправить и из какой сети приходит.
- Персональные ссылки дают ещё один очень сильный признак: один адрес открывает ссылки многих разных людей.
- Когда признаки противоречат друг другу, считайте визит человеческим. Потерять настоящего клиента дороже, чем засчитать одного робота.
В статье почему клики по вашим ссылкам ненастоящие мы разобрали, кто накручивает вам клики: почтовые сканеры, превью ссылок в мессенджерах, поисковые роботы и скрипты, которые притворяются браузерами. Эта статья — практическая часть. У вас есть список кликов. Как понять, какие из них — настоящие люди?
Представьте охранника на входе в закрытую вечеринку. Сказать «я есть в списке» может каждый. Хороший охранник смотрит не только на имя.
Признак 1: что посетитель говорит и что приносит с собой
Каждый посетитель представляется короткой строкой текста — «User-Agent». Там написано что-то вроде «я Chrome на Android-телефоне». Подвох в том, что это просто текст, и любой скрипт может скопировать его у настоящего браузера.
А вот всё остальное, что настоящий браузер отправляет мимоходом, скрипт копирует редко. Например, настоящий браузер всегда сообщает сайту, на каких языках читает его владелец. Современный Chrome ещё и отправляет несколько мелких технических подробностей о себе. Скрипт, скопировавший только имя, обычно о них забывает.
Что здесь выдаёт робота:
- Он сам говорит, что он робот. Многие честно так и делают: поисковый робот Google, превью Telegram и WhatsApp, SEO-сервисы, простые программистские инструменты. Это самые лёгкие случаи.
- Он не говорит ничего. Пустое или очень короткое представление. Настоящие браузеры так не делают.
- Нет языков. Браузер в руках человека всегда их отправляет. Многие скрипты — нет.
- «Chrome, который не Chrome». Называет себя современным Chrome, но не приносит ни одной из подробностей, которые настоящий Chrome отправляет всегда. Это скрипт, надевший имя браузера.
Одна оговорка. Safari и Firefox никогда не отправляют эти подробности Chrome, а Chrome на iPhone внутри на самом деле Safari. Поэтому применяйте проверку «Chrome, который не Chrome» только к посетителям, которые называют себя Chrome на компьютере или Android. Если применить её ко всем, вы выбросите заметную долю пользователей iPhone.
Признак 2: откуда пришёл визит
Каждый адрес в интернете принадлежит какой-то сети, а бесплатные базы данных подскажут, чьей именно. Уже это говорит о многом:
- Домашний интернет и мобильные операторы — там, где люди.
- Серверные компании и облака (Amazon, Google Cloud, Microsoft, Hetzner и подобные) — там, где машины. «Браузер», пришедший с арендованного сервера, почти всегда скрипт или сканер.
Большое исключение: сервисы приватности. iCloud Private Relay от Apple и WARP от Cloudflare пропускают трафик обычных людей через крупные сети — Cloudflare, Akamai, Fastly. В базе они похожи на «серверы», но за ними — настоящие люди с телефонами и ноутбуками. Признавайте эти сети людьми первыми, ещё до правила о серверах, иначе незаметно потеряете часть лучшей аудитории. Подробнее — в статье пользователи сервисов приватности — это люди.
Признак 3: настоящее ли его имя
У адреса может быть имя — немного похоже на определитель номера. Иногда имя говорит всё: «googlebot.com» — робот Google, «amazonaws.com» — сервер Amazon.
Но каждый может прицепить к своему адресу любое имя. Поэтому тщательная проверка идёт в обе стороны: берёте имя, смотрите, какому адресу оно принадлежит, и проверяете, вернулись ли туда, откуда начали. Замкнуть этот круг может только настоящий владелец «googlebot.com». Именно так >Google советует проверять своего робота.
А если у адреса имени нет совсем — это ни о чём не говорит. У многих домашних и мобильных пользователей его нет. Отсутствие имени — не повод кого-то блокировать.
Признак 4: когда он кликает
Машины быстрые и делают всё одновременно. Люди медленные и делают что-то одно за раз.
- Через несколько секунд после доставки. Почтовые сканеры безопасности часто открывают ссылки сразу, как только пришло письмо. Клик через 2–5 секунд после доставки редко бывает человеческим. Какие сервисы так делают — в статье Safe Links, Proofpoint, Mimecast.
- Все ссылки сразу. Логотип, кнопка, подвал письма и ссылка для отписки «кликнуты» в одну и ту же секунду. Человек так не делает.
- Ритм часов. Визиты через идеально ровные промежутки или десятки в секунду с одного адреса.
Признак 5: как он себя ведёт
- Только заглядывает. Некоторые проверяльщики ссылок спрашивают «существует ли эта страница?», не открывая её. Браузер человека страницу всегда открывает.
- Больше ничего не открывает. Когда человек открывает страницу, его браузер подгружает ещё и картинки, и оформление. Сканер обычно берёт один адрес и уходит. (Это видно на вашей целевой странице, а не на самой ссылке.)
- Один адрес — ссылки многих людей. Если у каждого получателя своя ссылка, это самый сильный признак из всех. Один адрес, который за минуту открывает ссылки 50 разных людей, — это сканер или корпоративный шлюз, а не 50 человек за одним роутером.
Складываем вместе: взвешивайте, а не угадывайте
Любой отдельный признак может ошибиться. Несколько вместе — редко. Примерно так:
| Признак | Насколько указывает на робота |
|---|---|
| Сам говорит, что он робот или программистский инструмент | Решающе |
| Имя подтверждается как поисковый робот или сервер | Решающе |
| Приходит из серверной компании (не сервис приватности) | Сильно |
| «Chrome, который не Chrome» | Сильно |
| Один адрес на ссылках многих людей | Сильно |
| Не отправляет языки | Умеренно |
| Кликает через секунды после доставки, все ссылки сразу | Умеренно |
| Только заглядывает, не открывая страницу | Умеренно |
| У адреса нет имени | Никак: это вообще не признак |
Несколько простых правил:
- Сначала быстрые проверки. Если вы решаете в реальном времени, человек ждёт, пока откроется страница.
- Сомневаетесь — значит, человек. Если признаки противоречат друг другу, пропустите визит. Потерять клиента дороже, чем засчитать одного робота.
- Сервисы приватности — до правила о серверах, а не после.
- Записывайте причину. Когда вас спросят «куда делся мой клик?», ответ пригодится.
Лучше: решать ещё до перехода
Почистить список потом — значит получить честные цифры. Но к этому времени сканер уже увидел вашу страницу, а с одноразовыми ссылками ещё и мог потратить визит, предназначенный человеку. Лучше принимать решение до того, как посетитель куда-то уйдёт.
Именно так работает Anti-Bot фильтр в createlink.link — на вашем собственном сервере, в четыре шага: очевидные признаки робота в запросе, «Chrome, который не Chrome», проверка имени в обе стороны и сеть посетителя по базе, которую платформа сама держит в актуальном состоянии. Сервисы приватности проходят как люди. Человек попадает на вашу страницу. Робот получает нейтральную страницу.
Что вы видите потом: заблокированные визиты считаются отдельно, в блоке «Люди против ботов» вашей статистики, а не как клики. И заблокированный робот не тратит ни одного из трёх визитов персональной ссылки. Никакой капчи, посетителю ничего не нужно делать.
Честно о границах: идеальных фильтров не бывает. Хорошо сделанный скрипт на домашнем интернете всё ещё может выглядеть как человек. Фильтр отсекает массу сканеров и ботов, но не обещает поймать всех до последнего.
Чек-лист
- Не верьте имени. Смотрите, что посетитель приносит с собой.
- Сначала отметьте честных роботов: это ничего не стоит.
- Проверяйте сеть; пропускайте сервисы приватности до правила о серверах.
- Проверяйте имена поисковых роботов в обе стороны; на отсутствие имени не обращайте внимания.
- «Chrome, который не Chrome» — только для тех, кто называет себя Chrome.
- Следите за кликами в первые секунды после доставки и за одним адресом на ссылках многих людей.
- Взвешивайте признаки, а при сомнении считайте человека.
Ботов несложно заметить, как только вы перестанете слушать, что они говорят о себе, и посмотрите на всё остальное.