Перейти к содержимому

Боты и чистая статистика Обновлено 6 мин чтения

Как отличить клик бота от клика человека: пять простых признаков

Коротко

  • Ни один признак по отдельности не отличит бота от человека. Пять признаков вместе — отличат: что посетитель отправляет, откуда приходит, настоящее ли у него имя, когда кликает и как себя ведёт.
  • Не верьте тому, кем посетитель себя называет. Смотрите, что он забывает отправить и из какой сети приходит.
  • Персональные ссылки дают ещё один очень сильный признак: один адрес открывает ссылки многих разных людей.
  • Когда признаки противоречат друг другу, считайте визит человеческим. Потерять настоящего клиента дороже, чем засчитать одного робота.

В статье почему клики по вашим ссылкам ненастоящие мы разобрали, кто накручивает вам клики: почтовые сканеры, превью ссылок в мессенджерах, поисковые роботы и скрипты, которые притворяются браузерами. Эта статья — практическая часть. У вас есть список кликов. Как понять, какие из них — настоящие люди?

Представьте охранника на входе в закрытую вечеринку. Сказать «я есть в списке» может каждый. Хороший охранник смотрит не только на имя.

Признак 1: что посетитель говорит и что приносит с собой

Каждый посетитель представляется короткой строкой текста — «User-Agent». Там написано что-то вроде «я Chrome на Android-телефоне». Подвох в том, что это просто текст, и любой скрипт может скопировать его у настоящего браузера.

А вот всё остальное, что настоящий браузер отправляет мимоходом, скрипт копирует редко. Например, настоящий браузер всегда сообщает сайту, на каких языках читает его владелец. Современный Chrome ещё и отправляет несколько мелких технических подробностей о себе. Скрипт, скопировавший только имя, обычно о них забывает.

Два посетителя, которые оба называют себя Chrome. Человек с телефоном отправляет свои языки и привычные подробности браузера, приходит из мобильной сети и открывает одну ссылку через два часа после письма. Скрипт не отправляет ни того, ни другого, приходит из серверной компании и открывает все ссылки через три секунды после доставки письма.
Оба говорят «Chrome». Но только один приносит то, что Chrome приносит всегда.

Что здесь выдаёт робота:

  • Он сам говорит, что он робот. Многие честно так и делают: поисковый робот Google, превью Telegram и WhatsApp, SEO-сервисы, простые программистские инструменты. Это самые лёгкие случаи.
  • Он не говорит ничего. Пустое или очень короткое представление. Настоящие браузеры так не делают.
  • Нет языков. Браузер в руках человека всегда их отправляет. Многие скрипты — нет.
  • «Chrome, который не Chrome». Называет себя современным Chrome, но не приносит ни одной из подробностей, которые настоящий Chrome отправляет всегда. Это скрипт, надевший имя браузера.

Одна оговорка. Safari и Firefox никогда не отправляют эти подробности Chrome, а Chrome на iPhone внутри на самом деле Safari. Поэтому применяйте проверку «Chrome, который не Chrome» только к посетителям, которые называют себя Chrome на компьютере или Android. Если применить её ко всем, вы выбросите заметную долю пользователей iPhone.

Признак 2: откуда пришёл визит

Каждый адрес в интернете принадлежит какой-то сети, а бесплатные базы данных подскажут, чьей именно. Уже это говорит о многом:

  • Домашний интернет и мобильные операторы — там, где люди.
  • Серверные компании и облака (Amazon, Google Cloud, Microsoft, Hetzner и подобные) — там, где машины. «Браузер», пришедший с арендованного сервера, почти всегда скрипт или сканер.

Большое исключение: сервисы приватности. iCloud Private Relay от Apple и WARP от Cloudflare пропускают трафик обычных людей через крупные сети — Cloudflare, Akamai, Fastly. В базе они похожи на «серверы», но за ними — настоящие люди с телефонами и ноутбуками. Признавайте эти сети людьми первыми, ещё до правила о серверах, иначе незаметно потеряете часть лучшей аудитории. Подробнее — в статье пользователи сервисов приватности — это люди.

Признак 3: настоящее ли его имя

У адреса может быть имя — немного похоже на определитель номера. Иногда имя говорит всё: «googlebot.com» — робот Google, «amazonaws.com» — сервер Amazon.

Но каждый может прицепить к своему адресу любое имя. Поэтому тщательная проверка идёт в обе стороны: берёте имя, смотрите, какому адресу оно принадлежит, и проверяете, вернулись ли туда, откуда начали. Замкнуть этот круг может только настоящий владелец «googlebot.com». Именно так >Google советует проверять своего робота.

А если у адреса имени нет совсем — это ни о чём не говорит. У многих домашних и мобильных пользователей его нет. Отсутствие имени — не повод кого-то блокировать.

Признак 4: когда он кликает

Машины быстрые и делают всё одновременно. Люди медленные и делают что-то одно за раз.

  • Через несколько секунд после доставки. Почтовые сканеры безопасности часто открывают ссылки сразу, как только пришло письмо. Клик через 2–5 секунд после доставки редко бывает человеческим. Какие сервисы так делают — в статье Safe Links, Proofpoint, Mimecast.
  • Все ссылки сразу. Логотип, кнопка, подвал письма и ссылка для отписки «кликнуты» в одну и ту же секунду. Человек так не делает.
  • Ритм часов. Визиты через идеально ровные промежутки или десятки в секунду с одного адреса.

Признак 5: как он себя ведёт

  • Только заглядывает. Некоторые проверяльщики ссылок спрашивают «существует ли эта страница?», не открывая её. Браузер человека страницу всегда открывает.
  • Больше ничего не открывает. Когда человек открывает страницу, его браузер подгружает ещё и картинки, и оформление. Сканер обычно берёт один адрес и уходит. (Это видно на вашей целевой странице, а не на самой ссылке.)
  • Один адрес — ссылки многих людей. Если у каждого получателя своя ссылка, это самый сильный признак из всех. Один адрес, который за минуту открывает ссылки 50 разных людей, — это сканер или корпоративный шлюз, а не 50 человек за одним роутером.

Складываем вместе: взвешивайте, а не угадывайте

Любой отдельный признак может ошибиться. Несколько вместе — редко. Примерно так:

Признак Насколько указывает на робота
Сам говорит, что он робот или программистский инструмент Решающе
Имя подтверждается как поисковый робот или сервер Решающе
Приходит из серверной компании (не сервис приватности) Сильно
«Chrome, который не Chrome» Сильно
Один адрес на ссылках многих людей Сильно
Не отправляет языки Умеренно
Кликает через секунды после доставки, все ссылки сразу Умеренно
Только заглядывает, не открывая страницу Умеренно
У адреса нет имени Никак: это вообще не признак

Несколько простых правил:

  1. Сначала быстрые проверки. Если вы решаете в реальном времени, человек ждёт, пока откроется страница.
  2. Сомневаетесь — значит, человек. Если признаки противоречат друг другу, пропустите визит. Потерять клиента дороже, чем засчитать одного робота.
  3. Сервисы приватности — до правила о серверах, а не после.
  4. Записывайте причину. Когда вас спросят «куда делся мой клик?», ответ пригодится.

Лучше: решать ещё до перехода

Почистить список потом — значит получить честные цифры. Но к этому времени сканер уже увидел вашу страницу, а с одноразовыми ссылками ещё и мог потратить визит, предназначенный человеку. Лучше принимать решение до того, как посетитель куда-то уйдёт.

Именно так работает Anti-Bot фильтр в createlink.link — на вашем собственном сервере, в четыре шага: очевидные признаки робота в запросе, «Chrome, который не Chrome», проверка имени в обе стороны и сеть посетителя по базе, которую платформа сама держит в актуальном состоянии. Сервисы приватности проходят как люди. Человек попадает на вашу страницу. Робот получает нейтральную страницу.

Что вы видите потом: заблокированные визиты считаются отдельно, в блоке «Люди против ботов» вашей статистики, а не как клики. И заблокированный робот не тратит ни одного из трёх визитов персональной ссылки. Никакой капчи, посетителю ничего не нужно делать.

Честно о границах: идеальных фильтров не бывает. Хорошо сделанный скрипт на домашнем интернете всё ещё может выглядеть как человек. Фильтр отсекает массу сканеров и ботов, но не обещает поймать всех до последнего.

Чек-лист

  • Не верьте имени. Смотрите, что посетитель приносит с собой.
  • Сначала отметьте честных роботов: это ничего не стоит.
  • Проверяйте сеть; пропускайте сервисы приватности до правила о серверах.
  • Проверяйте имена поисковых роботов в обе стороны; на отсутствие имени не обращайте внимания.
  • «Chrome, который не Chrome» — только для тех, кто называет себя Chrome.
  • Следите за кликами в первые секунды после доставки и за одним адресом на ссылках многих людей.
  • Взвешивайте признаки, а при сомнении считайте человека.

Ботов несложно заметить, как только вы перестанете слушать, что они говорят о себе, и посмотрите на всё остальное.