Перейти до вмісту

Боти й чиста статистика Оновлено 6 хв читання

Як відрізнити клік бота від кліку людини: п’ять простих ознак

Коротко

  • Жодна окрема ознака не відрізнить бота від людини. П’ять ознак разом — відрізнять: що відвідувач надсилає, звідки приходить, чи справжнє його ім’я, коли клікає і як поводиться.
  • Не вірте тому, ким відвідувач себе називає. Дивіться, що він забуває надіслати і з якої мережі приходить.
  • Персональні посилання дають ще одну дуже сильну ознаку: одна адреса відкриває посилання багатьох різних людей.
  • Коли ознаки суперечать одна одній, рахуйте візит людським. Втратити справжнього клієнта дорожче, ніж зарахувати одного робота.

У статті чому кліки по ваших посиланнях фальшиві ми розібрали, хто накручує вам кліки: поштові сканери, прев’ю посилань у месенджерах, пошукові роботи та скрипти, що прикидаються браузерами. Ця стаття — практична частина. У вас є список кліків. Як зрозуміти, які з них — справжні люди?

Уявіть охоронця на вході до закритої вечірки. Сказати «я є в списку» може кожен. Добрий охоронець дивиться не лише на ім’я.

Ознака 1: що відвідувач каже і що приносить із собою

Кожен відвідувач представляється коротким рядком тексту — «User-Agent». Там написано щось на кшталт «я Chrome на Android-телефоні». Підступ у тому, що це просто текст, і будь-який скрипт може скопіювати його у справжнього браузера.

А от решту, що справжній браузер надсилає мимохідь, скрипт копіює рідко. Наприклад, справжній браузер завжди повідомляє сайту, якими мовами читає його власник. Сучасний Chrome також надсилає кілька дрібних технічних подробиць про себе. Скрипт, що скопіював лише ім’я, зазвичай про них забуває.

Два відвідувачі, які обидва називають себе Chrome. Людина з телефоном надсилає свої мови та звичні подробиці браузера, приходить із мобільної мережі й відкриває одне посилання через дві години після листа. Скрипт не надсилає ні того, ні іншого, приходить із серверної компанії й відкриває всі посилання через три секунди після доставки листа.
Обидва кажуть «Chrome». Але лише один приносить те, що Chrome приносить завжди.

Що тут видає робота:

  • Він сам каже, що він робот. Багато хто чесно так і робить: пошуковий робот Google, прев’ю Telegram і WhatsApp, SEO-сервіси, прості програмістські інструменти. Це найлегші випадки.
  • Він не каже нічого. Порожнє або дуже коротке представлення. Справжні браузери такого не роблять.
  • Немає мов. Браузер у руках людини завжди їх надсилає. Багато скриптів — ні.
  • «Chrome, який не Chrome». Називає себе сучасним Chrome, але не приносить жодної з подробиць, які справжній Chrome надсилає завжди. Це скрипт, що вдяг ім’я браузера.

Одне застереження. Safari та Firefox ніколи не надсилають цих подробиць Chrome, а Chrome на iPhone — це всередині насправді Safari. Тож застосовуйте перевірку «Chrome, який не Chrome» лише до відвідувачів, що називають себе Chrome на комп’ютері чи Android. Якщо застосувати її до всіх, ви викинете чималу частку користувачів iPhone.

Ознака 2: звідки прийшов візит

Кожна адреса в інтернеті належить якійсь мережі, а безкоштовні бази даних підкажуть, чиїй саме. Уже це багато що говорить:

  • Домашній інтернет і мобільні оператори — там, де люди.
  • Серверні компанії та хмари (Amazon, Google Cloud, Microsoft, Hetzner тощо) — там, де машини. «Браузер», що приходить з орендованого сервера, майже завжди скрипт або сканер.

Великий виняток: сервіси приватності. iCloud Private Relay від Apple і WARP від Cloudflare пропускають трафік звичайних людей через великі мережі — Cloudflare, Akamai, Fastly. У базі вони схожі на «сервери», але за ними — справжні люди з телефонами й ноутбуками. Визнавайте ці мережі людьми першими, ще до правила про сервери, інакше непомітно втратите частину найкращої аудиторії. Детальніше — у статті користувачі сервісів приватності — це люди.

Ознака 3: чи справжнє його ім’я

Адреса може мати ім’я — трохи схоже на визначник номера. Іноді ім’я говорить усе: «googlebot.com» — робот Google, «amazonaws.com» — сервер Amazon.

Але кожен може причепити до своєї адреси будь-яке ім’я. Тому ретельна перевірка йде в обидва боки: берете ім’я, дивитеся, якій адресі воно належить, і перевіряєте, чи повернулися туди, звідки почали. Замкнути це коло може лише справжній власник «googlebot.com». Саме так >Google радить перевіряти свого робота.

А якщо в адреси імені немає зовсім — це ні про що не говорить. У багатьох домашніх і мобільних користувачів його немає. Відсутність імені — не привід когось блокувати.

Ознака 4: коли він клікає

Машини швидкі й роблять усе одночасно. Люди повільні й роблять щось одне за раз.

  • За кілька секунд після доставки. Поштові сканери безпеки часто відкривають посилання щойно лист прийшов. Клік через 2–5 секунд після доставки рідко належить людині. Які сервіси так роблять — у статті Safe Links, Proofpoint, Mimecast.
  • Усі посилання водночас. Логотип, кнопка, підвал листа й посилання для відписки «клікнуті» в одну й ту саму секунду. Людина так не робить.
  • Ритм годинника. Візити через ідеально рівні проміжки або десятки за секунду з однієї адреси.

Ознака 5: як він поводиться

  • Лише зазирає. Деякі перевіряльники посилань питають «чи існує ця сторінка?», не відкриваючи її. Браузер людини сторінку завжди відкриває.
  • Більше нічого не відкриває. Коли людина відкриває сторінку, її браузер підвантажує ще й картинки та оформлення. Сканер зазвичай бере одну адресу й іде. (Це видно на вашій цільовій сторінці, а не на самому посиланні.)
  • Одна адреса — посилання багатьох людей. Якщо кожен отримувач має своє посилання, це найсильніша ознака з усіх. Одна адреса, що за хвилину відкриває посилання 50 різних людей, — це сканер або корпоративний шлюз, а не 50 людей за одним роутером.

Складаємо докупи: зважуйте, а не вгадуйте

Будь-яка окрема ознака може помилитися. Кілька разом — рідко. Приблизно так:

Ознака Наскільки вказує на робота
Сам каже, що він робот чи програмістський інструмент Вирішально
Ім’я підтверджується як пошуковий робот чи сервер Вирішально
Приходить із серверної компанії (не сервіс приватності) Сильно
«Chrome, який не Chrome» Сильно
Одна адреса на посиланнях багатьох людей Сильно
Не надсилає мов Помірно
Клікає за секунди після доставки, усі посилання водночас Помірно
Лише зазирає, не відкриваючи сторінку Помірно
В адреси немає імені Ніяк: це взагалі не ознака

Кілька простих правил:

  1. Спершу швидкі перевірки. Якщо ви вирішуєте в реальному часі, людина чекає, поки відкриється сторінка.
  2. Сумніваєтеся — значить, людина. Якщо ознаки суперечать одна одній, пропустіть візит. Втратити клієнта дорожче, ніж зарахувати одного робота.
  3. Сервіси приватності — до правила про сервери, а не після.
  4. Записуйте причину. Коли вас запитають «куди подівся мій клік?», відповідь вам знадобиться.

Краще: вирішувати ще до переходу

Почистити список потім — означає отримати чесні цифри. Але на той час сканер уже побачив вашу сторінку, а з одноразовими посиланнями ще й міг витратити візит, призначений людині. Краще ухвалювати рішення до того, як відвідувач кудись піде.

Саме так працює Anti-Bot фільтр у createlink.link — на вашому власному сервері, у чотири кроки: очевидні ознаки робота в запиті, «Chrome, який не Chrome», перевірка імені в обидва боки та мережа відвідувача за базою, яку платформа сама тримає в актуальному стані. Сервіси приватності проходять як люди. Людина потрапляє на вашу сторінку. Робот отримує нейтральну сторінку.

Що ви бачите потім: заблоковані візити рахуються окремо, у блоці «Люди проти ботів» вашої статистики, а не як кліки. І заблокований робот не витрачає жодного з трьох візитів персонального посилання. Жодної капчі, відвідувачеві нічого не треба робити.

Чесно про межі: ідеальних фільтрів не буває. Добре зроблений скрипт на домашньому інтернеті все ще може виглядати як людина. Фільтр відсікає масу сканерів і ботів, але не обіцяє зловити всіх до останнього.

Чек-лист

  • Не вірте імені. Дивіться, що відвідувач приносить із собою.
  • Спершу позначте чесних роботів: це нічого не коштує.
  • Перевіряйте мережу; пропускайте сервіси приватності до правила про сервери.
  • Перевіряйте імена пошукових роботів в обидва боки; на відсутнє ім’я не зважайте.
  • «Chrome, який не Chrome» — лише для тих, хто називає себе Chrome.
  • Стежте за кліками в перші секунди після доставки та за однією адресою на посиланнях багатьох людей.
  • Зважуйте ознаки, а в разі сумніву рахуйте людину.

Ботів неважко помітити, щойно ви перестанете слухати, що вони кажуть про себе, і подивитеся на все інше.