Перейти до вмісту

Боти й чиста статистика Оновлено 5 хв читання

Як працює Anti-Bot фільтр: чотири перевірки, перш ніж відкриється ваша сторінка

Коротко

  • Кожен клік по посиланню createlink.link проходить чотири швидкі перевірки, перш ніж відвідувача пустять далі. Три з них працюють на вашому власному сервері, четверта — на платформі.
  • Жива людина одразу потрапляє на вашу сторінку. Бот отримує нейтральну сторінку, і в статистиці він рахується окремо.
  • Візит бота не витрачає посилання. Усі три переходи персонального посилання лишаються для живих людей.
  • Нікому не треба розв’язувати капчу чи ставити галочку «я не робот». Фільтр вирішує сам, за мить.

Коли ви надсилаєте посилання, відкривають його не лише люди. Його відкривають поштові сканери безпеки, прев’ю в месенджерах, пошукові краулери й усілякі скрипти. Якби всі вони рахувалися як кліки, статистика брехала б, а персональні посилання закінчувалися б раніше, ніж до них дійде потрібна людина.

Тому, перш ніж хтось потрапить на вашу сторінку, фільтр ставить чотири запитання. Уявіть охоронця на вході, який перевіряє кілька простих речей. Більшість відвідувачів проходить за секунду. Тих, хто не підходить, ввічливо направляють до інших дверей.

Клік по черзі проходить чотири перевірки: 1 браузер представляється, 2 Chrome, який насправді не Chrome, 3 перевірка імені в обидва боки — усі на вашому сервері; 4 список мереж дата-центрів — на платформі. Пройшов усі чотири: відвідувач потрапляє на вашу сторінку. Не пройшов будь-яку: нейтральна сторінка, рахується як бот.
Найшвидші перевірки йдуть першими, тож жива людина ніколи не чекає зайвої перевірки.

Перевірка 1: чи представляється він як браузер?

Щоразу, коли браузер відкриває сторінку, він непомітно повідомляє сайту дещо про себе: своє ім’я (наприклад, «Chrome на Windows») і мови, яким надає перевагу його власник.

Справжні браузери роблять це завжди. Багато ботів не переймаються. Одні не надсилають імені взагалі або надсилають дивне коротке. Інші чесно кажуть, що вони бот чи краулер. Багато хто не вказує бажану мову, бо за ним не сидить людина.

Ця перевірка нічого не коштує й ловить чесних і лінивих ботів. Тому вона йде першою.

Перевірка 2: «Chrome», який насправді не Chrome

Хитріші скрипти вдають із себе браузер. Вони копіюють ім’я Chrome і сподіваються, що цього вистачить.

Але справжній сучасний Chrome надсилає не лише ім’я. Разом із ним завжди йдуть кілька додаткових деталей — як паспорт, у якому завжди є фото й печатка. Коли запит каже «я Chrome», а цих деталей немає, це скрипт під ім’ям Chrome. Вашої сторінки він не отримає. Тут же ловляться браузери, що відкрито працюють у «безголовому» режимі (без вікна — так їх використовують інструменти автоматизації).

Важливий виняток: на iPhone Chrome влаштований інакше й цих деталей не надсилає. Тому iPhone цим тестом ніколи не судять. Жива людина з iPhone не постраждає через те, що користується Chrome.

Якщо цікаві подробиці — ось як розпізнають headless-браузери.

Перевірка 3: кому насправді належить ця адреса?

Кожен відвідувач приходить з якоїсь інтернет-адреси. До багатьох адрес прив’язане ще й ім’я — трохи як визначник номера в телефоні. Це називається зворотним DNS. Ім’я часто підказує, звідки прийшов відвідувач: від домашнього провайдера, з мобільної мережі, від хостинг-компанії чи пошукової системи.

Є підступ: будь-хто може написати на своїй адресі будь-яке ім’я. Фальшивий бот може назватися «Googlebot». Тому, коли ім’я каже, що це пошукова система, фільтр перевіряє і в зворотний бік: чи підтверджує сам Google, що ця адреса його? Підтвердити це може лише справжній власник. Фальшивий «Googlebot» тут не пройде.

Якщо ім’я належить хостинг-компанії, клік прийшов із сервера в дата-центрі, а не від людини вдома чи з телефона.

А якщо в адреси немає імені взагалі, це не вважається ботом. Багато домашніх провайдерів його просто не прописують, і ми не хочемо через це викидати живих людей. Докладніше — як відрізнити справжнього Googlebot від підробки.

Перевірка 4: чи не з дата-центру він?

Не кожна серверна адреса має промовисте ім’я. Тому платформа тримає список мереж, що належать хостинг-компаніям і хмарам, і перевіряє, до якої мережі належить кожна адреса. Живі люди заходять із домашніх чи мобільних мереж. «Браузер», що сидить усередині дата-центру, — майже завжди програма, хоч яким бездоганним він здається.

Цей список живе на платформі й там же оновлюється. На вашому сервері нічого міняти не треба.

Є один свідомий виняток — сервіси приватності, як-от iCloud Private Relay і Cloudflare WARP. Вони працюють на великих мережах, але ними користуються живі люди, яким просто важлива приватність. Тож вони проходять. Чому так — у статті користувачі сервісів приватності — люди, а не боти, а про мережі — у статті дата-центр чи домашня мережа?.

Що відбувається після чотирьох перевірок

  • Пройшов усі чотири. Відвідувач одразу потрапляє на вашу сторінку й нічого не помічає.
  • Не пройшов будь-яку. Відвідувач бачить спокійну нейтральну сторінку. Ваша сторінка лишається прихованою, а клік потрапляє в статистику як бот.
  • Посилання не витрачається. Кожне персональне посилання діє на три переходи живих людей. Сканер, що його відкрив, жодного з них не витрачає.
  • Ви бачите це в цифрах. У статистиці люди й боти рахуються окремо для кожного посилання. Захист доводить себе цифрою, а не обіцянкою.

Чому зроблено саме так

Працює з першого кліку. Нічого налаштовувати не треба. Чотири перевірки увімкнені від початку, і про них дбає платформа. Нові правила приходять з оновленнями агента.

Перевіряє, чи сходиться історія. Список імен ботів ловить лише тих, хто в цьому зізнається. Перевірки 2, 3 і 4 ловлять тих, хто бреше: «Chrome», що поводиться не як Chrome, «Googlebot», якого Google не впізнає, «браузер» у дата-центрі.

Дуже старається не загубити живих людей. Коли перевірка не може дати чіткої відповіді (наприклад, пошук імені триває задовго), клік рахується як людський. Втратити справжнього клієнта для вас дорожче, ніж порахувати одного зайвого бота.

Кожне посилання — для однієї людини. Оскільки кожен одержувач отримує власне посилання на три переходи, переслане чи скопійоване посилання не відкриють тисячу разів. Докладніше — чому одне посилання для всіх — це ризик.

Працює на вашому власному сервері. Перевірки відбуваються на вашому VPS і вашому домені. Жоден інший клієнт їх із вами не ділить.

Чого фільтр не вміє

Чесно: жоден фільтр не ловить усього. Ось наші межі:

  • Ні капчі, ні перевірок через JavaScript. Це свідомий вибір: вашим відвідувачам ніколи не треба нічого робити. Фільтр вирішує лише за тим, що видно в момент відкриття посилання.
  • Боти на домашньому інтернеті. Програма, що працює через чиєсь домашнє підключення й дуже ретельно налаштована, може виглядати як людина й пройти.
  • VPN, що працюють із дата-центрів. Живу людину з таким VPN буде визнано ботом. Це компроміс, на який ми пішли свідомо. Сервіси приватності, згадані вище, — виняток.

У трекерів рекламного трафіку є власні фільтри ботів, але це інша задача. createlink.link — для персональних посилань у листах, особистих повідомленнях і SMS. Він не для пуш-, поп- чи нативної реклами і не для груп і каналів у Telegram та WhatsApp. Докладніше — для кого createlink.link.

Короткий чекліст

  • Дивіться на людей і ботів по кожному посиланню. Різкий стрибок ботів зазвичай означає поштовий сканер чи прев’ю посилання, а не погану аудиторію.
  • Бачите «Googlebot» серед кліків? Справжнього Googlebot підтверджує сам Google. Підробки не проходять перевірку 3.
  • Не блокуйте сервіси приватності гуртом — за ними живі люди.
  • Давайте кожному одержувачу власне посилання, щоб сканери й пересилання не могли його вичерпати.