Перейти до вмісту

Боти й чиста статистика Оновлено 6 хв читання

Зворотний DNS із прямим підтвердженням: як відрізнити справжній Googlebot від підробки

Коротко

  • Будь-яка програма може назватися «Googlebot». Ім’я в запиті — це просто текст, який відвідувач пише сам про себе.
  • Кожна адреса сервера може мати ще й ім’я. Але це ім’я обирає власник адреси, тож підробка теж може вписати googlebot.com.
  • Вихід — поставити питання двічі: «як називається ця адреса?», а потім «куди насправді вказує це ім’я?». Лише Google може змусити ім’я на googlebot.com вказувати назад на свою адресу.
  • Якщо відповідь повертає ту саму адресу — це справжній Google. Якщо імені немає взагалі, це нічого не доводить. У більшості живих людей особливого імені немає, і блокувати їх за це не можна.

Уявіть: у ваші двері стукає незнайомець у куртці кур’єра. Куртка нічого не доводить — купити таку може будь-хто. Тож ви телефонуєте в службу доставки й питаєте: «Це ваш працівник?» Якщо там кажуть «так», ви відчиняєте.

Перевірка відвідувача в інтернеті працює так само. Зворотний DNS із прямим підтвердженням — це довга назва того самого дзвінка. Нижче — що це таке, чому воно працює і як наш Anti-Bot фільтр використовує його, щоб захистити ваші посилання.

Чому словам відвідувача не можна вірити

Кожен візит на сторінку приходить із коротенькою запискою від відвідувача: «Я Chrome на Windows» або «Я Googlebot». Вона називається User-Agent. Відвідувач пише її сам про себе, і ніхто її не перевіряє.

Тому погані боти так люблять називатися Googlebot. Багато сайтів пускають Google всюди, бо ніхто не хоче зникнути з пошуку. Отже, позичити ім’я Google — найдешевше маскування з усіх. Довіряючи записці, ви довіряєте тому, хто її написав.

Потрібне щось, чого відвідувач не може вигадати. Це дає адресна книга інтернету — DNS.

Крок перший: ім’я, яке адреса дає сама собі

DNS ви знаєте з повсякденного життя: вводите example.com, і DNS знаходить адресу сервера — набір цифр на кшталт 192.0.2.10.

Але працює він і навпаки. Можна взяти адресу й спитати: «Як вона називається?» Це і є зворотний DNS. Хостинги часто дають своїм серверам такі імена, а краулери Google мають імена на кшталт crawl-66-249-66-1.googlebot.com.

Є заковика. Ім’я для адреси задає власник адреси, а не власник домену, що стоїть в імені. Якщо хтось орендує дешевий сервер, хостинг часто дозволить вписати будь-яке ім’я — зокрема таке, що закінчується на googlebot.com.

Тож сам по собі перший крок — як та куртка кур’єра: заява, а не доказ.

Крок другий: спитати ім’я, куди воно вказує

Тепер той самий дзвінок. Беремо ім’я з першого кроку й шукаємо його звичайним шляхом: «Куди вказує crawl-66-249-66-1.googlebot.com?»

На це питання відповідає власник домену, тобто для googlebot.com — Google, і тільки Google. Шахрай може причепити будь-яке ім’я до свого сервера, але не може змусити адресну книгу Google вказувати на цей сервер.

Тож порівнюємо:

  • Повернулася та сама адреса. Ім’я підтверджено. Це справді Google.
  • Повернулася інша адреса. Ім’я позичене. Це не Google, хоч би що він про себе казав.
Схема: у справжнього Googlebot адреса 66.249.66.1 має ім’я crawl-66-249-66-1.googlebot.com, і це ім’я вказує назад на 66.249.66.1, тож перевірку пройдено; у підробки адреса 203.0.113.7 заявляє те саме ім’я, але воно вказує на 66.249.66.1, тож перевірку не пройдено
Підробка може позичити ім’я, але не може змусити це ім’я вказувати назад на себе.

Ось і вся ідея: «зворотний» (адреса → ім’я), а потім «з прямим підтвердженням» (ім’я → назад до адреси). Саме цей спосіб описує Google у своєму >посібнику з перевірки Googlebot. Bing, Apple та інші пошуковики публікують подібні інструкції для своїх краулерів.

Так видно й сервери, що вдають людей

Та сама перевірка допомагає і з відвідувачами, які взагалі не називають себе пошуковиками. Великі хостинги й хмари часто дають серверам імена, з яких видно, де ті живуть: наприклад, імена на amazonaws.com (хмара Amazon) чи googleusercontent.com (хмара Google).

Якщо «браузер» приходить з адреси, чиє підтверджене ім’я належить хостингу, — це сервер, а не людина вдома. Люди не гортають інтернет із дата-центру. Разом із перевіркою мережі це ловить більшість автоматичних інструментів, що працюють у хмарі.

Чого ця перевірка не скаже

Тест точний, але має межі, і їх важливо знати.

  • Немає імені — не означає бот. Більшість домашніх і мобільних підключень не мають особливого імені або мають нудне шаблонне. Відсутнє ім’я — це «невідомо», а не «підозріло». Заблокувавши таких, ви заблокуєте живих людей.
  • Це займає мить. Два питання до адресної книги потребують трохи часу. Коли людина чекає, поки відкриється посилання, перевірка має бути швидкою, тому вона йде після швидших перевірок і пам’ятає недавні відповіді.
  • Коли є сумнів — пропустити людину. Якщо адресна книга відповідає повільно або мовчить, візит вважається людським. Повільна відповідь ніколи не повинна відвертати справжнього клієнта.
  • Дивитися на кінець імені. Хитрун може створити ім’я googlebot.com.example.net. У ньому є «googlebot.com», але закінчується воно на example.net — тобто належить комусь іншому. Важить лише закінчення.

Як це використовує createlink.link

createlink.link — self-hosted скорочувач посилань з Anti-Bot фільтром. Ви запускаєте невеликий агент на своєму сервері зі своїм доменом і створюєте персональні посилання: одне посилання на одного отримувача — для листів, особистих повідомлень і SMS. Кожне посилання відкривається для трьох візитів живих людей.

Боти навідуються до таких посилань постійно: поштові сканери безпеки, прев’ю посилань, пошукові краулери, SEO-інструменти. Якби бот витрачав візити людини, посилання закрилося б раніше, ніж людина його побачила. А ваша статистика показувала б «кліки», яких не було.

Фільтр ухвалює рішення на вашому сервері до того, як відвідувач кудись піде. Він робить чотири перевірки поспіль, і зворотний DNS із прямим підтвердженням — третя з них:

  • Пошукові краулери та SEO-сканери розпізнаються за іменем, яке має підтвердитися в обидва боки. Підроблений «Googlebot» не пройде.
  • Підтверджене ім’я хостингу означає сервер, а не людину.
  • Відсутнє ім’я означає людину. Справжнім відвідувачам зі звичайним домашнім чи мобільним інтернетом через це ніколи не відмовлять.

Бот отримує нейтральну сторінку й не витрачає жодного з трьох візитів посилання. Кожен зупинений бот видно у статистиці, у блоці «Люди проти ботів», тож роботу фільтра ви бачите в цифрах. Жодної капчі й кнопки «Я не робот»: людина просто одразу потрапляє на вашу сторінку.

Фільтр сильний, але не всемогутній. Він читає те, що видає запит, і дуже обережний бот, який виглядає точнісінько як домашній користувач, може проскочити. Про три інші перевірки — у статті як відрізнити клік бота від кліку людини.

Порада, якщо у вас власний поштовий сервер

Поштові сервіси користуються тією ж ідеєю. Коли сервер надсилає лист, багато одержувачів перевіряють, чи має його адреса ім’я і чи вказує це ім’я назад на ту саму адресу. Якщо ні, лист виглядає підозріло.

Якщо ви надсилаєте пошту зі свого сервера, попросіть хостинг задати ім’я для його адреси (це можуть називати «reverse DNS» або «PTR») і переконайтеся, що це ім’я вказує назад на ту саму адресу. Дрібне налаштування, а листи виглядають надійніше.

Підсумок

  • Те, що відвідувач каже сам про себе, нічого не доводить.
  • Ім’я адреси обирає власник адреси, тож саме по собі воно — лише заява.
  • Знайдіть ім’я ще раз: якщо воно вказує назад на ту саму адресу, заяву доведено.
  • Немає імені — це «невідомо», а не «бот».

Куртку кур’єра може вдягнути будь-хто. На дзвінок відповідає лише справжня служба доставки.