Перейти к содержимому

Боты и чистая статистика Обновлено 5 мин чтения

Обратный DNS с прямым подтверждением: как отличить настоящий Googlebot от поддельного

Коротко

  • Любая программа может назваться «Googlebot». Имя в запросе — это просто текст, который посетитель пишет сам о себе.
  • У каждого адреса сервера может быть ещё и имя. Но это имя выбирает владелец адреса, так что подделка тоже может вписать googlebot.com.
  • Выход — задать вопрос дважды: «как называется этот адрес?», а потом «куда на самом деле указывает это имя?». Только Google может заставить имя на googlebot.com указывать обратно на свой адрес.
  • Если ответ возвращает тот же адрес — это настоящий Google. Если имени нет вовсе, это ничего не доказывает. У большинства живых людей особого имени нет, и блокировать их за это нельзя.

Представьте: в вашу дверь стучит незнакомец в куртке курьера. Куртка ничего не доказывает — купить такую может кто угодно. Поэтому вы звоните в службу доставки и спрашиваете: «Это ваш сотрудник?» Если там отвечают «да», вы открываете.

Проверка посетителя в интернете устроена так же. Обратный DNS с прямым подтверждением — это длинное название того самого звонка. Ниже — что это такое, почему это работает и как наш Anti-Bot фильтр использует это, чтобы защитить ваши ссылки.

Почему словам посетителя верить нельзя

Каждый визит на страницу приходит с короткой запиской от посетителя: «Я Chrome на Windows» или «Я Googlebot». Она называется User-Agent. Посетитель пишет её сам о себе, и никто её не проверяет.

Поэтому плохие боты так любят называться Googlebot. Многие сайты пускают Google везде, ведь никто не хочет пропасть из поиска. Значит, позаимствовать имя Google — самая дешёвая маскировка из всех. Доверяя записке, вы доверяете тому, кто её написал.

Нужно что-то, что посетитель не может выдумать. Это даёт адресная книга интернета — DNS.

Шаг первый: имя, которое адрес даёт сам себе

DNS вы знаете по повседневной жизни: вводите example.com, и DNS находит адрес сервера — набор цифр вроде 192.0.2.10.

Но работает он и наоборот. Можно взять адрес и спросить: «Как он называется?» Это и есть обратный DNS. Хостинги часто дают своим серверам такие имена, а у краулеров Google имена вроде crawl-66-249-66-1.googlebot.com.

Есть загвоздка. Имя для адреса задаёт владелец адреса, а не владелец домена, который стоит в имени. Если кто-то арендует дешёвый сервер, хостинг часто разрешит вписать любое имя — в том числе такое, что заканчивается на googlebot.com.

Так что сам по себе первый шаг — как та куртка курьера: заявление, а не доказательство.

Шаг второй: спросить имя, куда оно указывает

Теперь тот самый звонок. Берём имя из первого шага и ищем его обычным путём: «Куда указывает crawl-66-249-66-1.googlebot.com?»

На этот вопрос отвечает владелец домена, то есть для googlebot.com — Google, и только Google. Мошенник может прицепить любое имя к своему серверу, но не может заставить адресную книгу Google указывать на этот сервер.

Поэтому сравниваем:

  • Вернулся тот же адрес. Имя подтверждено. Это действительно Google.
  • Вернулся другой адрес. Имя позаимствовано. Это не Google, что бы он о себе ни говорил.
Схема: у настоящего Googlebot адрес 66.249.66.1 имеет имя crawl-66-249-66-1.googlebot.com, и это имя указывает обратно на 66.249.66.1, проверка пройдена; у подделки адрес 203.0.113.7 заявляет то же имя, но оно указывает на 66.249.66.1, проверка не пройдена
Подделка может позаимствовать имя, но не может заставить это имя указывать обратно на себя.

Вот и вся идея: «обратный» (адрес → имя), а затем «с прямым подтверждением» (имя → обратно к адресу). Именно этот способ описывает Google в своём >руководстве по проверке Googlebot. Bing, Apple и другие поисковики публикуют похожие инструкции для своих краулеров.

Так видны и серверы, которые притворяются людьми

Та же проверка помогает и с посетителями, которые вообще не называют себя поисковиками. Крупные хостинги и облака часто дают серверам имена, по которым видно, где те живут: например, имена на amazonaws.com (облако Amazon) или googleusercontent.com (облако Google).

Если «браузер» приходит с адреса, чьё подтверждённое имя принадлежит хостингу, — это сервер, а не человек дома. Люди не сидят в интернете из дата-центра. Вместе с проверкой сети это ловит большую часть автоматических инструментов, работающих в облаке.

Чего эта проверка не скажет

Тест точный, но у него есть границы, и их важно знать.

  • Нет имени — не значит бот. У большинства домашних и мобильных подключений особого имени нет или оно скучное шаблонное. Отсутствие имени — это «неизвестно», а не «подозрительно». Заблокировав таких, вы заблокируете живых людей.
  • Это занимает мгновение. Два вопроса к адресной книге требуют немного времени. Когда человек ждёт, пока откроется ссылка, проверка должна быть быстрой, поэтому она идёт после более быстрых проверок и запоминает недавние ответы.
  • Есть сомнение — пропустить человека. Если адресная книга отвечает медленно или молчит, визит считается человеческим. Медленный ответ никогда не должен отсекать настоящего клиента.
  • Смотреть на конец имени. Хитрец может создать имя googlebot.com.example.net. В нём есть «googlebot.com», но заканчивается оно на example.net — то есть принадлежит кому-то другому. Значение имеет только окончание.

Как это использует createlink.link

createlink.link — self-hosted сокращатель ссылок с Anti-Bot фильтром. Вы запускаете небольшой агент на своём сервере со своим доменом и создаёте персональные ссылки: одна ссылка на одного получателя — для писем, личных сообщений и SMS. Каждая ссылка открывается для трёх визитов живых людей.

Боты заходят на такие ссылки постоянно: почтовые сканеры безопасности, превью ссылок, поисковые краулеры, SEO-инструменты. Если бы бот тратил визиты человека, ссылка закрылась бы раньше, чем человек её увидел. А ваша статистика показывала бы «клики», которых не было.

Фильтр принимает решение на вашем сервере до того, как посетитель куда-то уйдёт. Он делает четыре проверки подряд, и обратный DNS с прямым подтверждением — третья из них:

  • Поисковые краулеры и SEO-сканеры распознаются по имени, которое должно подтвердиться в обе стороны. Поддельный «Googlebot» не пройдёт.
  • Подтверждённое имя хостинга означает сервер, а не человека.
  • Отсутствие имени означает человека. Настоящим посетителям с обычным домашним или мобильным интернетом из-за этого никогда не откажут.

Бот получает нейтральную страницу и не тратит ни одного из трёх визитов ссылки. Каждый остановленный бот виден в статистике, в блоке «Люди против ботов», так что работу фильтра вы видите в цифрах. Никакой капчи и кнопки «Я не робот»: человек просто сразу попадает на вашу страницу.

Фильтр сильный, но не всемогущий. Он читает то, что выдаёт запрос, и очень осторожный бот, который выглядит в точности как домашний пользователь, может проскочить. О трёх других проверках — в статье как отличить клик бота от клика человека.

Совет, если у вас свой почтовый сервер

Почтовые сервисы пользуются той же идеей. Когда сервер отправляет письмо, многие получатели проверяют, есть ли у его адреса имя и указывает ли это имя обратно на тот же адрес. Если нет, письмо выглядит подозрительно.

Если вы отправляете почту со своего сервера, попросите хостинг задать имя для его адреса (это могут называть «reverse DNS» или «PTR») и убедитесь, что это имя указывает обратно на тот же адрес. Мелкая настройка, а письма выглядят надёжнее.

Итог

  • То, что посетитель говорит сам о себе, ничего не доказывает.
  • Имя адреса выбирает владелец адреса, так что само по себе оно — лишь заявление.
  • Найдите имя ещё раз: если оно указывает обратно на тот же адрес, заявление доказано.
  • Нет имени — это «неизвестно», а не «бот».

Куртку курьера может надеть кто угодно. На звонок отвечает только настоящая служба доставки.