Перейти к содержимому

Боты и чистая статистика Обновлено 5 мин чтения

Дата-центр или домашняя сеть? Что ASN говорит о клике

Коротко

  • Каждый IP-адрес принадлежит какой-то сети: домашнему провайдеру, мобильному оператору, облаку, хостинговой компании. У каждой такой сети есть номер — ASN.
  • ASN показывает, откуда пришёл клик. «Браузер», который сидит в дата-центре, почти никогда не оказывается человеком, нажавшим ссылку дома.
  • Осторожность нужна в трёх случаях: сети приватности (настоящие люди, похожие на дата-центр), VPN (тоже люди) и домашние прокси (роботы, похожие на людей дома).
  • Сеть — одна сильная подсказка среди нескольких, а не единственная. В createlink.link эта проверка работает на платформе вместо вас.

Вы отправляете персональную ссылку, и кто-то её открывает. Всё, что вы видите, — IP-адрес, набор цифр. Сам по себе он говорит очень мало. Полезным его делает ответ на вопрос: чьей сети он принадлежит. Это лучший отдельный способ отличить сервер от телефона человека.

Что такое ASN простыми словами

Интернет — не одна большая сеть. Это тысячи отдельных сетей, соединённых между собой: ваш домашний провайдер, мобильный оператор, облако Amazon, компания, которая сдаёт серверы в аренду, университет.

У каждой такой сети есть свой зарегистрированный номер — ASN (номер автономной системы). Представьте его как название дома. IP-адрес — номер квартиры, а ASN говорит, в каком она доме и кому этот дом принадлежит.

Есть публичные базы, которые отвечают на один простой вопрос: «этот IP-адрес — из какой сети?» Их нужно держать свежими: диапазоны адресов переходят к новым владельцам, облака постоянно растут. Старая база начинает ошибаться.

Пять видов сетей

Пять видов сетей: домашний интернет и мобильные операторы — это люди, хостинг и облака — серверы, сети приватности работают через крупных провайдеров, но несут людей, а домашние прокси выглядят как домашние сети
Сеть показывает, из какого места пришёл клик, а не кто за ним стоит.

Домашний интернет

Кабельные, оптоволоконные и DSL-провайдеры. Один адрес — обычно одна семья. Клики отсюда почти всегда от людей.

Мобильные операторы

Тоже люди, но с нюансом. Оператор часто прячет много телефонов за одним общим адресом. Сотни и даже тысячи настоящих людей могут появляться под одним IP.

Поэтому если один мобильный адрес кликает много — не паникуйте и не блокируйте его. Возможно, это целый город, а не один усердный робот.

Хостинг и облака

Amazon, Google Cloud, Microsoft Azure, DigitalOcean, Hetzner, OVH и сотни компаний поменьше. В этих сетях живут серверы, а не люди. Именно там работают скрипты, сканеры, проверяльщики ссылок и «браузеры» без человека.

Хороший пример: когда ваше письмо приходит в компанию, её служба безопасности часто открывает каждую ссылку, чтобы её проверить. Эта проверка идёт на сервере в дата-центре, а не на ноутбуке читателя.

Вот почему сеть так важна. Робот может скопировать всё, что настоящий браузер рассказывает о себе. А вот поменять, где он работает, ему непросто. Сервер остаётся в серверном доме.

Сети приватности: настоящие люди, похожие на дата-центр

Это ловушка. iCloud Private Relay (на iPhone и Mac) и Cloudflare WARP пропускают трафик обычных людей через сети крупных компаний: Cloudflare, Akamai и Fastly. В базах сетей они выглядят как инфраструктура — в одной группе с облаками.

Но за ними — настоящие люди, часто с новыми iPhone. Примете эти сети за «серверы» — и незаметно отвернёте часть лучших читателей. Поэтому их нужно распознать первыми и пропустить, ещё до любого правила «дата-центр = робот». Подробно об этом — в статье почему пользователи сетей приватности — это люди.

Ещё одна ловушка: сети нельзя сортировать, ища в названиях слова вроде «cloud» или «host». В «Cloudflare» есть «cloud», а пользователи его сети приватности — люди. Сети сортируют по номеру, из проверенного списка.

Домашние прокси: роботы, похожие на людей дома

Часть автоматизации намеренно пускают через чужие домашние или мобильные подключения. Сервисы, которые это продают, называются резидентными прокси. Для базы сетей такой визит выглядит точь-в-точь как человек дома.

Проверка сети тут бессильна. Другие подсказки иногда помогают: «браузер», которому не хватает того, что присылает любой настоящий браузер; клики слишком быстрые или слишком ровные для человека; или один адрес, который открывает ссылки многих разных людей.

VPN: честный компромисс

Многие платные VPN-сервисы выводят своих пользователей через хостинговые сети. Пользователи — настоящие люди, но их визиты приходят из тех же сетей, что и серверы.

Поэтому фильтр, который не пускает трафик из дата-центров на вашу страницу, отвернёт и часть VPN-пользователей. Это осознанный выбор, а не ошибка. Для большинства отправителей VPN-пользователи — небольшая доля, а из дата-центров приходят как раз сканеры и скрипты. Об этом компромиссе стоит знать, прежде чем оценивать свои цифры.

Смешанные сети

Некоторые сети несут сразу несколько видов трафика. В сети крупной технологической компании рядом могут быть её облако, поисковые роботы и сканеры безопасности. Собственная сеть большой корпорации может обслуживать и офис, и серверы.

Поэтому сеть — сильная подсказка, а не окончательный ответ. Подтверждают её другие проверки: что браузер говорит о себе, ритм кликов и проверка имени, которую робот не подделает.

Разумный порядок проверок

  1. Сначала сети приватности. Если сеть — известная сеть приватности, считайте визит человеческим.
  2. Роботы, которые представляются. Поисковые роботы и проверяльщики ссылок, которые говорят, кто они, и чьё имя можно подтвердить.
  3. Хостинг и облака. Браузер из дата-центра — не человек.
  4. Всё остальное. Домашние и мобильные посетители проходят остальные проверки.
  5. Если сомневаетесь — считайте человеком. Пропущенный сканер обходится дешевле, чем потерянный клиент.

Как это использует createlink.link

Anti-Bot фильтр в createlink.link включает именно эту проверку как один из четырёх рубежей защиты. База сетей живёт на нашей платформе и там же обновляется, поэтому на вашем сервере ничего настраивать не нужно.

Вот что происходит, когда кто-то открывает вашу персональную ссылку:

  • Сети приватности распознаются первыми и проходят как люди.
  • Хостинг, облака и серверные прокси никогда не получают вашу целевую страницу, каким бы безупречным ни выглядел браузер. Им показывается нейтральная страница.
  • Заблокированный робот не тратит ссылку. Каждая персональная ссылка принимает три перехода настоящих людей, и роботы в них не засчитываются.
  • Вы видите это в цифрах. Каждая блокировка видна в статистике, в блоке «Люди против ботов», так что вы знаете, какая доля трафика была не человеческой.

Проверка сети работает вместе с остальными рубежами: что запрос говорит о себе, «Chrome, который не Chrome» и подтверждённая проверка имени. Откуда вообще берутся лишние клики — в статье почему клики по вашим ссылкам ненастоящие.

И честно: идеальных фильтров не бывает. Домашние прокси могут проскочить мимо проверки сети, а часть VPN-пользователей увидит нейтральную страницу. Цель — чистая статистика и защищённая страница, а не обещание 100%.

Короткий чек-лист

  • Смотрите, из какой сети пришёл клик, а не только на номер IP.
  • Пропускайте сети приватности (выходы Cloudflare, Akamai, Fastly) до любого правила про дата-центры.
  • Сортируйте сети по номеру из проверенного списка, а не по словам в названии.
  • Не блокируйте мобильный адрес за то, что он много кликает: за ним много людей.
  • Помните, что домашние прокси одной сетью не поймать.
  • Знайте о компромиссе с VPN, прежде чем оценивать цифры.

IP-адрес — это просто число. Сеть за ним говорит то, с чем уже можно работать: этот клик пришёл из гостиной или из серверной стойки?