Коротко
- Headless-браузер — это настоящий браузер без окна, которым управляет не человек, а программа. Управляют им инструменты вроде Puppeteer, Playwright и Selenium.
- Дешёвые боты только называют себя Chrome. Настоящий Chrome при каждом визите присылает несколько дополнительных сведений о себе, а такие боты — нет. Это легко поймать за долю секунды.
- Современный headless Chrome — это и есть настоящий Chrome, просто без окна. Он выглядит правильно во всём, так что проверять только то, что он говорит о себе, мало.
- Выдаёт его то, где он работает: арендованные серверы в дата-центрах, а не чей-то дом или телефон.
В статье как отличить клик бота от клика человека мы упомянули проверку «Chrome, который не Chrome». Здесь — подробнее. За headless-браузерами стоит немало автоматизации, которую труднее всего заметить: скраперы, инструменты проверки целевых страниц, сервисы проверки рекламы и некоторые защитные «песочницы».
Что такое headless-браузер
Представьте обычный браузер с выключенным экраном. Перед ним никто не сидит. Программа говорит ему, что делать: открой эту страницу, нажми ту кнопку, заполни форму, сделай снимок экрана.
Самые известные инструменты для этого:
- Puppeteer — управляет Chrome;
- Playwright — управляет Chrome, Firefox и движком Safari;
- Selenium — давний стандарт автоматизации браузеров.
Это честные инструменты. Разработчики каждый день тестируют ими сайты. Но именно их выбирает каждый, кто хочет, чтобы робот выглядел как человек.
Три вида «Chrome», которые встречаются
1. Скрипт, который только говорит, что он Chrome
Самый дешёвый бот — вообще не браузер. Это небольшая программа, которая загружает страницы и просто пишет «я Chrome», когда представляется.
Беда для него в том, что настоящий современный Chrome никогда не приходит с одним только именем. Каждый раз, открывая защищённую страницу, он присылает ещё несколько дополнительных сведений о себе и о том, что это за визит. Посетитель, который называет себя свежим Chrome, но не приносит ни одного из них, — не Chrome. Это как человек в форме, но без жетона, удостоверения и документов.
2. Старый headless Chrome
Первый headless-режим был отдельной, урезанной версией Chrome. И на удивление честной: он так и представлялся — «HeadlessChrome». Немало автоматизации до сих пор работает на нём. Некоторые меняют имя, но забывают, что оно есть ещё и в одном из тех дополнительных сведений, так что бот всё равно себя выдаёт.
3. Современный headless Chrome
С 2023 года в Chrome есть «новый» headless-режим. Он запускает полноценный браузер, только без окна. Свежие версии Puppeteer используют его по умолчанию. Он присылает ровно то же, что Chrome на вашем ноутбуке, потому что это тот же самый Chrome.
Здесь проверка «что посетитель говорит о себе» заканчивается. Лучше честно это признать, чем делать вид, что это не так.
Что видит редирект, а чего — нет
Когда человек нажимает короткую ссылку, у редиректа есть доля секунды, чтобы решить, куда его отправить. Запустить что-то внутри браузера посетителя он не может. Полноценная веб-страница может, но это дольше.
Что редирект видит сразу
- Как посетитель себя называет. «HeadlessChrome» где угодно — это робот, и точка.
- Есть ли привычные сведения от Chrome. «Chrome» без единого из них — это скрипт под маской.
- Язык браузера. Настоящие браузеры сообщают, на каком языке читает владелец. Многие боты об этом не заботятся.
- Сеть. Headless-браузеры почти всегда работают на арендованных серверах. Если визит идёт от хостинг-компании или облака, это сервер, каким бы безупречным он ни выглядел. Подробнее — в статье IP дата-центра или домашний.
- Собственное имя сети, проверенное в обе стороны. У серверов часто хостинговые имена, которые их выдают, а поддельный «Googlebot» не может подтвердить имя, которое ему не принадлежит. См. обратный DNS с прямым подтверждением.
Что видит только веб-страница
Если на странице работает скрипт, заметить можно больше: встроенную отметку «браузером управляет программа», отсутствие настоящей видеокарты, необычный стандартный размер окна, пустой список плагинов или часовой пояс, который не совпадает со страной.
На сайте это полезно. На редиректе — слишком дорого. Пришлось бы показывать лишнюю страницу и заставлять каждого живого человека ждать. Многие сканеры скрипты вообще не запускают. А ещё есть готовые «stealth»-дополнения, созданные как раз для того, чтобы прятать эти признаки. Это гонка вооружений, в которую не стоит ввязываться ради того, чтобы отправить человека на нужную страницу.
Почему важнее всего сеть
Современный headless Chrome может идеально скопировать настоящий Chrome. Но ему трудно изменить то, где он живёт. Массовая автоматизация работает на серверах, а серверы стоят в дата-центрах. Поэтому проверка сети работает даже тогда, когда всё остальное выглядит безупречно.
Честное исключение: боты, которые пускают свой трафик через домашние или мобильные подключения. Тогда сеть выглядит как у человека, и судить остаётся разве что по поведению. Ни один фильтр не ловит всех ботов.
Ошибки, которых стоит избегать
- Не наказывайте Safari и Firefox. Они не присылают дополнительных сведений Chrome — и не должны. Chrome на iPhone внутри — это Safari, так что он их тоже не присылает. Проверяйте только тех, кто называет себя Chrome.
- Не судите по одному отсутствующему сведению. Некоторые инструменты приватности убирают какую-то одну деталь. Считайте «Chrome» подделкой, только когда не хватает всех привычных сведений.
- Не блокируйте сервисы приватности. Люди с iCloud Private Relay или Cloudflare WARP — настоящие люди, хотя их визиты и идут через сети крупных провайдеров. Мы писали об этом в статье пользователи сервисов приватности — люди.
- Не ставьте капчу на редирект. Она отнимает настоящие клики и едва замедляет роботов.
Как это делает createlink.link
Anti-Bot фильтр createlink.link работает на вашем собственном сервере и решает до того, как визит куда-то уйдёт. Никакой капчи, никакого «я не робот», посетителю ничего делать не нужно.
- «Chrome, который не Chrome». Посетитель, который называет себя современным Chrome, но не приносит ни одного из сведений, которые настоящий Chrome присылает всегда, вашу страницу не получает. iPhone этим тестом не проверяют никогда, как и Safari или Firefox.
- Честный headless. Посетитель, который представляется как «HeadlessChrome», считается роботом.
- Сеть. Для современных headless-браузеров, которые выглядят безупречно, в дело вступает проверка сети: хостинг-компании и облака вашу целевую страницу не получают никогда. Список сетей живёт на нашей платформе и обновляется там, так что на своём сервере вам ничего менять не нужно.
Заблокированный бот получает вместо этого нейтральную страницу. Он не тратит ни одного из трёх визитов ссылки, так что все они остаются для живого человека, которому вы писали. А каждая блокировка видна в статистике, в блоке «Люди против ботов»: что остановил фильтр, вы видите цифрой.
Короткий чек-лист
- «HeadlessChrome» в том, как посетитель себя называет, — это робот.
- «Chrome», которому не хватает всех привычных сведений Chrome, — это скрипт под маской.
- Никогда не применяйте этот тест к Safari, Firefox или iPhone.
- Ожидайте, что современный headless Chrome будет выглядеть безупречно; ловите его по тому, где он работает.
- Проверки скриптом на странице оставьте для сайтов, а не для редиректов.
- Пропускайте сервисы приватности и обходитесь без капчи.
Headless-браузер может идеально скопировать Chrome. Но ему всё равно нужно где-то работать — и именно это обычно его и выдаёт.