Коротко
- Headless-браузер — це справжній браузер без вікна, яким керує не людина, а програма. Керують ним інструменти на кшталт Puppeteer, Playwright і Selenium.
- Дешеві боти лише називають себе Chrome. Справжній Chrome під час кожного візиту надсилає кілька додаткових відомостей про себе, а такі боти — ні. Це легко впіймати за частку секунди.
- Сучасний headless Chrome — це і є справжній Chrome, просто без вікна. Він виглядає правильно в усьому, тож перевіряти лише те, що він каже про себе, замало.
- Видає його те, де він працює: орендовані сервери в дата-центрах, а не чийсь дім чи телефон.
У статті як відрізнити клік бота від кліку людини ми згадали перевірку «Chrome, який не Chrome». Тут — докладніше. За headless-браузерами стоїть чимало автоматизації, яку найважче помітити: скрапери, інструменти перевірки цільових сторінок, сервіси перевірки реклами й деякі безпекові «пісочниці».
Що таке headless-браузер
Уявіть звичайний браузер із вимкненим екраном. Перед ним ніхто не сидить. Програма каже йому, що робити: відкрий цю сторінку, натисни ту кнопку, заповни форму, зроби знімок екрана.
Найвідоміші інструменти для цього:
- Puppeteer — керує Chrome;
- Playwright — керує Chrome, Firefox і рушієм Safari;
- Selenium — давній стандарт автоматизації браузерів.
Це чесні інструменти. Розробники щодня тестують ними сайти. Але саме їх обирає кожен, хто хоче, щоб робот виглядав як людина.
Три різновиди «Chrome», які трапляються
1. Скрипт, який лише каже, що він Chrome
Найдешевший бот — узагалі не браузер. Це невелика програма, що завантажує сторінки й просто пише «я Chrome», коли представляється.
Проблема для нього в тому, що справжній сучасний Chrome ніколи не приходить лише з іменем. Щоразу, відкриваючи захищену сторінку, він надсилає ще кілька додаткових відомостей про себе й про те, що це за візит. Відвідувач, який називає себе свіжим Chrome, але не приносить жодної з них, — не Chrome. Це як людина у формі, але без жетона, посвідчення й документів.
2. Старий headless Chrome
Перший headless-режим був окремою, урізаною версією Chrome. І напрочуд чесною: він так і представлявся — «HeadlessChrome». Чимало автоматизації досі працює на ньому. Дехто змінює ім’я, але забуває, що воно є ще й в одній із тих додаткових відомостей, тож бот однаково себе видає.
3. Сучасний headless Chrome
З 2023 року в Chrome є «новий» headless-режим. Він запускає повноцінний браузер, тільки без вікна. Свіжі версії Puppeteer використовують його за замовчуванням. Він надсилає рівно те саме, що Chrome на вашому ноутбуці, бо це той самий Chrome.
Тут перевірка «що відвідувач каже про себе» вичерпується. Краще це чесно визнати, ніж удавати інакше.
Що бачить перенаправлення, а чого — ні
Коли людина натискає коротке посилання, перенаправлення має частку секунди, щоб вирішити, куди її відправити. Запустити щось усередині браузера відвідувача воно не може. Повноцінна вебсторінка може, але це довше.
Що перенаправлення бачить одразу
- Як відвідувач себе називає. «HeadlessChrome» будь-де — це робот, і крапка.
- Чи є звичні відомості від Chrome. «Chrome» без жодної з них — це скрипт у масці.
- Мова браузера. Справжні браузери повідомляють, якою мовою читає власник. Багато ботів цим не переймаються.
- Мережа. Headless-браузери майже завжди працюють на орендованих серверах. Якщо візит іде від хостинг-компанії чи хмари, це сервер, хай який бездоганний він на вигляд. Докладніше — у статті IP дата-центру чи домашній.
- Власне ім’я мережі, перевірене в обидва боки. Сервери часто мають хостингові імена, які їх видають, а підроблений «Googlebot» не може підтвердити ім’я, яке йому не належить. Див. зворотний DNS із прямим підтвердженням.
Що бачить лише вебсторінка
Якщо на сторінці працює скрипт, помітити можна більше: вбудовану позначку «браузером керує програма», відсутність справжньої відеокарти, незвичний стандартний розмір вікна, порожній список плагінів або часовий пояс, що не збігається з країною.
На сайті це корисно. На перенаправленні — задорого. Довелося б показувати зайву сторінку й змушувати кожну живу людину чекати. Багато сканерів скриптів узагалі не запускають. А ще є готові «stealth»-доповнення, створені саме для того, щоб ховати ці ознаки. Це гонка озброєнь, у яку не варто вступати лише заради того, щоб відправити людину на потрібну сторінку.
Чому найважливіша — мережа
Сучасний headless Chrome може ідеально скопіювати справжній Chrome. Але йому важко змінити те, де він живе. Масова автоматизація працює на серверах, а сервери стоять у дата-центрах. Тому перевірка мережі працює навіть тоді, коли все інше виглядає бездоганно.
Чесний виняток: боти, що пускають свій трафік через домашні чи мобільні підключення. Тоді мережа виглядає як у людини, і судити лишається хіба що за поведінкою. Жоден фільтр не ловить усіх ботів.
Помилки, яких варто уникати
- Не карайте Safari і Firefox. Вони не надсилають додаткових відомостей Chrome — і не повинні. Chrome на iPhone усередині — це Safari, тож він їх теж не надсилає. Перевіряйте лише тих, хто називає себе Chrome.
- Не судіть за однією відсутньою відомістю. Деякі інструменти приватності прибирають якусь одну деталь. Вважайте «Chrome» підробкою, лише коли бракує всіх звичних відомостей.
- Не блокуйте сервіси приватності. Люди з iCloud Private Relay чи Cloudflare WARP — справжні люди, хоч їхні візити й ідуть через мережі великих провайдерів. Ми писали про це в статті користувачі сервісів приватності — люди.
- Не ставте капчу на перенаправлення. Вона забирає справжні кліки й ледве сповільнює роботів.
Як це робить createlink.link
Anti-Bot фільтр createlink.link працює на вашому власному сервері й вирішує до того, як візит кудись піде. Жодної капчі, жодного «я не робот», відвідувачу нічого робити не треба.
- «Chrome, який не Chrome». Відвідувач, що називає себе сучасним Chrome, але не приносить жодної з відомостей, які справжній Chrome надсилає завжди, вашої сторінки не отримує. iPhone цим тестом не перевіряють ніколи, як і Safari чи Firefox.
- Чесний headless. Відвідувач, що представляється як «HeadlessChrome», вважається роботом.
- Мережа. Для сучасних headless-браузерів, які виглядають бездоганно, у гру вступає перевірка мережі: хостинг-компанії й хмари вашої цільової сторінки не отримують ніколи. Перелік мереж живе на нашій платформі й оновлюється там, тож на своєму сервері вам нічого міняти не треба.
Заблокований бот отримує натомість нейтральну сторінку. Він не витрачає жодного з трьох візитів посилання, тож усі вони лишаються для живої людини, якій ви писали. А кожне блокування видно в статистиці, у блоці «Люди проти ботів»: що зупинив фільтр, ви бачите цифрою.
Короткий чек-лист
- «HeadlessChrome» у тому, як відвідувач себе називає, — це робот.
- «Chrome», якому бракує всіх звичних відомостей Chrome, — це скрипт у масці.
- Ніколи не застосовуйте цей тест до Safari, Firefox чи iPhone.
- Чекайте, що сучасний headless Chrome виглядатиме бездоганно; ловіть його за тим, де він працює.
- Перевірки скриптом на сторінці лишіть для сайтів, а не для перенаправлень.
- Пропускайте сервіси приватності й обходьтеся без капчі.
Headless-браузер може ідеально скопіювати Chrome. Але йому однаково треба десь працювати — і саме це зазвичай його й видає.