Проблемы при масштабировании сервиса для обхода антибот-систем | Евгений Слайковский

Подписывайтесь на наш канал здесь и в телеграм https://t.me/meetups_evrone, чтобы быть в курсе будущих митапов и не пропускать полезные доклады! Евгений Слайковский рассказывает о технических и архитектурных проблемах, с которыми сталкиваются разработчики сервисов для обхода антибот-систем. В докладе рассматриваются методы имитации браузеров, подделки фингерпринтов и сложности масштабирования систем, взаимодействующих с защитами вроде Cloudflare, Datadome и Incapsula. Этот материал будет полезен как специалистам по парсингу, так и разработчикам антибот-защиты. Сайт: https://evgeny.me Телеграм: t.me/Verz1lka 00:00 - Введение 00:58 - Зачем собирают данные 01:37 - Где мы сейчас? 02:05 - Что под капотом 02:17 - Пример задачи 02:56 - Вызов 03:10 - Как можно управлять браузером 03:25 - Chrome devtools protocol 04:08 - Фингерпринт и его компоненты 05:47 - Подготовка теста 06:20 - Изменение User-Agent [playwright] 07:49 - Тестируем Web Workers 08:20 - Тестируем iframes 08:46 - Изменение User-Agent-аргументом 09:12 - Проблема только в JS? 09:41 - Client Hint headers 10:54 - Артефакты автоматизации 12:09 - Аномалии фингерпринта пок освенным признакам 12:27 - Шрифты 14:28 - Canvas/WebGL/Picasso 15:58 - Chrome vs Chromium 16:47 - Консистентность и экзотика 18:11 - Обновления