[03] System Design - Проектируем Поисковой Spider

В данном видео мы будем проектировать Поисковой Spider(Crawler) для обхода 10 миллиардов веб-страниц. Мы разберем как поддержать обработку динамических страниц(SPA, SSR), как справляться с падениями без потери прогресса, а также рассчитаем сколько ресурсов нам понадобится, чтобы обойти все страницы за 5 дней. Дополнительно обсудим безопасность и противодействие сайтам-ловушкам. Если у вас появятся вопросы, то обязательно оставляйте их в комментариях - я буду на все вопросы оперативно отвечать. Если понравилось видео, ставьте лайки и подписывайтесь на канал. Я буду выкладывать много интересного! 0:00 Вступление 0:53 Требования 2:37 High Level Design 14:46 Fault Tolerance Deep Dive 32:00 Рассчитываем ресурсы 34:21 Rate Limiter Deep Dive 42:00 Dynamic Content Deep Dive