Common Crawl: Цифровая память человечества

Common Crawl — это некоммерческая организация, которая делает, казалось бы, невозможную вещь. Каждый месяц их боты обходят ВЕСЬ доступный интернет и делают его "снимок" (снэпшот). А теперь представьте, что у вас есть Машина Времени. Вы можете вернуться на месяц, год или 7 лет назад и посмотреть, как выглядел сайт жертвы. Какие там были ссылки? Какие забытые поддомены работали? Какие ключи разработчики случайно забыли в коде, а потом удалили? Эту машину времени зовут Common Crawl. Подробно о проекте и MVP в Телеграмм канале https://t.me/best_automate