010. Проблемы эффективности поисковых систем - Ismail Sengor Altingovde

Поисковые системы каждый день отвечают на миллионы запросов. В поиске точных ответов они просматривают миллиарды веб-страниц за десятую долю секунды. Это возможно благодаря ряду инструментов, встроенных в архитектуру поиска. Одна из самых важных и распространенных технологий поиска — это кэширование различных видов данных, таких как результаты поиска, инвертированные списки и их пересечения, документы и т.д. Эта технология отвечает за повышение производительности поиска и уменьшение времени отклика. В начале доклада Исмаил в общих чертах рассказал о том, что они делают для решения проблемы эффективности и масштабирования поиска на разных уровнях архитектуры поисковой системы. Далее спикер представил некоторые результаты недавней работы по улучшению производительности кэша поисковой системы. Исмаил детально описал устройство архитектуры кэша и стратегии отбора содержания кэша с учетом затрат на обработку запросов. В конце доклада спикер рассказал о стратегиях по аннулированию устаревших записей в кэше результатов.