19.Разбор системы Snowflake. System Analysis (Snowflake)
Lecture #19: System Analysis (Snowflake) Краткое содержание: Архитектурный анализ облачного хранилища данных Snowflake: - Трёхуровневая архитектура с полным разделением слоев: - Centralized Storage: неизменяемые микропартиции (micro-partitions) поверх облачного объектного хранилища (Amazon S3, Azure Blob, GCS). - Multi-Cluster Compute: независимые виртуальные склады (Virtual Warehouses), масштабируемые без остановки системы и изоляция рабочих нагрузок. - Cloud Services: глобальное управление транзакциями, каталог метаданных, оптимизатор и контроль доступа. - Движок выполнения запросов: - Векторизованный push-движок с прекомпилированными C++ шаблонами для различных типов данных. - Генерация кода через LLVM используется исключительно для быстрой сериализации/десериализации данных между воркерами. - Прямая пересылка промежуточных данных между воркерами без промежуточных шаффл-файлов. - Балансировка и отказоустойчивость: - Механизм кражи работы (Work Stealing): быстрые узлы забирают необработанные микропартиции у отстающих, читая их напрямую из объектного хранилища. - Гибридные таблицы Unistore (2022): - Поддержка транзакционных нагрузок (OLTP) с построчным хранением и фоновым слиянием в микропартиции. Дата лекции: 15 April 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/19-snowflake.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/19-snowflake.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/19-snowflake/p215-dageville-snowflake.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/19-snowflake/vuppalapati-nsdi22.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=NhWp1bTG0Cw
Название:
19.Разбор системы Snowflake. System Analysis (Snowflake)
Категория:
Технологии и интернет