18.Разбор систем Databricks и Spark. System Analysis (Databricks / Spark)

12+
12+

1 просмотр

11 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

11 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

11 часов назад

Lecture #18: System Analysis (Databricks / Spark) Краткое содержание: Архитектура стека Databricks Lakehouse: распределенный движок Spark SQL, транзакционный слой Delta Lake и нативный векторный движок Photon: - Эволюция платформы Spark: - От низкоуровневых абстракций RDD в Scala к оптимизатору Catalyst и генерации JVM-байткода (Tungsten). - Ограничения JVM (сборка мусора, плохая SIMD-векторизация) и решение разработать нативный C++ движок. - Векторизованный движок Photon: - Написан полностью на C++ для достижения предельной производительности сканирования и агрегаций. - Отказ от JIT-компиляции в пользу прекомпилированных операторных ядер (primitives) и слияния выражений (expression fusion) ради простоты отладки и наблюдаемости. - Использование списков позиций (position lists) вместо битовых карт для отслеживания активных строк в векторе. - Транзакционный слой Delta Lake: - Обеспечение транзакций ACID поверх файлов Parquet в облачном хранилище через лог фиксаций (commit log). - Сравнение с альтернативными открытыми форматами таблиц: Apache Iceberg и Apache Hudi. Дата лекции: 10 April 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/18-databricks.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/18-databricks.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/18-databricks/sigmod_photon.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/18-databricks/p92-jain.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/18-databricks/p975-armbrust.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=PwnUf6_0H0k

Название:

18.Разбор систем Databricks и Spark. System Analysis (Databricks / Spark)