02.Форматы данных и кодирование. Data Formats & Encoding

12+
12+

12 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

12 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

12 часов назад

Lecture #02: Data Formats & Encoding I Краткое содержание: Изучение физических колоночных форматов хранения данных на диске и алгоритмов легковесного кодирования: - Модели разметки хранения: - Модель PAX (Partition Attributes Across): разбиение таблицы на группы строк (Row Groups), внутри которых данные каждого столбца хранятся непрерывными блоками (Column Chunks). - Сравнение открытых форматов: Apache Parquet (фиксация по числу кортежей, напр. 1M), Apache ORC (фиксация по объёму, напр. 250MB) и Apache Arrow (в памяти). - Алгоритмы кодирования данных (Lightweight Compression / Encodings): - Dictionary Encoding (словарное сжатие): замена повторяющихся значений компактными числовыми кодами и ведение словаря (сортированного или несортированного). - Run-Length Encoding (RLE): замена последовательностей одинаковых значений парами (значение, количество повторений). - Bit-packing и Frame-of-Reference (FOR): хранение смещений относительно базового минимума с усечением неиспользуемых старших бит. - Delta Encoding: сохранение разницы между соседними элементами массива. - Ограничение и фильтрация: - Применение зонных карт (Zone Maps / Data Skipping) на уровне файлов и блоков (min/max значения) и блочных фильтров Блума (Bloom Filters). - Выводы из эмпирических исследований: - Словарное кодирование эффективно не только для строк, но и для произвольных типов данных из-за повторяемости реальной информации. - Простые схемы декодируются существенно быстрее за счёт минимизации ошибок предсказания ветвлений (branch mispredictions). - На фоне роста скорости сетей и дисков общее блочное сжатие (Snappy, Zstd) всё чаще становится узким местом по CPU. Дата лекции: 24 January 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/02-data1.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/02-data1.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/02-data1/p148-zeng.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/02-data1/p3044-liu.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=1hdynBJo3ew

Название:

02.Форматы данных и кодирование. Data Formats & Encoding