Чтение CSV — вход в Spark // Демо-занятие курса «Spark-разработчик»

CSV - Процесс загрузки данных из плоского файла формата CSV (Comma-Separated Values) в распределенную коллекцию данных Spark — DataFrame. Это первый шаг в знакомстве с API Spark и основой для любой последующей обработки CSV — это «лингва франка» в мире данных. В этом формате хранятся выгрузки из баз данных, логи работы приложений и сервисов, отчеты за произвольные периоды и данные для обмена между системами. Умение быстро и правильно загрузить CSV — критический навык для любого специалиста, работающего с данными 📍 Программа урока: 1. Spark DataFrame 101: Почему это не просто таблица? 2. Анатомия чтения CSV: От файла до DataFrame 3. Настройка парсинга: Работа с «грязными» данными 4. Практический пример: Загрузка логов веб-сервера 5. Подводные камни и советы эксперта 👥 Кому будет полезен урок: - Начинающие дата-инженеры: Получат фундаментальное понимание первого и важнейшего этапа ETL-процесса - Аналитики данных: Научатся самостоятельно загружать большие объемы данных (Big Data), которые не влезают в Excel или pandas, и строить на их основе отчеты в Spark - Разработчики, переходящие в Big Data: Увидят, как привычные операции с файлами масштабируются на распределенные системы ✅ Что слушатели узнают и смогут делать по итогам урока: - Понимать процесс: Как именно Spark взаимодействует с файловой системой и почему скорость чтения растет с добавлением ресурсов - Писать код: Смогут самостоятельно написать и выполнить код для загрузки любого CSV-файла в PySpark или Scala - Контролировать схему: Перестанут полагаться на "магию" автоопределения типов и научатся объявлять схему данных вручную, предотвращая ошибки в продакшене - Побеждать сложные форматы: Будут готовы к нестандартным CSV (с разделителями-табами, кавычками внутри данных и битыми строками) - Видеть разницу: Поймут, когда достаточно pandas, а когда нужно подключать тяжелую артиллерию в виде Spark «Spark-разработчик» - https://otus.pw/2ZtT/ Преподаватель: Валентин Шитин - старший программист/аналитик данных Пройдите опрос по итогам мероприятия - https://otus.pw/mAsp/ Следите за новостями проекта: → VK: https://vk.com/otusru → Telegram: https://t.me/Otusjava → Хабр: https://otus.pw/S0nM/