Airflow: Жизненный цикл задачи. PythonOperator #4

12 подписчиков

12+
12+

3 просмотра

18 дней назад

ПожаловатьсяНарушение авторских прав

12 подписчиков

12+
12+

3 просмотра

18 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

3 просмотра

18 дней назад

Это четвертое видео из серии про Airflow. Оно посвящено написанию разбору жизненного цикла задачи (task) в airflow, а также использованию PythonOperator для создания задачи. Видео из цикла - Как работают данные: практические кейсы. Если Вы когда-нибудь задумывались или хотите узнать как данные перемещаются внутри реальных продуктов, как строятся пайплайны, отслеживается их состояние и обеспечивается надёжная передача информации между системами - то этот цикл видео для Вас! Этот курс — гид в мир современных data-технологий. Я не буду просто теоретизировать, в результате мы вместе построим настоящую инфраструктуру обработки данных с нуля. Материалы по видео (реализация PythonOperator): https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/airflow_python_operator - - - Telegram https://t.me/marat_notes 00:00 Приветственное слово 00:13 Жизненный цикл задачи в Airflow 05:34 Базовые концепции архитектуры Airflow 07:48 Использование PythonOperator 14:53 Заключительное слово #DataEngineering #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #YoutubeEducation

Название:

Airflow: Жизненный цикл задачи. PythonOperator #4

Категория:

Разное