مدیریت خط لوله مهندسی داده با Apache Airflow

مدرس Janani Ravi

انتشار 2023/08/15

مدت زمان 2h 8m

سطح مناسب همه

فایل تمرینی دارد

آموزش Data Engineering Pipeline Management with Apache Airflow

با استفاده از Apache Airflow به مدیریت خطوط لوله مهندسی داده عمیق‌تر بپردازید. در این دوره، جانانی راوی، معمار ابری و مهندس داده خبره Google، شما را در استفاده از Apache Airflow برای تکمیل گردش‌های کاری مدیریت خط لوله مهندسی داده‌تان راهنمایی می‌کند. نحوه کار با کنترل دسترسی مبتنی بر نقش، از جمله ایجاد کاربران با نقش‌های مختلف، اجرای یک DAG شاخه‌دار و یک DAG SQL، یادآوری اقداماتی که کاربران با نقش‌های مختلف می‌توانند انجام دهند و موارد دیگر را بیاموزید. به نحوه مدیریت SLA ها و زمان بندی DAG ها با مجموعه داده ها بروید. نحوه کار با پلاگین های AirFlow را بیاموزید و افزونه CSV reader را بررسی کنید. به علاوه، نحوه مقیاس‌بندی Apache Airflow، راه‌اندازی خط لوله انتقال داده، اجرای وظایف، و موارد دیگر را بیاموزید. این دوره توسط جانانی راوی ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.

جریان هوای آپاچی Workflow Management

Introduction

Features for data engineering pipeline management ()

1. Working with Role-Based Access Control

Prerequisites ()

Quick install overview ()

Creating an admin user and exploring roles ()

Creating users with different roles ()

Executing a simple branching DAG ()

Executing a simple SQL DAG ()

The public and viewer roles ()

The user role ()

The op role ()

Actions, resources, and permissions ()

Adding permissions to the public role ()

Creating and configuring a custom role ()

2. Managing SLAs

Configuring emails for SLA management ()

Configuring task-level SLAs ()

Triggering and viewing SLA misses ()

Configuring DAG-level SLAs ()

Configuring DAG failed action ()

3. Scheduling DAGs with Datasets

Dataset producer pipeline ()

Dataset consumer pipeline ()

Data-aware scheduling ()

Purchases producer pipeline and join pipeline ()

Data-aware scheduling with multiple datasets ()

4. Working with Airflow Plugins

Introducing plugins ()

Adding menu items using plugins ()

Exploring the CSV reader plugin ()

Implementing the CSV reader plugin ()

5. Scaling Airflow

Scaling Apache Airflow ()

Basic setup for the transformation pipeline ()

DAG for the transformation pipeline ()

Install RabbitMQ on macOS and Linux ()

Set up an admin user for RabbitMQ ()

Configuring the CeleryExecutor for Airflow ()

Executing tasks on a single Celery worker ()

Executing tasks on multiple Celery workers ()

Assigning tasks to queues ()

Conclusion

Summary and next steps ()

Ex_Files_Data_Eng_Pipeline_Mgmt_Apache_Airflow.zip (129 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش مدیریت خط لوله مهندسی داده با Apache Airflow

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Data Engineering Pipeline Management with Apache Airflow در 1 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آیا می خواهید مهارت های مهندسی داده خود را از ساخت و مدیریت خط لوله تا استفاده موثر از ابزارهایی مانند dbt و Airflow ارتقا دهید؟ در این مسیر یادگیری، یاد خواهید گرفت که چگونه مشکلات رایجی را که مهندسان داده در محل کار با آن مواجه می شوند، حل کنید. شما همچنین خواهید فهمید که چگونه یک انبار داده راه اندازی کنید و یک خط لوله مهندسی داده را از ابتدا بسازید.

آموزش مدیریت خط لوله مهندسی داده با Apache Airflow ، ایستگاه شماره 6 در مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید ، است.