آموزش Apache Airflow - میتالرن

مدرس Janani Ravi

انتشار 2023/07/12

مدت زمان 2h 10m

سطح مناسب همه

فایل تمرینی دارد

آموزش Learning Apache Airflow

با جانانی راوی، معمار ابری گوگل و مهندس داده، با Apache Airflow آشنا شوید. با Apache Airflow - یک پلت فرم منبع باز برای توسعه، زمان‌بندی و نظارت بر جریان‌های کاری دسته‌گرا - می‌توانید وظایف فردی را که می‌خواهید به عنوان بخشی از خط لوله پردازش خود اجرا کنید، برنامه‌ریزی کنید، وابستگی‌های بین این وظایف را مشخص کنید، همه به صورت برنامه‌نویسی در پایتون. Airflow این وابستگی ها را مدیریت می کند و تضمین می کند که وظایف به ترتیب درست اجرا می شوند. به Janani بپیوندید تا به شما نحوه اجرای گردش کار در Airflow، تعریف وظایف و وابستگی ها و استفاده از عملگرهای Python و SQLite را نشان دهد. در مورد انشعاب شرطی و نحوه کار Catch up و backfill در Apache Airflow بیاموزید.

جریان هوای آپاچی IT Automation

Introduction

An overview of Apache Airflow ()

1. Introducing Apache Airflow

Apache Airflow concepts and architecture ()

Initial setup: macOS and Windows ()

Understanding Airflow configuration ()

Running Airflow ()

2. Running Workflows on Airflow

Navigating and exploring the Airflow UI ()

Creating your first DAG ()

Running your first DAG ()

Creating a DAG using the with keyword ()

3. Defining Tasks and Dependencies

Specifying task dependencies ()

Using the Bitshift operators for dependency specification ()

Using bash scripts in the DAG ()

4. Using the Python Operator and XCom

Introducing the Python operator ()

Python operators and dependencies ()

Passing parameters to Python callables ()

Introducing XCom ()

Using XCom to pass values ()

Implementing a data transformation DAG pipeline, part 1 ()

Implementing a data transformation DAG pipeline, part 2 ()

5. Using the SQLite Operator for SQL Operations

Setting up the SQLite DB and connection ()

Introducing the SQLite operator ()

Implementing a SQL-based DAG pipeline, part 1 ()

Implementing a SQL-based DAG pipeline, part 2 ()

6. Conditional Branching and TaskGroups

Introducing branching ()

Conditional branching with variables ()

Task groups and edge labels ()

7. Catch Up, Backfill, and CRON Expressions

Catch up with all previously scheduled runs ()

Backfill scheduled runs ()

Conclusion

Summary and next steps ()

Ex_Files_Learning_Apache_Airflow.zip (88 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش آموزش Apache Airflow

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Learning Apache Airflow در 1 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آیا می خواهید مهارت های مهندسی داده خود را از ساخت و مدیریت خط لوله تا استفاده موثر از ابزارهایی مانند dbt و Airflow ارتقا دهید؟ در این مسیر یادگیری، یاد خواهید گرفت که چگونه مشکلات رایجی را که مهندسان داده در محل کار با آن مواجه می شوند، حل کنید. شما همچنین خواهید فهمید که چگونه یک انبار داده راه اندازی کنید و یک خط لوله مهندسی داده را از ابتدا بسازید.

آموزش آموزش Apache Airflow ، ایستگاه شماره 5 در مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید ، است.