پروژه مهندسی داده انتها به انتها

مدرس Thalia Barrera

انتشار 2023/11/03

مدت زمان 1h 15m

سطح مناسب همه

فایل تمرینی دارد

آموزش End-to-End Data Engineering Project

دنیای مهندسی داده همواره در حال تغییر است و ابزارها و فناوری های جدیدی به طور منظم در حال ظهور هستند. ساختن یک پلتفرم تحلیلی موثر می‌تواند یک کار دلهره‌آور باشد، به خصوص اگر با همه ابزارهای موجود آشنا نباشید. چگونه داده های پراکنده و پیچیده را به مدلی تبدیل می کنید که بینش و تصمیم گیری را هدایت می کند؟ در این دوره، Thalia Barrera به متخصصان داده آموزش می دهد که چگونه یک پروژه مهندسی داده را با استفاده از ابزارهای باز از پشته داده مدرن پیاده سازی کنند. او بهترین روش‌ها مانند مدل‌سازی داده، آزمایش، مستندسازی و کنترل نسخه را لمس می‌کند و به شما نشان می‌دهد که چگونه داده‌ها را به طور موثر استخراج، بارگیری و تبدیل به یک قالب یکپارچه و آماده برای تجزیه و تحلیل کنید. Thalia به شما نشان می دهد که چگونه از طریق مثال های عملی ابزارها را با اطمینان انتخاب کرده و از آنها استفاده کنید - که شما را در ساخت یک خط لوله داده قوی برای یک شرکت تجارت الکترونیک خیالی هدایت می کند - و نحوه اجرای بهترین شیوه ها در مهندسی داده.

Data Engineering

Introduction

Transform complex data into insights ()

What you should know ()

1. Project Overview and Preparation

Project architecture overview ()

Project setup ()

Understanding the Big Star Collectibles database ()

Setting up your data warehouse ()

2. Data Extraction and Loading

Getting started with ELT tools: An introduction to Airbyte ()

Deploying Airbyte for data synchronization ()

Setting up sources and destinations in Airbyte ()

Establishing connections in Airbyte ()

Synchronizing and navigating through data ()

3. Starting Data Transformation and Modeling

Introduction to data modeling with dbt ()

Understanding the structure of a dbt project ()

Initiating your dbt project ()

Configuring data sources in dbt ()

Challenge: Add a freshness check ()

Solution: Add a freshness check ()

4. Data Transformation and Modeling

Creating and customizing your dbt models ()

Reviewing and executing dbt ()

Securing your data with dbt tests ()

Challenge: Add tests to the Marts model ()

Solution: Add tests to the Marts model ()

Automating documentation in dbt ()

Completing your dbt project: A full development cycle ()

5. Data Orchestration

Introduction to data orchestration with Dagster ()

Integrating dbt models with Dagster assets ()

Integrating Airbyte connections with Dagster assets ()

Materializing assets using Dagit ()

Challenge: Add a schedule to your data pipeline ()

Solution: Add a schedule to your data pipeline ()

Conclusion

An evolving field ()

Ex_Files_End_to_End_Data_Engineering_Project.zip (23 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش پروژه مهندسی داده انتها به انتها

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش End-to-End Data Engineering Project در 4 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آیا می خواهید مهارت های مهندسی داده خود را از ساخت و مدیریت خط لوله تا استفاده موثر از ابزارهایی مانند dbt و Airflow ارتقا دهید؟ در این مسیر یادگیری، یاد خواهید گرفت که چگونه مشکلات رایجی را که مهندسان داده در محل کار با آن مواجه می شوند، حل کنید. شما همچنین خواهید فهمید که چگونه یک انبار داده راه اندازی کنید و یک خط لوله مهندسی داده را از ابتدا بسازید.

آموزش پروژه مهندسی داده انتها به انتها ، ایستگاه شماره 8 در مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید ، است.

مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید

تمرین کامل می کند! وقت آن است که عضلات برنامه نویسی را منعطف کنید و آنچه را که یاد گرفته اید تمرین کنید. این مسیر یادگیری چالش ها و پروژه های هدایت شده را در اختیار شما قرار می دهد تا بتوانید به توسعه و به کارگیری مهارت های خود به عنوان یک مهندس داده ادامه دهید.

آموزش پروژه مهندسی داده انتها به انتها ، ایستگاه شماره 5 در مسیر یادگیری تمرین عملی مهندسی داده ، است.

مسیر یادگیری تمرین عملی مهندسی داده

آیا می خواهید یاد بگیرید که چگونه مهارت های رمزگذاری Rust خود را در مهندسی داده اعمال کنید؟ Rust به دلیل سرعت، امنیت و قابلیت های یکپارچه سازی یکی از محبوب ترین زبان های برنامه نویسی برای مهندسی داده است. این مسیر یادگیری مهارت‌های Rust شما را با تمرین‌های کدنویسی ارتقا می‌دهد و پایه‌های مهندسی داده را از طریق چالش‌ها و پروژه‌های عملی پوشش می‌دهد.

آموزش پروژه مهندسی داده انتها به انتها ، ایستگاه شماره 6 در مسیر یادگیری مهارت های Rust خود را برای مهندسی داده توسعه دهید ، است.

مسیر یادگیری مهارت های Rust خود را برای مهندسی داده توسعه دهید

آیا می خواهید یاد بگیرید که چگونه مهارت های کدنویسی اسکالا خود را در مهندسی داده اعمال کنید؟ اسکالا به دلیل انعطاف پذیری، مقیاس پذیری و سهولت استفاده یکی از محبوب ترین زبان های برنامه نویسی برای مهندسی داده است. این مسیر یادگیری مهارت های اسکالا شما را با تمرین های کدنویسی ارتقا می دهد و پایه های مهندسی داده را از طریق چالش ها و پروژه های عملی پوشش می دهد.

آموزش پروژه مهندسی داده انتها به انتها ، ایستگاه شماره 6 در مسیر یادگیری مهارت های Scala خود را برای مهندسی داده توسعه دهید ، است.