مبانی مهندسی داده

مدرس Harshit Tyagi

انتشار 2021/02/17

مدت زمان 1h 3m

سطح مناسب همه

فایل تمرینی دارد

آموزش Data Engineering Foundations

علم داده را می توان به طور کلی به عنوان فرآیند مفید ساختن داده ها تعریف کرد و مهندسی داده بخش مهمی از چگونگی و چرایی آن است. اگر به علم داده مانند یک ماشین مسابقه فکر می کنید، مهندسان داده خدمه پیت هستند. آنها ماشین را نمی‌رانند، اما رانندگی ماشین را بسیار آسان‌تر می‌کنند. مهندسان داده اطمینان حاصل می کنند که جریان داده ها به خوبی اجرا می شود، سیستم ها را نظارت می کنند، مشکلات را پیش بینی می کنند و در صورت بروز مشکل خط لوله داده را تعمیر می کنند. آنها داده ها را از چندین منبع استخراج و جمع آوری می کنند و آن را در یک پایگاه داده واحد و آسان برای پرس و جو بارگذاری می کنند. به طور خلاصه، مهندسان داده زندگی دانشمندان داده را آسان تر می کنند.در این دوره، هارشیت تیاگی اصول مهندسی داده را توضیح می دهد. او موضوعات کلیدی مانند جدال داده ها، طرح واره پایگاه داده و توسعه خطوط لوله ETL را پوشش می دهد. او همچنین چندین ابزار مهندسی داده مانند Hive، Hadoop، Spark و Airflow را شرح می دهد. در پایان این دوره، باید کاملاً مشخص شود که چرا مهندس داده یکی از ارزشمندترین افراد در یک سازمان داده محور است.

Data Engineering

Introduction

What is data engineering? ()

1. Introduction to Data Engineering

Introduction to data engineering ()

Data engineer vs. data scientist ()

Essential tools for data engineering ()

2. Databases and Dataframes

Intro to databases and their types ()

Understanding database schema ()

Distributive computing ()

3. Data Engineering Tools

MapReduce and Hadoop ()

Hive ()

Spark ()

Airflow ()

4. ETL Pipelines

Sources of data extraction ()

Data extraction from a PostgreSQL database ()

Challenge: Data extraction ()

Solution: Data extraction ()

Transforming data ()

Challenge: Transforming data ()

Solution: Transforming data ()

Loading data into a DB ()

Challenge: Loading data ()

Solution: Loading data ()

Scheduling ETL pipeline using Airflow ()

Conclusion

Next steps ()

Ex_Files_Data_Engineering_Foundations.zip (7 KB)

Glossary_DataEngineeringFoundations.zip (42 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش مبانی مهندسی داده

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Data Engineering Foundations در 3 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آیا می خواهید یاد بگیرید که چگونه مهارت های رمزگذاری Rust خود را در مهندسی داده اعمال کنید؟ Rust به دلیل سرعت، امنیت و قابلیت های یکپارچه سازی یکی از محبوب ترین زبان های برنامه نویسی برای مهندسی داده است. این مسیر یادگیری مهارت‌های Rust شما را با تمرین‌های کدنویسی ارتقا می‌دهد و پایه‌های مهندسی داده را از طریق چالش‌ها و پروژه‌های عملی پوشش می‌دهد.

آموزش مبانی مهندسی داده ، ایستگاه شماره 1 در مسیر یادگیری مهارت های Rust خود را برای مهندسی داده توسعه دهید ، است.

مسیر یادگیری مهارت های Rust خود را برای مهندسی داده توسعه دهید

آیا می خواهید یاد بگیرید که چگونه مهارت های کدنویسی اسکالا خود را در مهندسی داده اعمال کنید؟ اسکالا به دلیل انعطاف پذیری، مقیاس پذیری و سهولت استفاده یکی از محبوب ترین زبان های برنامه نویسی برای مهندسی داده است. این مسیر یادگیری مهارت های اسکالا شما را با تمرین های کدنویسی ارتقا می دهد و پایه های مهندسی داده را از طریق چالش ها و پروژه های عملی پوشش می دهد.

آموزش مبانی مهندسی داده ، ایستگاه شماره 1 در مسیر یادگیری مهارت های Scala خود را برای مهندسی داده توسعه دهید ، است.

مسیر یادگیری مهارت های Scala خود را برای مهندسی داده توسعه دهید

کار خود را با ابزارها و پلتفرم های مهندسی داده اصلی آغاز کنید. این مسیر یادگیری پایه شما را از مفاهیم و مهارت های اساسی مهندسی داده به اجرای خط لوله داده کامل می برد.

آموزش مبانی مهندسی داده ، ایستگاه شماره 1 در مسیر یادگیری کاوش شغلی در مهندسی داده ، است.