آموزش ضروری Apache Spark: مهندسی داده های بزرگ

مدرس Kumaran Ponnambalam

انتشار 2024/10/01

مدت زمان 1h 4m

سطح مناسب همه

فایل تمرینی دارد

آموزش Apache Spark Essential Training: Big Data Engineering

مهندسی داده ها پایه و اساس ساخت و ساز برنامه های کاربردی علوم داده در دنیای جدید داده های بزرگ است. مهندسی داده ها برای ساخت خطوط لوله و شبکه های داده برای پخش ، پردازش و ذخیره داده ها نیاز به ترکیب چندین فناوری داده بزرگ دارد. این دوره بر ساختن راه حل های تمام عیار که Apache Spark را با سایر ابزارهای داده بزرگ برای ایجاد خطوط لوله داده نهایی به پایان می رساند ، متمرکز شده است. مربی Kumaran Ponnambalam با تعریف مهندسی داده ها ، کارکردهای آن و مفاهیم آن آغاز می شود. در مرحله بعد ، Kumaran به این نتیجه می رسد که قابلیت های جرقه ای مانند پردازش موازی ، برنامه های اجرای ، گزینه های مدیریت دولت و یادگیری ماشین با عصاره ، تبدیل ، بار (ETL) چگونه است. او شما را به موارد و فرآیندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش در زمان واقعی معرفی می کند. پس از طی کردن چندین روش مفید ، کوماران با یک پروژه تمرینی پایان به پایان نتیجه می گیرد.

Apache Spark Big Data Data Engineering خطوط لوله داده

Introduction

Driving big data engineering with Apache Spark ()

Course prerequisites ()

Setting up the exercise files ()

1. Data Engineering Concepts

What is data engineering? ()

Data engineering vs. data analytics vs. data science ()

Data engineering functions ()

Batch vs. real-time processing ()

Data engineering with Spark ()

2. Spark Capabilities for ETL

Spark architecture review ()

Parallel processing with Spark ()

Spark execution plan ()

Stateful stream processing ()

Spark analytics and ML ()

3. Batch Processing Pipelines

Batch processing use case: Problem statement ()

Batch processing use case: Design ()

Setting up the local DB ()

Uploading stock to a central store ()

Aggregating stock across warehouses ()

4. Real-Time Processing Pipelines

Real-time use case: Problem ()

Real-time use case: Design ()

Generating a visits data stream ()

Building a website analytics job ()

Executing the real-time pipeline ()

5. Data Engineering with Spark: Best Practices

Batch vs. real-time options ()

Scaling extraction and loading operations ()

Scaling processing operations ()

Building resiliency ()

6. End-to-End Exercise Project

Project exercise requirements ()

Solution design ()

Extracting long last actions ()

Building a scorecard ()

Conclusion

More about Apache Spark ()

Ex_Files_Apache_Spark_Essential_Training.zip (8.3 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش آموزش ضروری Apache Spark: مهندسی داده های بزرگ

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Apache Spark Essential Training: Big Data Engineering در 3 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آپاچی اسپارک به دلیل پخش جریانی، سرعت و مقیاس پذیری، یکی از سریع ترین ابزارهای در حال رشد در علم داده است. داده های لینکدین اسپارک را به عنوان یکی از پرطرفدارترین مهارت ها در مهندسی داده و توسعه داده ها نشان می دهد. این مسیر یادگیری یک منبع ایده آل برای تقویت مهارت ها و رزومه شما است.

آموزش آموزش ضروری Apache Spark: مهندسی داده های بزرگ ، ایستگاه شماره 1 در مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید ، است.

مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید

توسعه تخصص در تبدیل، تمیز کردن و دستکاری داده ها به منظور تجزیه و تحلیل آماده و ارزشمند برای بینش کسب و کار. مهارت های مهندسی داده های ضروری از جمله فرآیندهای ETL/ELT، مدیریت کیفیت، و روش های پردازش دسته ای و بلادرنگ را بیاموزید. این دوره ها به متخصصان داده کمک می کند تا داده های خام را به مجموعه داده های تمیز، ساختاریافته و آماده تجزیه و تحلیل تبدیل کنند و در عین حال از یکپارچگی در سراسر فرآیند تبدیل اطمینان حاصل کنند.

آموزش آموزش ضروری Apache Spark: مهندسی داده های بزرگ ، ایستگاه شماره 5 در مسیر یادگیری مقدمه ای بر مهارت های اساسی برای کار داده: پردازش داده ها ، است.

مسیر یادگیری مقدمه ای بر مهارت های اساسی برای کار داده: پردازش داده ها

دانشمندان داده که به عنوان تحلیلگران داده به تمرکز شغلی جدیدی روی می آورند، این مسیر یادگیری را در انتقال مهارت های خود ارزشمند خواهند یافت. شما مهارت های موجود در زبان های برنامه نویسی مانند Python، SQL و R را خواهید آموخت و نحوه استفاده از آنها را در زمینه تحلیلی یاد خواهید گرفت. همچنین مهارت‌های قدرت را در برنامه‌های اصلی تجزیه و تحلیل مانند Tableau و Excel توسعه خواهید داد و در مهارت‌های تجسم داده‌ها پایه‌ای قوی کسب خواهید کرد.

آموزش آموزش ضروری Apache Spark: مهندسی داده های بزرگ ، ایستگاه شماره 8 در مسیر یادگیری حرکت از دانشمند داده به تحلیلگر داده ، است.