Apache Spark Essential Training: Big Data Engineering

مدرس Kumaran Ponnambalam

انتشار 2021/09/15

مدت زمان 1h 2m

سطح مناسب همه

فایل تمرینی دارد

آموزش Apache Spark Essential Training: Big Data Engineering

مهندسی داده پایه و اساس ساخت برنامه های کاربردی تجزیه و تحلیل و علم داده در دنیای جدید Big Data است. مهندسی داده مستلزم ترکیب چندین فناوری کلان داده برای ساخت خطوط لوله و شبکه های داده برای جریان، پردازش و ذخیره داده ها است. این دوره بر ساخت راه حل های کامل تمرکز دارد که Apache Spark را با سایر ابزارهای Big Data ترکیب می کند تا خطوط لوله داده سرتاسری ایجاد کند. مربی کوماران پونامبالام با تعریف مهندسی داده، عملکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران به نحوه عملکرد قابلیت‌های Spark مانند پردازش موازی، برنامه‌های اجرایی، گزینه‌های مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) می‌پردازد. او شما را با موارد و فرآیندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش بلادرنگ آشنا می کند. کوماران پس از آشنایی با چندین روش مفید مفید، با یک پروژه تمرینی پایان به انتها پایان می‌دهد.

Apache Spark Data Engineering

Introduction

Driving big data engineering with Apache Spark ()

Course prerequisites ()

Setting up the exercise files ()

1. Data Engineering Concepts

What is data engineering? ()

Data engineering vs. data analytics vs. data science ()

Data engineering functions ()

Batch vs. real-time processing ()

Data engineering with Spark ()

2. Spark Capabilities for ETL

Spark architecture review ()

Parallel processing with Spark ()

Spark execution plan ()

Stateful stream processing ()

Spark analytics and ML ()

3. Batch Processing Pipelines

Batch processing use case: Problem statement ()

Batch processing use case: Design ()

Setting up the local DB ()

Uploading stock to a central store ()

Aggregating stock across warehouses ()

4. Real-Time Processing Pipelines

Real-time use case: Problem ()

Real-time use case: Design ()

Generating a visits data stream ()

Building a website analytics job ()

Executing the real-time pipeline ()

5. Data Engineering with Spark: Best Practices

Batch vs. real-time options ()

Scaling extraction and loading operations ()

Scaling processing operations ()

Building resiliency ()

6. End-to-End Exercise Project

Project exercise requirements ()

Solution design ()

Extracting long last actions ()

Building a scorecard ()

Conclusion

More about Apache Spark ()

Ex_Files_Apache_Spark_EssT_Big_Data_Eng.zip (165 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش Apache Spark Essential Training: Big Data Engineering

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Apache Spark Essential Training: Big Data Engineering در 3 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

آپاچی اسپارک به دلیل پخش جریانی، سرعت و مقیاس پذیری، یکی از سریع ترین ابزارهای در حال رشد در علم داده است. داده های لینکدین اسپارک را به عنوان یکی از پرطرفدارترین مهارت ها در مهندسی داده و توسعه داده ها نشان می دهد. این مسیر یادگیری یک منبع ایده آل برای تقویت مهارت ها و رزومه شما است.

آموزش Apache Spark Essential Training: Big Data Engineering ، ایستگاه شماره 1 در مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید ، است.

مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید

Apache Spark به دلیل قابلیت‌های پخش، سرعت و مقیاس‌پذیری، یکی از سریع‌ترین ابزارهای در حال رشد در علم داده است. به طور خاص، کتابخانه یادگیری ماشینی Spark MLlib به سرعت در حال تبدیل شدن به یک ابزار ضروری برای کسانی است که در هوش مصنوعی کار می کنند. با آخرین مهارت های Apache Spark به روز باشید.

آموزش Apache Spark Essential Training: Big Data Engineering ، ایستگاه شماره 3 در مسیر یادگیری مهارت های خود را به عنوان یک متخصص اسپارک آپاچی ارتقا دهید ، است.

مسیر یادگیری مهارت های خود را به عنوان یک متخصص اسپارک آپاچی ارتقا دهید

با یادگیری مفاهیم اساسی، مهارت های مهندسی داده و DevOps گسترده ای ایجاد کنید. با استفاده از این مسیر یادگیری، بر ابزارهای تجارت و نحوه استفاده از آنها در محیط ها و پلتفرم های پروژه داده های دنیای واقعی مسلط شوید.

آموزش Apache Spark Essential Training: Big Data Engineering ، ایستگاه شماره 3 در مسیر یادگیری مهندس داده شوید: تسلط بر مفاهیم ، است.