الگوهای طراحی پردازش جریان با Spark

مدرس Kumaran Ponnambalam

انتشار 2020/10/14

مدت زمان 1h 9m

سطح پیشرفته

فایل تمرینی دارد

آموزش Stream Processing Design Patterns with Spark

با تولید داده های بیشتر و بیشتر توسط وب سایت ها، دستگاه ها و ارتباطات، پردازش جریان محبوب تر می شود. آپاچی اسپارک یک پلتفرم پیشرو است که پردازش جریانی مقیاس‌پذیر و سریع را ارائه می‌دهد، اما همچنان برای دستیابی به حداکثر کارایی به طراحی هوشمندانه نیاز دارد. این دوره به توسعه دهندگان کمک می کند تا از بهترین شیوه ها و الگوهای طراحی معتبر برای پیاده سازی پردازش جریان در Apache Spark استفاده کنند. مربی Kumaran Ponnambalam نحوه تنظیم محیط خود را نشان می دهد و سپس در چهار الگوی طراحی و موارد استفاده در دنیای واقعی قدم می گذارد: تجزیه و تحلیل جریان، هشدارها و آستانه ها، تابلوهای امتیازات، و پیش بینی های زمان واقعی. در فصل ششم، او پروژه‌ای از شروع تا پایان را معرفی می‌کند که نشان می‌دهد چگونه با استفاده از Spark، Apache Kafka، MariaDB و Redis از طراحی به کار اجرا شده برویم. در پایان دوره، تمام قابلیت های این پلتفرم قدرتمند را درک خواهید کرد و می توانید آن را در راه حل های مهندسی داده خود بگنجانید.

Apache Spark Apache Spark Streaming Stream Processing

Introduction

Streaming with Spark ()

Prerequisites ()

1. Stream Processing with Spark

What is stream processing? ()

Streaming opportunities and challenges ()

Streaming with Apache Spark ()

Spark Structured Streaming APIs and SQL ()

Setting up the exercise files ()

Setting up Kafka ()

Setting up MariaDB and Redis ()

2. Streaming Analytics

Streaming analytics: Pattern ()

Streaming analytics: Use case design ()

Streaming analytics: Helper classes ()

Streaming analytics: Pipeline implementation ()

Streaming analytics: Results review ()

3. Alerts and Thresholds

Alerts and thresholds: Pattern ()

Alerts and thresholds: Use case design ()

Alerts and thresholds: Helper classes ()

Alerts and thresholds: Pipeline implementation ()

Alerts and thresholds: Review ()

4. Leaderboards

Leaderboards: Pattern ()

Leaderboards: Use case design ()

Leaderboards: Helper classes ()

Leaderboards: Pipeline implementation ()

Leaderboards: Review ()

5. Real-Time Predictions

Real-time predictions: Pattern ()

Real-time predictions: Use case design ()

Real-time predictions: Helper classes ()

Real-time predictions: Pipeline implementation ()

Real-time predictions: Review ()

6. Use Cases

Use case definition ()

Design of the project ()

Code walk-through ()

Execute and analyze ()

Conclusion

Next steps ()

Ex_Files_Stream_Design_Spark.zip (43 KB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش الگوهای طراحی پردازش جریان با Spark

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Stream Processing Design Patterns with Spark در 2 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

مجموعه مهارت‌ها و رزومه خود را با این دوره‌ها تقویت کنید که نشان‌دهنده مهارت‌های مهندسی داده‌ای است که میلیون‌ها عضو لینکدین و هزاران کارفرما گزارش کرده‌اند.

آموزش الگوهای طراحی پردازش جریان با Spark ، ایستگاه شماره 9 در مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید ، است.

مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید

آپاچی اسپارک به دلیل پخش جریانی، سرعت و مقیاس پذیری، یکی از سریع ترین ابزارهای در حال رشد در علم داده است. داده های لینکدین اسپارک را به عنوان یکی از پرطرفدارترین مهارت ها در مهندسی داده و توسعه داده ها نشان می دهد. این مسیر یادگیری یک منبع ایده آل برای تقویت مهارت ها و رزومه شما است.

آموزش الگوهای طراحی پردازش جریان با Spark ، ایستگاه شماره 7 در مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید ، است.