Apache Spark Essential Training: Big Data Engineering (2017)

مدرس Kumaran Ponnambalam

انتشار 2017/07/24

مدت زمان 1h 40m

سطح پیشرفته

فایل تمرینی دارد

آموزش Apache Spark Essential Training: Big Data Engineering (2017)

به منظور ایجاد خطوط لوله داده و شبکه‌هایی که داده‌ها را جریان می‌دهند، پردازش می‌کنند و ذخیره می‌کنند، مهندسان داده و متخصصان علوم داده DevOps باید نحوه ترکیب چندین فناوری داده بزرگ را بدانند. در این دوره آموزشی، نحوه ایجاد خطوط لوله داده بزرگ در اطراف Apache Spark را بیاموزید. به Kumaran Ponnambalam بپیوندید تا شما را با نحوه کارکرد Apache Spark با دیگر فناوری‌های کلان داده آشنا کند. او اصول اولیه Apache Kafka Connect و نحوه ادغام آن با Spark را برای پخش هم‌زمان پوشش می‌دهد. علاوه بر این، او نشان می دهد که چگونه می توان از فناوری های مختلف برای ساخت یک پروژه پایان به انتها استفاده کرد که یک مشکل تجاری در دنیای واقعی را حل می کند.

Apache Spark Big Data

Introduction

Welcome ()

What you should know ()

Exercise files ()

Set up the environment ()

1. Data Engineering Overview

What is data engineering? ()

Stages of data engineering ()

Data engineering challenges with big data ()

Spark and Kafka for data engineering ()

2. Moving Data with Kafka

Use Kafka connectors ()

Code: Read to a file source ()

Code: Write to a HDFS sink ()

Code: Read for a JDBC source ()

Code: Write to a Spark sink ()

3. Spark High-Performance Processing

Data engineering with Spark ()

How Spark works ()

Optimize for lazy evaluation ()

Work with dependencies ()

Complex accumulators ()

4. Use Case Project

Problem statement ()

Solution overview ()

Process US sales data ()

Process EU sales data ()

Process web hits data ()

Process tweet data ()

Scale the solution ()

Conclusion

Next steps ()

Ex_Files_Apache_Spark_EssT_BigData.zip (105.0 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.