Cloud Hadoop: Scaling Apache Spark

مدرس Lynn Langit

انتشار 2020/04/01

مدت زمان 3h 13m

سطح مبتدی

فایل تمرینی دارد

آموزش Cloud Hadoop: Scaling Apache Spark

آپاچی هادوپ و اسپارک این امکان را فراهم می‌کنند که بینش‌های تجاری واقعی را از داده‌های بزرگ ایجاد کنید. ابر آمازون خانه طبیعی این مجموعه ابزار قدرتمند است که خدمات متنوعی را برای اجرای گردش‌های کاری پردازش داده در مقیاس بزرگ ارائه می‌کند. در این دوره آموزشی با معمار کلان داده لین لنگیت یاد بگیرید که گردش های کاری Apache Hadoop و Spark خود را در AWS پیاده سازی کنید. با استفاده از ماشین‌های مجازی با EC2، خوشه‌های Spark مدیریت‌شده با EMR یا کانتینرهایی با EKS، گزینه‌های استقرار را برای مشاغل مقیاس تولید کاوش کنید. یاد بگیرید که چگونه خوشه های Hadoop و کارهای Spark را با Databricks پیکربندی و مدیریت کنید و از Python یا زبان برنامه نویسی انتخابی خود برای وارد کردن داده ها و اجرای کارها استفاده کنید. به علاوه، نحوه استفاده از کتابخانه‌های Spark را برای یادگیری ماشینی، ژنومیک و استریم بیاموزید. هر درس به شما کمک می کند بفهمید کدام گزینه استقرار برای حجم کاری شما بهترین است.

Amazon Web Services (AWS) Apache Spark Hadoop Hadoop Administration

Introduction

Scaling Apache Hadoop and Spark ()

What you should know ()

Using cloud services ()

1. Hadoop and Spark Fundamentals

Modern Hadoop and Spark ()

File systems used with Hadoop and Spark ()

Apache or commercial Hadoop distros ()

Hadoop and Spark libraries ()

Hadoop on Google Cloud Platform ()

Spark Job on Google Cloud Platform ()

2. AWS Cloud Spark Environments

Add Hadoop libraries ()

Databricks AWS Community Edition ()

Load data into tables ()

Hadoop and Spark cluster on AWS EMR ()

Run Spark job on AWS EMR ()

Review batch architecture for ETL on AWS ()

3. Spark Basics

Apache Spark libraries ()

Spark data interfaces ()

Select your programming language ()

Spark session objects ()

Spark shell ()

4. Using Spark

Tour the Databricks Environment ()

Tour the notebook ()

Import and export notebooks ()

Calculate Pi on Spark ()

Run WordCount of Spark with Scala ()

Import data ()

Transformations and actions ()

Caching and the DAG ()

Architecture: Streaming for prediction ()

5. Spark Libraries

Spark SQL ()

SparkR ()

Spark ML: Preparing data ()

Spark ML: Building the model ()

Spark ML: Evaluating the model ()

Advanced machine learning on Spark ()

MXNet ()

Spark with ADAM for genomics ()

Spark architecture for genomics ()

6. Spark Streaming

Reexamine streaming pipelines ()

Spark Streaming ()

Streaming ingest services ()

Advanced Spark Streaming with MLeap ()

7. Scaling Spark on AWS and GCP

Scale Spark on the cloud by example ()

Build a quick start with Databricks AWS ()

Scale Spark cloud compute with VMs ()

Optimize cloud Spark virtual machines ()

Use AWS EKS containers and data lake ()

Optimize Spark cloud data tiers on Kubernetes ()

Build reproducible cloud infrastructure ()

Scale on GCP Dataproc or on Terra.bio ()

Conclusion

Continue learning for scaling ()

Ex_Files_Cloud_Hadoop_Apache_Spark.zip (5.0 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش Cloud Hadoop: Scaling Apache Spark

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Cloud Hadoop: Scaling Apache Spark در 4 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

مجموعه مهارت‌ها و رزومه خود را با این دوره‌ها تقویت کنید که نشان‌دهنده مهارت‌های مهندسی داده‌ای است که میلیون‌ها عضو لینکدین و هزاران کارفرما گزارش کرده‌اند.

آموزش Cloud Hadoop: Scaling Apache Spark ، ایستگاه شماره 7 در مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید ، است.

مسیر یادگیری مهارت های مهندسی داده خود را ارتقا دهید

آپاچی اسپارک به دلیل پخش جریانی، سرعت و مقیاس پذیری، یکی از سریع ترین ابزارهای در حال رشد در علم داده است. داده های لینکدین اسپارک را به عنوان یکی از پرطرفدارترین مهارت ها در مهندسی داده و توسعه داده ها نشان می دهد. این مسیر یادگیری یک منبع ایده آل برای تقویت مهارت ها و رزومه شما است.

آموزش Cloud Hadoop: Scaling Apache Spark ، ایستگاه شماره 9 در مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید ، است.

مسیر یادگیری مهارت های داده خود را در آپاچی اسپارک ارتقا دهید

Apache Spark به دلیل قابلیت‌های پخش، سرعت و مقیاس‌پذیری، یکی از سریع‌ترین ابزارهای در حال رشد در علم داده است. به طور خاص، کتابخانه یادگیری ماشینی Spark MLlib به سرعت در حال تبدیل شدن به یک ابزار ضروری برای کسانی است که در هوش مصنوعی کار می کنند. با آخرین مهارت های Apache Spark به روز باشید.

آموزش Cloud Hadoop: Scaling Apache Spark ، ایستگاه شماره 1 در مسیر یادگیری مهارت های خود را به عنوان یک متخصص اسپارک آپاچی ارتقا دهید ، است.

مسیر یادگیری مهارت های خود را به عنوان یک متخصص اسپارک آپاچی ارتقا دهید

اکوسیستم ابزارهای علم داده مبتنی بر پشته Hadoop و NoSQL بخش مهم و رو به رشد آینده صنعت است. مهندسان داده به دانش گسترده ای از اجزای این پلتفرم نیاز دارند و این مسیر یادگیری به یادگیرندگان امکان می دهد تا در این زمینه مهارت پیدا کنند.

آموزش Cloud Hadoop: Scaling Apache Spark ، ایستگاه شماره 3 در مسیر یادگیری مهارت های خود را در پشته Hadoop/NoSQL Data Science ارتقا دهید ، است.