راهنمای کامل برای دیتابیک ها برای مهندسی داده ها

مدرس Deepak Goyal

انتشار 2025/02/28

مدت زمان 6h 9m

سطح مناسب همه

فایل تمرینی دارد

آموزش Complete Guide to Databricks for Data Engineering

در این دوره ، Master Databricks برای تبدیل شدن به یک مهندس داده ACE. بیاموزید که چگونه می توانید به صورت تخصصی اشکال زدایی ، پردازش و تجزیه و تحلیل مقادیر عظیمی از داده ها و ایجاد راه حل های مقیاس پذیر به عنوان مربی Deepak Goyal شما را از طریق شیرجه عمیق در مورد نحوه عملکرد پلت فرم Databricks راهنمایی کنید. تحول pyspark و Spark SQL را در پایگاه داده ها ، به همراه نحوه خواندن و نوشتن DataFrame در Databricks کاوش کنید. به علاوه ، در مورد دریاچه دلتا ، به بهینه سازی ها ، برنامه ریزی نوت بوک ، مدیریت خوشه ، گردش کار و موارد دیگر بیاموزید.

Azure Databricks Data Engineering PySpark

Introduction

Course introduction ()

What you should know ()

1. Introduction to Databricks

What is Databricks? ()

Setting up a Databricks workspace ()

Navigating the Databricks interface ()

Introduction to Databricks notebooks ()

Create a single-node cluster for practice ()

2. Getting Started with Databricks

Understanding the Databricks File System (DBFS) ()

Load sample data in DBFS ()

Browse and explore data in DBFS ()

3. Read Data with Databricks

Understand DataFrames ()

Read a CSV file in Databricks ()

Use a schema to read a file in Databricks ()

Read a JSON file in Databricks ()

Read a Parquet file in Databricks ()

Handle nested JSON data in Databricks ()

4. PySpark Transformation in Databricks

Use filter and where transformations in PySpark ()

Add or remove columns in PySpark ()

Use the select function in PySpark ()

Use UNION and DISTINCT in PySpark ()

Handle nulls in PySpark ()

Use sortBy and orderBy in PySpark ()

Use groupBy and aggregation in PySpark ()

Manipulate strings in PySpark ()

Handle date manipulation in PySpark ()

Handle timestamp manipulation in PySpark ()

5. Write a DataFrame in Databricks

Write a DataFrame as a file in DBFS ()

Write a DataFrame as using partitioning ()

6. Spark SQL in Databricks

What is Spark SQL? ()

Create temporary views in Databricks ()

Create global temp views in Databricks ()

Use Spark SQL transformations ()

Write DataFrames as managed tables in PySpark ()

Write a DataFrame as external table in PySpark ()

7. Delta Lake and Delta Tables in Databricks

What is Delta Lake and its benefits? ()

Create Delta tables ()

Handle DML operations in Delta tables ()

Time travel using Delta Lake ()

8. Join Optimizations in Databricks

Handle multiple types of join ()

Broadcast join ()

Bucketing in PySpark ()

9. Scheduling the Notebook

Notebook job scheduling ()

10. Cluster Management in Databricks

Understand the interactive cluster ()

Explore cluster configuration and the UI ()

Understand job clusters ()

11. Workflows in Databricks

Understand workflows in Databricks ()

Create a workflow in Databricks ()

12. dbutils in Databricks

What is dbutils in Databricks? ()

dbutils fs commands ()

dbutils mounting ()

dbutils notebook ()

13. Unity Catalog in Databricks

Understand the Unity Catalog ()

14. Capstone Project

Project use case ()

Solution ()

Conclusion

Next steps ()

Ex_Files_Complete_Guide_to_Databricks.zip (1.7 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.