دریافت داده ها با پایتون

مدرس Miki Tebeka

انتشار 2019/12/12

به‌روز‌رسانی 2023/12/22

مدت زمان 1h 24m

سطح متوسط

فایل تمرینی دارد

آموزش Data Ingestion with Python

بخش قابل توجهی از روز یک دانشمند داده اغلب صرف واکشی و تمیز کردن داده هایی می شود که برای آموزش الگوریتم های خود نیاز دارند. در این دوره آموزشی، یاد بگیرید که چگونه از ابزارها و تکنیک های پایتون برای به دست آوردن داده های مرتبط و با کیفیت مورد نیاز خود استفاده کنید. مربی Miki Tebeka خواندن فایل‌ها، از جمله نحوه کار با فایل‌های CSV، XML و JSON را پوشش می‌دهد. او همچنین در مورد فراخوانی APIها، خراش دادن وب (و اینکه چرا باید آخرین راه حل باشد)، و اعتبارسنجی و تمیز کردن داده ها بحث می کند. به علاوه، نحوه ایجاد و نظارت بر شاخص‌های عملکرد کلیدی (KPI) را بیابید که به شما در نظارت بر خط لوله داده‌هایتان کمک می‌کنند.

Data Cleaning Data Ingestion Data Management Python (Programming Language)

Introduction

Why is data ingestion important? ()

What you should know ()

Using the exercise files ()

Using the Coderpad quizzes ()

1. Data Ingestion Overview

Overview of data scientists work ()

Where does data come from? ()

Different types of data ()

The data pipeline (ETL) ()

Final destination (data lake) ()

2. Reading Files

Working in CSV ()

Working in XML ()

Working in Parquet, Avro, and ORC ()

Unstructured text ()

JSON ()

Solution: CSV to JSON ()

3. Calling APIs

Working with JSON ()

Making HTTP calls ()

Processing event-based data ()

Solution: Location from IP ()

4. Web Scraping

Try to find an API ()

Working with Beautiful Soup ()

Working with Scrapy ()

Working with Selenium ()

Other considerations ()

Solution: Get stock information from HTML ()

5. Schema

What are schemas? ()

Working with ontologies ()

What should be in schema ()

Schema changes ()

Schema validations ()

6. Working with Databases

Types of databases ()

Hosted and cost of ops ()

Working with relational databases ()

Working with key or value databases ()

Working with document databases ()

Working with graph databases ()

Solution: ETL ()

7. Troubleshooting Data

Data is never 100% okay ()

Causes of errors ()

Filling missing values ()

Finding outliers (manual) ()

Finding outliers (ML) ()

Solution: Clean rides dataset ()

8. Data KPIs and Process

Design your data ()

KPIs ()

What to monitor? ()

Conclusion

Next steps ()

Ex_Files_Data_Ingestion_Python.zip (2.3 MB)

Glossary_DataIngestionPython.zip (1.0 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.