دریافت داده ها با پایتون

مدرس Miki Tebeka

انتشار 2019/12/12

به‌روز‌رسانی 2023/12/22

مدت زمان 1h 24m

سطح متوسط

فایل تمرینی دارد

آموزش Data Ingestion with Python

بخش قابل توجهی از روز یک دانشمند داده اغلب صرف واکشی و تمیز کردن داده هایی می شود که برای آموزش الگوریتم های خود نیاز دارند. در این دوره آموزشی، یاد بگیرید که چگونه از ابزارها و تکنیک های پایتون برای به دست آوردن داده های مرتبط و با کیفیت مورد نیاز خود استفاده کنید. مربی Miki Tebeka خواندن فایل‌ها، از جمله نحوه کار با فایل‌های CSV، XML و JSON را پوشش می‌دهد. او همچنین در مورد فراخوانی APIها، خراش دادن وب (و اینکه چرا باید آخرین راه حل باشد)، و اعتبارسنجی و تمیز کردن داده ها بحث می کند. به علاوه، نحوه ایجاد و نظارت بر شاخص‌های عملکرد کلیدی (KPI) را بیابید که به شما در نظارت بر خط لوله داده‌هایتان کمک می‌کنند.

Data Cleaning Data Ingestion Data Management Python (Programming Language)

Introduction

Why is data ingestion important? ()

What you should know ()

Using the exercise files ()

Using the Coderpad quizzes ()

1. Data Ingestion Overview

Overview of data scientists work ()

Where does data come from? ()

Different types of data ()

The data pipeline (ETL) ()

Final destination (data lake) ()

2. Reading Files

Working in CSV ()

Working in XML ()

Working in Parquet, Avro, and ORC ()

Unstructured text ()

JSON ()

Solution: CSV to JSON ()

3. Calling APIs

Working with JSON ()

Making HTTP calls ()

Processing event-based data ()

Solution: Location from IP ()

4. Web Scraping

Try to find an API ()

Working with Beautiful Soup ()

Working with Scrapy ()

Working with Selenium ()

Other considerations ()

Solution: Get stock information from HTML ()

5. Schema

What are schemas? ()

Working with ontologies ()

What should be in schema ()

Schema changes ()

Schema validations ()

6. Working with Databases

Types of databases ()

Hosted and cost of ops ()

Working with relational databases ()

Working with key or value databases ()

Working with document databases ()

Working with graph databases ()

Solution: ETL ()

7. Troubleshooting Data

Data is never 100% okay ()

Causes of errors ()

Filling missing values ()

Finding outliers (manual) ()

Finding outliers (ML) ()

Solution: Clean rides dataset ()

8. Data KPIs and Process

Design your data ()

KPIs ()

What to monitor? ()

Conclusion

Next steps ()

Ex_Files_Data_Ingestion_Python.zip (2.3 MB)

Glossary_DataIngestionPython.zip (1.0 MB)

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.

مسیرهای یادگیری آموزش دریافت داده ها با پایتون

یکی از مهمترین مشکلات افرادی که از آموزش های آنلاین استفاده می‌ کنند این است به دلیل تعداد زیاد این آموزش ها، کاربر دچار سردرگمی شده و نمی داند از کدام آموزش بهتر است شروع کند و یا با کدام آموزش ها مهارت های خود را ارتقا دهد. داشتن یک برنامه آموزشی گام به گام میتواند کاربران را از این مشکلات رها کند. در واقع مسیرهای یادگیری مجموعه ای از آموزش ها هستند که به ترتیب اولویت در کنار هم قرار گرفته اند تا کاربران را از این سردرگمی ها نجات دهند. این مسیرها در موضوعات مختلفی دسته بندی شده‌اند که در زیر، لیستی از همه دسته بندی مسیرهایی که توسط سایت لیندا ارائه شده اند را می توانید مشاهده کنید.

آموزش Data Ingestion with Python در 1 مسیر آموزشی قرار دارد. تخصص مورد نظر خود را انتخاب کنید، با مسیر یادگیری آن همراه شوید و حرفه ای شوید.

مهارت های اساسی مورد نیاز برای جمع آوری، جذب و به دست آوردن داده ها از منابع مختلف را توسعه دهید. مفاهیم ضروری جمع‌آوری داده‌ها، تکنیک‌های هضم مبتنی بر پایتون و سرویس‌های داده بومی ابری را که ستون فقرات هر خط لوله داده را تشکیل می‌دهند، کاوش کنید. این مسیر یادگیری به متخصصان داده کمک می‌کند تا درک کنند که چگونه داده‌ها وارد سیستم‌ها می‌شوند و چگونه فرآیندهای جمع‌آوری قابل اعتماد و مقیاس‌پذیر ایجاد کنند که کیفیت و دسترسی داده‌ها را تضمین کند.

آموزش دریافت داده ها با پایتون ، ایستگاه شماره 2 در مسیر یادگیری مقدمه ای بر مهارت های اساسی برای کار داده ها: جمع آوری داده ها ، است.