مقیاس‌بندی مدل‌های هوش مصنوعی با ترکیبی از متخصصان (MOE): اصول طراحی و کاربردهای دنیای واقعی

مدرس Vaibhava Lakshmi Ravideshik

انتشار 2025/10/08

مدت زمان 1h 55m

سطح مناسب همه

فایل تمرینی ندارد

آموزش Scaling AI Models with Mixture of Experts (MOE): Design Principles and Real-World Applications

Mixture of Experts (MoE) یک معماری شبکه عصبی پیشرفته است که مقیاس مدل کارآمد را با مسیریابی ورودی ها از طریق زیر مجموعه کوچکی از زیرشبکه های خبره امکان پذیر می کند. در این دوره، مربی Vaibhava Lakshmi Ravideshik به بررسی عملکرد درونی MoE، از اجزای اصلی آن گرفته تا استراتژی‌های مسیریابی پیشرفته مانند دروازه‌های top-k می‌پردازد. این دوره درک تئوری را با کدنویسی عملی با استفاده از PyTorch برای پیاده‌سازی یک لایه MoE ساده‌شده متعادل می‌کند. در طول مسیر، شما همچنین فرصتی خواهید داشت تا برنامه های واقعی MoE را در مدل های پیشرفته مانند GPT-4 و Mixtral بررسی کنید.

Artificial Intelligence (AI) Generative AI Mixture of Experts (MoE) Scalability

Introduction

Scaling AI models with mixture of experts (MoE) ()

1. Introduction to Mixture of Experts (MoE)

What is MoE? ()

Why MoE, though? ()

The challenges of MoE ()

Final thoughts ()

2. MoE Architecture Breakdown

Intro to MoE architecture ()

MoE components ()

Gating mechanisms, part 1 ()

Gating mechanisms, part 2 ()

Types of MoE architectures ()

Routing trade-offs, part 1 ()

Routing trade-offs, part 2 ()

Fine-tuning MoEs ()

Instruction-tuning MoE ()

Final thoughts on MoE architecture ()

3. Hands-On MoE Implementation

Basic implementation of MoE, part 1 ()

Basic implementation of MoE, part 2 ()

Introducing load balancing ()

Hierarchical MoE: Hands-on ()

4. Applications and Future of MoE

Introduction to MoE applications ()

Multimodal MoEs ()

UniMoE ()

Google GateM2Former ()

Federated MoE ()

FedMoE ()

FedMoE-DA ()

Adaptive MoEs ()

Adap-MoE ()

SwiftMoE ()

Conclusion

Next steps in your MoE journey ()

دانلود فایل فشرده

با توجه به امکانات آموزش و همچنین امکانات بسته انتخاب شده لینک دانلود فایل فشرده آماده خواهد شد. با در نظر داشتن این شرایط لطفا بسته مورد نظر خود را انتخاب کرده و روی دکمه درخواست لینک دانلود کلیک کنید

در حال به روزرسانی اطلاعات

درخواست لینک دانلود

در حال به روزرسانی اطلاعات

لطفا قبل از فعالسازی لینک دانلود به موارد زیر توجه کنید:

پسورد فایل‌های فشرده است.
لینک‌های آماده شده تا 8 روز پس از فعالسازی منقضی خواهند شد.
حجم فایل‌ها تخمینی هستند.
در صورتی که لینک دانلود تا 15دقیقه پس از درخواست آماده نشد، از بخش پشتیبانی پیگیری نمایید.