الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

وصفة محول

$$ operatorname {Hunte} (q ، k ، v) = operatorname {softmax} يسار (frac {qk^{t}} {sqrt {d_ {k}}}}

قامت المحولات بتسريع تطوير تقنيات ونماذج جديدة لمهام معالجة اللغة الطبيعية (NLP). على الرغم من أنه تم استخدامه في الغالب في مهام NLP ، إلا أنه يشهد الآن تبنيًا كبيرًا في مجالات أخرى مثل رؤية الكمبيوتر وتعلم التعزيز. هذا يجعلها واحدة من أهم المفاهيم الحديثة التي لفهمها وتكون قادرة على التقديم.

أدرك أن الكثير من طلاب التعلم الآلي وطلاب NLP وممارسيهم يحرصون على التعرف على المحولات. لذلك ، قمت بإعداد دليل دراسة في شكل قائمة بالموارد والمواد الدراسية للمساعدة في توجيه الطلاب المهتمين بالتعلم عن عالم المحولات.

بادئ ذي بدء ، قمت بإعداد بعض الروابط للمواد التي اعتدت على فهمها وتنفيذ نماذج المحولات بشكل أفضل من نقطة الصفر.

مقدمة عالية المستوى

أولاً ، حاول الحصول على مقدمة عالية المستوى حول المحولات. بعض المراجع تستحق النظر في:

مقدمة إلى محول - ملاحظات المحاضرة (Elvis Saravia)

محولات من الصفر (براندون روهرر)

كيف تعمل المحولات في التعلم العميق و NLP: مقدمة بديهية (صيف AI)

Stanford CS25 - Transformers United

التعلم العميق لفهم اللغة (DeepMind)

نماذج المحولات: مقدمة وكتالوج (كزافييه أمواتين)

أوضح المحول

تفسيرات جاي ألام المصورة استثنائية. بمجرد حصولك على هذا الفهم رفيع المستوى للمحولات ، يمكنك القفز إلى هذا التفسير المفصل والموضح المشهور للمحولات:

المحول المصور

هذا المقال التالي ينقسم أيضًا المحولات إلى مكوناته ، وشرح وتوضيح ما يفعله كل جزء:

تحطيم المحول

ملخص فني

في هذه المرحلة ، قد تبحث عن ملخص فني ونظرة عامة على المحولات. تعتبر منشورات مدونة ليليان وينغ جوهرة وتقدم تفسيرات/ملخصات موجزة موجزة:

عائلة المحول

نسخة عائلة Transformer 2.0

تطبيق

بعد النظرية ، من المهم اختبار المعرفة. عادةً ما أفضّل فهم الأشياء بمزيد من التفصيل ، لذلك أفضل تنفيذ الخوارزميات من نقطة الصفر. لتنفيذ المحولات ، اعتمدت بشكل رئيسي على هذا البرنامج التعليمي:

المحول المشروح | (Google Colab | Github)

نمذجة اللغة مع nn.transformer و torchtext

إذا كنت تبحث عن تطبيقات متعمقة على بعض أحدث المحولات ، فقد تجد أيضًا الأوراق مع مجموعة طرق الكود للمحولات المفيدة.

الانتباه هو كل ما تحتاجه

هذه الورقة من قبل فاسواني وآخرون. قدم بنية المحولات. اقرأه بعد أن يكون لديك فهم رفيع المستوى وترغب في الدخول في التفاصيل. انتبه إلى المراجع الأخرى في الورقة للغطس بعمق.

الانتباه هو كل ما تحتاجه

تطبيق المحولات

بعد بعض الوقت في دراسة النظرية وفهمها وراء Transformers ، قد تكون مهتمًا بتطبيقها على مشاريع أو بحث مختلف NLP. في هذا الوقت ، أفضل رهان لك هو مكتبة Transformers عن طريق Huggingface.

محولات

نشر فريق Hugging Face أيضًا كتابًا جديدًا عن NLP مع Transformers ، لذلك قد ترغب في التحقق من ذلك هنا.

قائمة القراءة على LLMS

كمكافأة ، إليك قائمة قراءة رائعة على LLMS من قبل Sebastian Raschka.

فهم نماذج اللغة الكبيرة - قائمة قراءة تحويلية

لا تتردد في اقتراح مواد الدراسة. في التحديث التالي ، أتطلع إلى إضافة مجموعة أكثر شمولاً من تطبيقات المحولات والأوراق. بالإضافة إلى ذلك ، يأتي تنفيذ التعليمات البرمجية للتجربة السهلة أيضًا. ابقوا متابعين!

للحصول على تحديثات منتظمة على موارد ML و NLP الجديدة ، اتبعني على Twitter.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل