shakespeareGPT

شكسبيرغبت

بناء وتدريب GPT من نقطة الصفر على أساس أندريج كارباشي: دعنا نبني GPT: من الصفر ، في الكود ، مكتوبة. درس تعليمي

مجموعة البيانات Tiny-Shakespeare: الأصلي مع تعديلات طفيفة.

TutorialGpt (بعد الفيديو)

• basic_bigramlm.py: بنيت نموذج Bigram أساسي مع إنشاء للحصول على الأشياء.
• البرنامج التعليمي.
• lmwithattention.py: تابع النموذج ولكن الآن برأس اهتمام واحد ، التضمينات الرمزية ، التضمينات الموضعية.
• انتباه block.py: بنيت رأس اهتمام واحد
• lm_multihead_attention_ffwd.ipynb: تابع النموذج الآن ليكون له رؤوس اهتمام متعددة concantened ، وطبقة التغذية الأمامية منفصلة قبل lm_head.
• TutorialGpt.ipynb: تم إنشاء كتلة المحولات ، والطبقة ، والاتصالات المتبقية ، وتقييم خسارة أفضل ، والتسرب ، و layernorm.

مستوى الشخصية GPT

تستخدم رمز مستوى حرف. تدرب نسختين مع تكوينات مختلفة لفهم بشكل أفضل لتأثير المقاييس الفائقة مثل n_embeds ، num_heads.

حاول على kaggle

• V1:

  • دفتر
  • نموذج حفظ
  • نتائج

• V2:

  • دفتر
  • نموذج حفظ
  • نتائج

شكسبيرغبت

استخدم رمز ترميز بايت بايت.

حاول على kaggle

• gpt.py: نموذج GPT الكامل
• Dataset.py: مجموعة بيانات الشعلة
• Build_tokenizer.py: BPE Tokenizer باستخدام huggingface tokenizers من نقطة الصفر مماثلة لـ GPT-2 المحفوظة في Tokenizer
• Train.py: يحتوي البرنامج النصي التدريبي على مُحسّن ، تكوين ، وظيفة الخسارة ، حلقة القطار ، حلقة التحقق من الصحة ، حفظ النموذج
• إنشاء .py: إنشاء نص عن طريق تحميل النموذج على وحدة المعالجة المركزية.

الإصدارات

•   V1
    n_embed = 384
    n_heads = 12
    head_size = 32
    n_layers = 4
    lr = 6e-4
    attn_dropout = 0.1
    block_dropout = 0.1
  
    Train Loss: 4.020419597625732
    Valid Loss: 6.213085174560547
  

  • دفتر
  • نموذج حفظ
  • نتائج

•   V2
    n_embed = 384
    n_heads = 6
    head_size = 64
    n_layers = 3
    lr = 5e-4
    attn_dropout = 0.2
    block_dropout = 0.2
  
    Train Loss: 3.933095216751099 
    Valid Loss: 5.970513820648193
  

  • دفتر
  • نموذج حفظ
  • نتائج

---

كما هو الحال دائمًا ، برنامج تعليمي لا يصدق بواسطة Andrej!