lmtool fwp

مجموعة أدوات نمذجة لغة Pytorch (لمبرمجي الوزن السريع)

يحتوي هذا المستودع على الكود الرسمي المستخدم لتجارب نمذجة اللغة في الورقة (الورقة):

• المحولات الخطية هي مبرمجين سريع الوزن (ICML 2021) سراً (ICML 2021)
• تجاوز المحولات الخطية مع مبرمجين متكررين للوزن السريع
• ...

بشكل عام ، يمكن استخدام هذا كمجموعة أدوات نمذجة اللغة في Pytorch لتجربة:

• المحولات القياسية

• Transformer-XL

• المبرمجين سريع الوزن مع قواعد تحديث مختلفة ووظائف الاهتمام الخطي :

  • قواعد التحديث: "SUM" وقاعدة "Delta" لدينا (كما هو مقترح في ورقتنا ؛ المادة 4.2)
  • وظائف الاهتمام الخطي: "الانتباه الخطي" المستند إلى ELU ، "SIVEN+" ، "الإسقاط الخالي من المعلمة الحتمية (DPFP)"

  على سبيل المثال ، تؤدي بعض المجموعات إلى نماذج معروفة:

  • محولات خطية = "SUM" قاعدة تحديث + "الانتباه الخطي" المستند إلى ELU
  • Performers = "SUM" UPDATE RUSE + "Favor +"

تطبيقات الوزن السريع

يحتوي هذا المستودع على اثنين من تطبيقات الأوزان السريعة.

• kernel cuda مخصص (انظر utils/fast_fast_weight و utils/cuda_fast_weight_layer.py)
• torch.autograd.Function (انظر utils/fast_weight.py)

بينما استخدمنا فقط تطبيق CUDA لجميع تجاربنا النهائية (استخدام GPU بشكل أسرع/أفضل بكثير) ، يمكن أن يكون إصدار torch.autograd.Function مفيدًا لنماذج أولية سريعة مع امتدادات جديدة.

متطلبات

تتطلب مجموعة الأدوات هذه torch Pytorch و ninja Ninja (لتجميع نواة CUDA).

أجريت تجارب الورق مع Python 3.6 و Pytorch 1.4.0 (ملاحظة في 24 أغسطس ، 2023: يعمل الرمز أيضًا مع Python 3.11 و Pytorch 2.0.1+Cu117).

لا يتم دعم الإصدارات الأكثر حداثة من Pytorch بشكل جيد من خلال مجموعة الأدوات التي لا تزال تستخدم torch.nn.DataParallel للتدريب متعدد GPU. إذا كنت بحاجة حقًا إلى استخدام إصدار أحدث من Pytorch ، فتحقق من الوثائق لاستخدام torch.nn.parallel.DistributedDataParallel بدلاً من ذلك. نأمل أن نصلح هذا قريبًا ، لكن لا يمكننا معرفة متى بالضبط.

تدعم مجموعة الأدوات الأوزان والتحيزات لمراقبة الوظائف. إذا كنت تستخدمه ، قم أيضًا بتثبيت wandb .

شكر وتقدير

تحتوي هذه الصمامة على العديد من خطوط الكود المأخوذة وتكييفها من المصادر التالية:

• تم تشويه هذه الرواسب في الأصل من التنفيذ الرسمي لـ Transformer-XL Kimiyoung/Transformer-XL. إن رمز النماذج المحول-XL ونماذج المحولات القياسية ، وكذلك الوظائف الأساسية اللازمة لنمذجة اللغة (بما في ذلك التضمينات التكيفية والإخراج) وإعداد البيانات (Wikitext-103 ، ENWIK8 ، ...) من المستودع المقابل.
• بالنسبة للأداء ، يتم استخدام وظائف المساعد من LucidRains/Performer-Pytorch.
• لتطبيقات CUDA لمبرمجي الوزن السريع لدينا مع قاعدة دلتا:
  • يتم استخدام رمز من idiap/التحويلات السريعة مع تغييرات طفيفة لقاعدة تحديث SUM.
  • قمنا بتعديلها لتنفيذ قاعدة التحديث الخاصة بنا. انظر التعليقات في الكود للمواقع والتعديلات الدقيقة.

التعليمات العامة

يرجى التحقق من الملفات تحت example_scripts للحصول على تعليمات عامة وأمثلة لتدريب وتقييم النماذج.

bibtex

 @inproceedings{schlag2021linear,
      title={Linear Transformers Are Secretly Fast Weight Programmers}, 
      author={Imanol Schlag and Kazuki Irie and J"urgen Schmidhuber},
      booktitle={Proc. Int. Conf. on Machine Learning (ICML)},
      address = {Virtual only},
      month = jul,
      year={2021}
}

 @article{irie2021going,
      title={Going Beyond Linear Transformers with Recurrent Fast Weight Programmers}, 
      author={Kazuki Irie and Imanol Schlag and R'obert Csord'as and J"urgen Schmidhuber},
      journal={Preprint arXiv:2106.06295},
      year={2021}
}

الروابط

• يمكن العثور على رمز تجارب الاسترجاع الاصطناعية في الورقة "المحولات الخطية هي مبرمجين للوزن السريع" (ICML 2021) في محولات ISChlag/Fast-Weight.
• يمكن العثور على المستودع الكامل للورقة "تجاوز المحولات الخطية مع مبرمجي الوزن السريع المتكرر" على: Idsia/متكرر FWP
• منشور مدونة Jürgen Schmidhuber's AI على مبرمجي الوزن السريع (26 مارس 2021).