unit scaling demo

وحدة التحجيم التجريبية

رمز الورقة: وحدة تحجيم الوحدة: التدريب خارج الدقة خارج الصندوق.

نود أن تكون الأوزان والتنشيط والتدرجات جميعها وحدة تباين في التهيئة. لتحقيق ذلك ، سنقدم عوامل تحجيم منفصلة للتفعيل في مرور المهاجمين والتدرجات في الممر للخلف.

يحتوي هذا المستودع على رمز التجريب الخاص بنا للتجارب على نمذجة اللغة على مستوى الأحرف ، وجهاز كمبيوتر محمول تجريبي.

ملخص:

• تقنية - تحجيم الوحدة
• المهمة - نمذجة لغة الشخصية
• Dataset - Wikitext -103 (RAW)
• الإطار - TF2/Keras ، Poplar SDK
• قطع الأشجار - واندب

بناء:

• Run_experiment.py - نقطة التكوين وإدخالها لتجربة واحدة
• Run_sweep.py - المنطق والتكوين
• SCMM/ - حزمة Python الأساسية وتنفيذ خط الأساس
  • SCMM/ USCALE/ - تطبيق تحجيم الوحدة
  • SCMM/ Pedal/ - محولات خاصة منصة
• Dev - Script Task Launch (الاختبارات ، LINT ، إلخ)
• Dataset.ipynb - البرنامج النصي المستخدم لإنشاء المفردات من Wikitext -103 (RAW)
• Pytorch-notebook/وحدة التقييم

انظر أيضا:

• pytorch-notebook/unit-scaling-notebook.ipynb-Demo pytorch المستقل
• الفرع: 2023-01 ورقة-مواد داعمة إضافية للورقة

الاستخدام

تم اختبار هذا الرمز على Poplar SDK 3.1.0+1205.

python3 -m venv .venv
# Append to .venv/bin/activate:
# source PATH/TO/POPLAR_SDK/enable
source .venv/bin/activate
pip install wheel
pip install $POPLAR_SDK_ENABLED /../tensorflow-2.6.3+gc3.1.0+246224+2b7af067dae+amd_znver1-cp38-cp38-linux_x86_64.whl
pip install $POPLAR_SDK_ENABLED /../keras-2.6.0+gc3.1.0+246230+88e2debf-py2.py3-none-any.whl
pip install -r requirements.txt

python run_experiment.py

للتكاثر

يتم وصف عمليات مسح نتيجة الاختبار الخاصة بنا بواسطة run_sweep.py . افتراضيًا ، يفترض هذا أن البيانات تحت/home/research-datasets/wikitext103_raw ( train.txt ، valid.txt ، test.txt ) وأنه يتم تسجيل الدخول إلى wandb.

python run_sweep.py

المراجع والترخيص

حقوق الطبع والنشر (C) 2023 GraphCore Ltd. مرخصة بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

يتم إصدار الرمز المضمن بموجب ترخيص معهد ماساتشوستس للتكنولوجيا (انظر الترخيص).

تبعياتنا هي:

عنصر	عن	رخصة
واند	مكتبة عميل الأوزان والتحيزات (موقع الويب) ، لتسجيل الدخول الاختياري إلى خوادم WANDB	معهد ماساتشوستس للتكنولوجيا

نستخدم أيضًا تبعيات Python إضافية للتطوير/الاختبار (انظر المتطلبات dev.txt).

تم ترخيص مجموعة بيانات Wikitext-103 بموجب ترخيص Creative Commons Attribution-Sharealike.