Count Sketch Optimizers

مُحسِّنات العد

ضغط محسّنات التدرج عبر اللوحات العددية

ورقة ICML 2019 لريان سبرينج ، أناستاسيوس كيريليديس ، فيجاي موهان ، أنشومالي شريفاستافا

نتائج التدريب بيرت لارج

تدرب مع تفعيل التفتيش والتدريب الدقيق المختلط (FP16) على خوادم NVIDIA V100 DGX-1

بيرت large	آدم	Count -Min Sketch (CMS) - RMSPROP
الوقت (أيام)	5.32	5.52
الحجم (MB)	7،097	5،133
اختبار الحيرة	4.04	4.18

تعليمات

1. تثبيت المتطلبات
2. أضف مجلد محسّنات إلى Pythonpath $

متطلبات

1. الشعلة
2. Torchvision
3. كأس
4. Pynvrtc

أمثلة

1. ImageNet - Resnet -18
2. LM1B - Transformer / LSTM
3. Wikitext -2 - LSTM

دعم طبقة كثيفة

نحن ندعم ضغط الطبقات الكثيفة من الشبكة العصبية دون تحديث التباعد. أثناء التدريب ، نقوم بتحديث المتغيرات الإضافية وأداء تحديث التدرج لكل معلمة في kernel واحد منصهر. النواة الكثيفة تعادل النواة المتفرقة. الفرق الرئيسي هو أننا نتجنب صراحة توليد المتغيرات الإضافية للطبقات الكثيفة في الذاكرة العالمية. بدلاً من ذلك ، نصل إليها داخل الذاكرة المشتركة لعلاج GPU الذي يتدفق. بدون هذه الميزة الرئيسية ، لن يحفظ نهجنا أي ذاكرة GPU للطبقات الكثيفة. في الحالة المتفرقة ، نفترض أن تحديثات التدرج غير الصفر أصغر بكثير من المتغير المساعد. (انظر Dense_exp_cms.py لمزيد من التفاصيل)

مراجع

1. محول العمارة - نموذج لغة Nvidia Megatron
2. الضغط على محسّلات التدرج عبر اللوحات العددية (ICML 2019)