selective peft toolkit

مجموعة أدوات PEFT الانتقائية

ملخص

مرحبًا بكم في selective-peft-toolkit ، التنفيذ الرسمي للورقة "STEP-BY-Step Distking من أجل صقل نماذج اللغة الكبيرة الموفرة للمعلمة" . توفر مجموعة الأدوات هذه إطارًا مرنًا لنماذج لغة كبيرة بشكل انتقائي باستخدام طرق مختلفة لضرب المعلمة (PEFT) بشكل انتقائي.

تتضمن مجموعة الأدوات طرق PEFT التالية:

• FFT (صقل كامل كامل)
• ID3 (طريقتنا المقترحة)
• بافي
• Bitfit

يتم كشف هذه الطرق من خلال حزمة تسمى selective_optimizers ، والتي يمكن تثبيتها عبر PIP:

pip install selective_optimizers

الميزات الرئيسية

• محسّنات انتقائية : أغلفة حول المحسّنات القياسية (الفئات الفرعية من torch.optim.optimizer) التي تحديث بشكل انتقائي عددًا من المعلمات المدرجة في الميزانية في النموذج.

• الاختيار القائم على الاستدلال : تحديث المحسنات الانتقائية المعلمات وفقًا لمختلف استراتيجيات الاستدلال والاختيار.

• التكامل مع المحولات : متوافق مع Transformers.trainer لسهولة التكامل في خطوط الأنابيب الحالية.

• التخزين الفعال : يخزن الأوزان المعدلة في كائن ملخص يحتل مساحة O (ب) فقط ، حيث B هي الميزانية.

تثبيت

لتثبيت حزمة selective_optimizers ، ما عليك سوى التشغيل:

pip install selective-optimizers

الاستخدام

سير العمل التدريبي

إليك سير عمل أساسي للتدريب مع مُحسّن انتقائي:

 from selective_optimizers . wrap import get_selective_optimizer
from selective_optimizers . load_store import write_summary_to_disk
from torch . optim import AdamW

# Choose your base optimizer
opt = AdamW

# Specify the PEFT method to use (can be one of “fft”, “id3”, “bitfit”, or “pafi”)
peft_to_use = "id3"

# Get the selective optimizer class
optimizer_class = get_selective_optimizer ( opt , peft_to_use )

# Initialize the optimizer with additional selective parameters
optimizer = optimizer_class (
    params = model . parameters (), 
    lr = 0.0001 , 
    budget = 100000 , 
    exp = 0 , 
    eps = 1e-3 , 
    max_steps = 1000
)

# Usual training loop
...
...

# Optional post-training work for validation
optimizer . post_train_work ()
print ( "Budget used:" , optimizer . get_budget_used ())

# Save the summary of modified weights
summary = optimizer . get_summary ( model )
write_summary_to_disk ( "path/to/summary.pth" , summary )

سير العمل الاستدلال

 from selective_optimizers . load_store import load_summary_from_disk , load_weights_from_summary

# Load your model as usual
...
model = ...
...

# Load the summary from disk
summary = load_summary_from_disk ( "path/to/summary.pth" )

# Apply the modified weights from the summary to the model
load_weights_from_summary ( model , summary )

# Usual inference code

...
...

التكامل مع المحولات

تقبل فئة transformers.trainer محسّنات خارجية ، مما يجعل من السهل دمج محسنات انتقائية في سير العمل الخاص بك:

1. إنشاء مُحسّن انتقائي كما هو موضح أعلاه.
2. مررها إلى فئة المدرب واتصل. Train () عليها.
3. بعد التدريب ، جلب وتخزين الملخص كما هو موضح أعلاه.
4. للاستدلال ، ما عليك سوى تحميل الملخص وتحديث النموذج كما هو موضح في الكود.

المساهمة

نرحب بالمساهمات في حزمة Selective_optimizers! إذا كنت ترغب في إضافة مُحسّن انتقائي جديد ، اتبع هذه الخطوات:

1. إنشاء ملف جديد داخل المجلد/ المجلد.
2. مُحسِّنات الفئة الفرعية/base_optimizer في ملفك الجديد.
3. تجاوز init_chosen () لتعيين الأقنعة الأولية للمعلمات.
4. تجاوز update_chosen () لتحديد كيفية تطور الأقنعة مع كل خطوة.
5. يرجى فتح طلب سحب مع مُحسِّنك الجديد ، وسنكون سعداء بمراجعته!

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. انظر ملف الترخيص للحصول على التفاصيل.

اقتباس

إذا كنت تستخدم مجموعة الأدوات هذه في بحثك ، فيرجى الاستشهاد بالورقة:

@article{Agarwal2024_step_by_step,
  title = {Step - by - Step Unmasking for Parameter - Efficient Fine - tuning of Large Language Models},
  author = {Aradhye Agarwal and Suhas Kamasetty Ramesh and Ayan Sengupta and Tanmoy Chakraborty}
  journal = {arXiv preprint arXiv: 2408 . 14470 },
  year = { 2024 },
}

اتصال

لأي أسئلة أو مشكلات ، لا تتردد في فتح مشكلة على مستودع GitHub أو الاتصال بنا مباشرة.