الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

؟؟؟ Flan-Alpaca-Lora: تعليمات ضبط من البشر والآلات ذات التكيف المنخفض الرتبة

يدرب هذا Repo Google/Flan-T5 على مجموعة بيانات الألبكة مع طريقة التدريب على التكيف منخفضة الرتبة. إنه يقلل من ذاكرة وحدة معالجة الرسومات المطلوبة ويسرع التدريب.

17 يونيو 2023: أضف دفتر ملاحظات. يمكنك تجربة flan-alpaca-lora معها الآن.

3 مايو ، 2023: Train Flan-T5-XL باستخدام مجموعة بيانات Alpaca-GPT4.

13 أبريل ، 2023: Train Flan-T5-XL باستخدام مجموعة بيانات GPTEACHER (Endruct و Aroleplay) ، والتي يبدو أنها تعمل بشكل جيد.

5 أبريل ، 2023: قطار Flan-T5-XXL باستخدام كمية 8bit. يمكن تركيب النموذج في وحدة معالجة الرسومات 3090 واحدة. يمكن العثور على جميع النماذج في Luggingface.

نموذج adapter_params بيانات GPU وقت
flan-alpaca-lora-base 0.9m تنظيف الألبكة 3090 20 دقيقة
flan-alpaca-lora-large 2.4m تنظيف الألبكة 3090 50 دقيقة
flan-alpaca-lora-xl 4.7m تنظيف الألبكة 3090 2.5 ساعة
flan-alpaca-lora-xxl 9.4m تنظيف الألبكة 3090 10 ساعات
Flan-gptacher-lora-xl 4.7m GPTEACHER 3090 80 دقيقة
flan-alpaca-gpt4-lora-xl 4.7m الألبكة-GPT4 3090 3.25 ساعة

التبعيات 

 torch == 1.13.1
transformers == 4.29.1
peft == 0.3.0
bitsandbytes==0.38.1
accelerate==0.19.0

يجب أن يعمل أحدث إصدار من هذه الحزم بشكل جيد.

تمرين

الأمر التالي Finetune Flan-T5-base مع 20 دقيقة فقط على وحدة معالجة الرسومات 3090 واحدة 

python train.py 
    --model_name_or_path google/flan-t5-base 
    --data_path ./alpaca_data_cleaned.json 
    --bf16 True 
    --output_dir ./ckpts/ 
    --num_train_epochs 3 
    --per_device_train_batch_size 8 
    --gradient_accumulation_steps 8 
    --evaluation_strategy " no " 
    --save_strategy " no " 
    --learning_rate 5e-4 
    --weight_decay 0. 
    --warmup_ratio 0.03 
    --lr_scheduler_type " cosine " 
    --logging_steps 50 
    --tf32 True

مثال الاستخدام: 

 import transformers
from peft import PeftModel

# Where peft_model_id should be the saving directory or huggingface model id
model_name = "google/flan-t5-large" ; peft_model_id = "reasonwang/flan-alpaca-lora-large"
tokenizer = transformers . AutoTokenizer . from_pretrained ( model_name )
base_model = transformers . AutoModelForSeq2SeqLM . from_pretrained ( model_name )
peft_model = PeftModel . from_pretrained ( base_model , peft_model_id )

# Input an instruction or any other questions.
inputs = tokenizer ( "List a few tips to get good scores in math." , return_tensors = "pt" )
outputs = peft_model . generate ( ** inputs , max_length = 128 , do_sample = True )
print ( tokenizer . batch_decode ( outputs , skip_special_tokens = True ))
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل