Llama3.1 Finetuning - Llama3.1 Finetuning

Llama3.1 Finetuning

كود الذكاء الاصطناعي

1.0.0

تنزيل

llama3/3.1-finetuning

قم بإجراء صقل كامل للمعلمة ، وضبط Lora ، وصقل Qlora ل LLAMA3. بالإضافة إلى ذلك ، يتم دعم صقل طراز QWEN1.5 أيضًا. إذا كنت ترغب في استبداله بنموذج آخر ، فإن أهم شيء هو معالجة البيانات.

تحديث سجل

2023/07/28: أضف ضبطًا دقيقًا إلى Baichuan2-7b-Chat.
2024/07/24: تمت إضافة ضبط دقيق إلى Llama3.1-8b-instruct. transformers==4.43.1 accelerate==0.33.0 .
2024/07/22:
- أضف ضبطًا دقيقًا إلى GLM-9B-Chat. ملاحظة: تحتاج إلى استبدال سطر 791 في Modeling_ChatglM.Py مع padding_mask = padding_mask.to(torch.bfloat16) . نسخة المحولات المطلوبة هي 4.42.4 . بعد تثبيت الحزمة في المتطلبات. txt ، تحتاج إلى إعادة تثبيت المحولات.
- تمت إضافة ضبط دقيق إلى Qwen1.5-7b-Chat.
- أضف ضبطًا دقيقًا إلى Qwen2-7b-instruct.
- أضف ضبطًا دقيقًا إلى yi1.5-6b-Chat.
2024/07/19: تمت إضافة ضبط دقيق إلى Internlm2.5. ملاحظة: لا يدعم Internlm2.5 عملية النقل الدقيقة باستخدام BF16 ، لذلك يتم تحديد FP16 في الأمر RUN.
2024/10/04: تمت إضافة ضبط دقيق إلى QWEN2.5-7B-instruct. أضف ضبطًا دقيقًا إلى Llama3.2-3b-instruct. pip install transformers --upgrade وتثبيت pip install accelerate --upgrade .

التبعيات التثبيت

قم بتشغيل الجهاز: ما عليك سوى استخدام بطاقة رسومات مع ذاكرة رسومات 24G.
python==3.8.8
pip install -r requirements.txt

إعداد البيانات

يتم تخزين البيانات تحت البيانات ، التنسيق المحدد هو:

[
  {
    "conversations" : [
      {
        "from" : " user " ,
        "value" : "你是那个名字叫ChatGPT的模型吗？ "
      },
      {
        "from" : " assistant " ,
        "value" : "我的名字是西西嘛呦，并且是通过家里蹲公司的大数据平台进行训练的。 "
      }
	]
  }
  ...
]

يتم إعداد جولات متعددة من المحادثات أيضًا مع البيانات بالتنسيق أعلاه.

إعداد النموذج

أدخل مجلد Model_hub ، قم بتشغيل python download_modelscope.py لتنزيل نموذج Llama3-8b-instruct.

تعديل غرامة

أدخل مجلد البرنامج النصي.

المعلمة كاملة ضبط غرامة

بسبب قيود الماكينة ، لا يوجد صقل كامل معلمة هنا. يمكنك تجربته إذا كان لديك الشروط.

لورا نغمة فاخرة

يجب أن يكون عدد بطاقات الرسومات المحددة بواسطة NPROC_PER_NODE و CUDA_VISIBLE_DEVICES متسقة.

NCCL_P2P_DISABLE=1 
NCCL_IB_DISABLE=1 
CUDA_VISIBLE_DEVICES=0,1,2,4,5,6,7 
torchrun 
--nproc_per_node 7 
--nnodes 1 
--node_rank 0 
--master_addr localhost 
--master_port 6601 
../finetune_llama3.py 
--model_name_or_path " ../model_hub/LLM-Research/Meta-Llama-3-8B-Instruct/ " 
--data_path " ../data/Belle_sampled_qwen.json " 
--bf16 True 
--output_dir " ../output/llama3_8B_lora " 
--num_train_epochs 100 
--per_device_train_batch_size 1 
--per_device_eval_batch_size 1 
--gradient_accumulation_steps 8 
--evaluation_strategy " no " 
--save_strategy " steps " 
--save_steps 5 
--save_total_limit 1 
--learning_rate 1e-5 
--weight_decay 0.1 
--adam_beta2 0.95 
--warmup_ratio 0.01 
--lr_scheduler_type " cosine " 
--logging_steps 1 
--report_to " none " 
--model_max_length 4096 
--gradient_checkpointing True 
--lazy_preprocess True 
--deepspeed " ../config/ds_config_zero3_72B.json " 
--use_lora

نغمة فاخرة qlora

يجب أن يكون عدد بطاقات الرسومات المحددة بواسطة NPROC_PER_NODE و CUDA_VISIBLE_DEVICES متسقة. استخدم Qlora لإكمال التدريب على 4090 واحد.

NCCL_P2P_DISABLE=1 
NCCL_IB_DISABLE=1 
CUDA_VISIBLE_DEVICES=0,1,2,4,5,6,7 
torchrun 
--nproc_per_node 7 
--nnodes 1 
--node_rank 0 
--master_addr localhost 
--master_port 6601 
../finetune_llama3.py 
--model_name_or_path " ../model_hub/LLM-Research/Meta-Llama-3-8B-Instruct/ " 
--data_path " ../data/Belle_sampled_qwen.json " 
--bf16 True 
--output_dir " ../output/llama3_8B_qlora " 
--num_train_epochs 100 
--per_device_train_batch_size 1 
--per_device_eval_batch_size 1 
--gradient_accumulation_steps 16 
--evaluation_strategy " no " 
--save_strategy " steps " 
--save_steps 5 
--save_total_limit 1 
--learning_rate 1e-5 
--weight_decay 0.1 
--adam_beta2 0.95 
--warmup_ratio 0.01 
--lr_scheduler_type " cosine " 
--logging_steps 1 
--report_to " none " 
--model_max_length 4096 
--gradient_checkpointing True 
--lazy_preprocess True 
--deepspeed " ../config/ds_config_zero2.json " 
--use_lora 
--load_in_4bit 
--q_lora

التفكير

llama3_single_predict.py: يوفر التفكير للنموذج قبل التثبيت.
llama3_lora_predict.py: يوفر دمج النماذج القائمة على صناديق Lora في النموذج الأساسي وأداء الاستدلال.
llama3_qlora_4bit_predict.py: يوفر دمج نماذج الضبط الدقيقة المستندة إلى Qlora في النموذج الأساسي وأداء الاستدلال.
llama3_peft_qlora_predict.py: استخدم peft لتحميل محول Qlora للتفكير.
llama3_peft_lora_predict.py: استخدم PEFT لتحميل محول LORA للاستدلال.

التفكير بعد التدريب:

问题： 在互联网普及的时代，社交媒体已经成为了现代人生活中不可缺少的一部分。从微信、微博、 Facebook到Twitter 、 Instagram等等，社交媒体不仅满足了人们交流互动的需求，同时让人们更加容易地分享自己的生活瞬间、获取新闻资讯、找到志同道合的人群以及推广自己的业务。然而，与此同时，社交媒体也带来了一系列问题，如滥用个人信息、泄露隐私等。因此，如何正确地使用社交媒体已经成为了一个备受关注的话题。，总结上面这段文本的几个关键词

微调前结果： Arrrr , shiver me timbers ! Ye be wantin ' me to summarize the key words from that there text , eh ? Alright then , matey ! Here be the main points :

1. Social media ( the scourge o ' the seven seas ... er , I mean , the modern world )
2. Communication ( the lifeblood o ' the pirate' s existence ... er , I mean , the need for people to interact )
3. Sharing ( the treasure o ' the digital age... er, I mean, the ability to share one' s life moments )
4. Information ( the booty o ' the internet ... er , I mean , the news and knowledge shared online )
5. Privacy ( the anchor o ' security... er, I mean, the need to protect one' s personal info )
6. Correct usage ( the map to avoidin ' the rocky shores o' social media misuse ... er , I mean , the importance of using social media responsibly )

So hoist the colors , me hearties , and remember to use social media like a proper pirate : with caution , respect , and a keen eye for treasure !

微调后结果： 社交媒体、交流、分享、隐私、滥用信息