alpaca 7b chinese

؟؟؟؟ FINETUNE LLAMA-7B مع مجموعات بيانات التعليم الصينية

لمزيد من الأساليب finetune لـ LLM ، يرجى الاطلاع على دليل LLM-Finetune

هذا المستودع هو برنامج تعليمي لـ LLAMA-7B مع مجموعات البيانات الصينية! أقوم بمسح ودمج مجموعة البيانات وطريقة لتصنيع LLM الخاص بي لمهام NLP المعقدة مثل التلخيص ، والإجابة على الأسئلة ، وتوليد النصوص ، وزيادة البيانات المخصصة ، إلخ.

نظرًا لأن Finetune الأصلي Stanford Alpaca-7B يحتاج إلى الكثير من موارد GPU ، فإنني أركز على مسح الطريقة مع انخفاض استهلاك GPU.

إذن ، إليك كيفية التكاثر:

تثبيت

1. تثبيت المتطلبات

$ pip install -r requirements.txt

2. تثبيت Pytorch في إصدار متوافق مع CUDA

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

مجموعات البيانات

قام هذا المستودع بدمج جميع مجموعات البيانات باستخدام الإنجليزي ، البناء الصيني والمخرجات:

1. alpaca_data.json : مجموعة البيانات الأصلية من ستانفورد الألباكا
2. alpaca_data_cleansed.json : التطهير بواسطة gururise/alpacadatacleaned
3. alpaca-zhCN.json : ترجمة بواسطة carbonz0/alpaca-chinese-dataset
4. alpaca-zhTW.json : ترجمة إلى الصينيين التقليديين باستخدام OpenCC
5. alpaca-en-zh.json : الجمع بين التعليمات الإنجليزية/الإدخال والإخراج الصيني بواسطة ntunlplab/alpaca التقليدية-alpaca: (مجموعة البيانات الصينية التقليدية ترجمة API chatgpt ( gpt-3.5-turbo ) بواسطة ntunlblab/chinese-alpaca (تحديث في 2023.03.29)))

ضبط دقيق

طريقة Finetune المرجعية توفرها Tloen/Alpaca-Lora

1. قم بتشغيل 1 GPU مع Colab: https://colab.research.google.com/drive/1qvtrjpikkknksbwwg766sigbbw2tqrd5؟usp=sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. استخدم torchrun للتدريب الموزعة على GPUs المتعددة

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

مهام المجال Finetune

لقد جمعت مهام المجال المختلفة في مستودعتي: تعليمات التعليمات غير المقيدة

مرحبًا بكم في التعاون! يرجى الاتصال بي على: [email protected] . أرغب في تجربة المهام من مجالات مختلفة مثل الاستثمار والاحتيال والتجارة الإلكترونية والقانون والرعاية الصحية ...

نموذج الخدمة

لخدمة خدمة النموذج الخاصة بك من خلال واجهة برمجة التطبيقات (API) وموقع الويب البسيط UI!

1. نموذج API

   $ cd serve/
   $ python api.py

2. Demo UI

   $ cd serve/
   $ python ui.py

يتعلم أكثر

لقد رتبت أساليب Finetune لـ LLM في LLM-Finetune-Muide

قمت برعاية الكثير من الطرق التي تحاول تشغيل نماذج لغة كبيرة مع عدد أقل من موارد GPU:

• PEFT
• لورا
• Flexgen ...

انظر القائمة الكاملة: chatgpt-alternities

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}