alpaca 7b chinese

???? Finetune llama-7b mit chinesischen Anweisungsdatensätzen

Weitere Finetune-Methoden für LLM finden Sie in LLM-Finetune-Guide

Dieses Repository ist ein Tutorial für das Finetuning LLAMA-7B mit chinesischen Datensätzen! Ich überprüfe und kombiniere den Datensatz und die Methode zur Fülle meiner eigenen LLM für komplexe NLP -Aufgaben wie Zusammenfassung, Fragenbeantwortung, Textgenerierung, benutzerdefinierte Datenvergrößerung usw.

Da das ursprüngliche Stanford ALPACA-7B-Finetune viele GPU-Ressourcen benötigt, konzentriere ich mich auf die Vermessung der Methode mit niedrigem GPU-Verbrauch.

So reproduzieren Sie also:

Installation

1. Anforderungen installieren

$ pip install -r requirements.txt

2. Installieren Sie Pytorch bei kompatibler Version mit CUDA

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

Datensätze

Dieses Repository kombinierte alle Datensätze mithilfe der englischen Unterricht und der Konstruktion chinesischer Ausgabe:

1. alpaca_data.json : Original -Datensatz von Stanford Alpaka
2. alpaca_data_cleansed.json : Reinigung durch Gururise/Alpacadatacleaned
3. alpaca-zhCN.json : Übersetzt durch Carbonz0/Alpaca-Chinese-Datenet
4. alpaca-zhTW.json : Übersetzen Sie auf traditionelle Chinesen mit OpenCC
5. alpaca-en-zh.json : Kombinieren Sie die englische Anweisung/Eingabe und die chinesische Ausgabe von NTunlPLAB/traditionellem Chinese-Alpaca: (traditioneller chinesischer Datensatz übersetzt mit CHATGPT-API ( gpt-3.5-turbo ) von ntunlplab/traditionellem Chinese-Alpaca (Update at 2023.03.29)))))

Finetune

Referenz-Finetune-Methode von Tloen/Alpaka-Lora

1. Rennen Sie auf 1 GPU mit Colab: https://colab.research.google.com/drive/1qvtrjpikKKnksBwwg7666SIGBBW2TQRD5?usp=sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. Verwenden Sie torchrun für ein verteiltes Training auf Multi-GPUs

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Finetune -Domain -Aufgaben

Ich habe verschiedene Domänenaufgaben in meinem Repository gesammelt: Anweisungs-Finetun-Datensätze

Willkommen Kooperationen! Bitte kontaktieren Sie mich unter: [email protected] . Ich möchte Aufgaben aus verschiedenen Bereichen wie Investitionen, Betrug, E-Commerce, Recht, Gesundheitswesen, ...

Modelldienste

Um Ihren eigenen Modelldienst über API und einfache Website -Benutzeroberfläche zu bedienen!

1. Modell API

   $ cd serve/
   $ python api.py

2. Demo -UI

   $ cd serve/
   $ python ui.py

Erfahren Sie mehr

Ich habe Finetune-Methoden für LLM bei LLM-Finetune-Guide angeordnet

Ich habe viel Methode kuratiert, die versuchen, große Sprachmodelle mit weniger GPU -Ressourcen auszuführen:

• Peft
• Lora
• Flexgen ...

Siehe vollständige Liste: Chatgpt-Alternative

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}