alpaca 7b chinese

???? Finetune Llalama-7b與中文指令數據集

有關LLM的更多Finetune方法，請參閱LLM-Finetune指南

該存儲庫是使用中文數據集的Finetuntuntuntuntuntuntun-fine庫的教程！我調查並組合數據集和方法，以填充自己的LLM用於復雜的NLP任務，例如摘要，問答，文本生成，自定義數據增強等。

由於最初的斯坦福羊駝羊駝7B芬特蛋白需要大量的GPU資源，因此我專注於用GPU消耗率低的方法進行調查。

因此，這是複制的方法：

安裝

1. 安裝要求

$ pip install -r requirements.txt

2. 與CUDA兼容版本安裝Pytorch

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

數據集

該存儲庫使用英語指導，中文輸出結構組合了所有數據集：

1. alpaca_data.json ：斯坦福羊駝的原始數據集
2. 羊alpaca_data_cleansed.json 。
3. alpaca-zhCN.json ：由Carbonz0/羊駝毛 - 中國dataset翻譯
4. alpaca-zhTW.json ：使用OpenCC轉換為傳統中文
5. alpaca-en-zh.json ：Ntunlplab/tradiflation-chinese-alpaca組合英語說明/輸入和中文輸出：（ ntunlplab/tradiflic-chineSe-chinese-alpaca（ntunlplab/fordmation-chineess-alpaca）（ gpt-3.5-turbo ）翻譯傳統的中文數據集（gpt-3.5-turbo）

Finetune

Tloen/羊駝Lora提供的參考Finetune方法

1. 與COLAB一起在1 GPU上運行：https：//colab.research.google.com/drive/1qvtrjpikkkkknksbwwg766sigbbbbbw2tqrd5？ usp = sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. 使用torchrun進行多GPU的分佈式培訓

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Finetune域任務

我在我的存儲庫中收集了不同的域任務：指令 - 芬太納數據

歡迎合作！請通過以下方式與我聯繫： [email protected] 。我想嘗試來自不同領域的任務，例如投資，欺詐，電子商務，法律，醫療保健，...

模型服務

通過API和簡單網站UI服務您自己的模型服務！

1. 模型API

   $ cd serve/
   $ python api.py

2. 演示UI

   $ cd serve/
   $ python ui.py

了解更多

我安排了LLM-Finetune指定的LLM的Finetune方法

我策劃了許多嘗試以更少的GPU資源運行大型語言模型的方法：

• peft
• 洛拉
• 彈性...

請參閱完整列表：Chatgpt-Anternatives

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}