alpaca 7b chinese

???? Finetune Llalama-7b与中文指令数据集

有关LLM的更多Finetune方法，请参阅LLM-Finetune指南

该存储库是使用中文数据集的Finetuntuntuntuntuntuntun-fine库的教程！我调查并组合数据集和方法，以填充自己的LLM用于复杂的NLP任务，例如摘要，问答，文本生成，自定义数据增强等。

由于最初的斯坦福羊驼羊驼7B芬特蛋白需要大量的GPU资源，因此我专注于用GPU消耗率低的方法进行调查。

因此，这是复制的方法：

安装

1. 安装要求

$ pip install -r requirements.txt

2. 与CUDA兼容版本安装Pytorch

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

数据集

该存储库使用英语指导，中文输出结构组合了所有数据集：

1. alpaca_data.json ：斯坦福羊驼的原始数据集
2. 羊alpaca_data_cleansed.json 。
3. alpaca-zhCN.json ：由Carbonz0/羊驼毛 - 中国dataset翻译
4. alpaca-zhTW.json ：使用OpenCC转换为传统中文
5. alpaca-en-zh.json ：Ntunlplab/tradiflation-chinese-alpaca组合英语说明/输入和中文输出：（ ntunlplab/tradiflic-chineSe-chinese-alpaca（ntunlplab/fordmation-chineess-alpaca）（ gpt-3.5-turbo ）翻译传统的中文数据集（gpt-3.5-turbo）

Finetune

Tloen/羊驼Lora提供的参考Finetune方法

1. 与COLAB一起在1 GPU上运行：https：//colab.research.google.com/drive/1qvtrjpikkkkknksbwwg766sigbbbbbw2tqrd5？usp = sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. 使用torchrun进行多GPU的分布式培训

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Finetune域任务

我在我的存储库中收集了不同的域任务：指令 - 芬太纳数据

欢迎合作！请通过以下方式与我联系： [email protected] 。我想尝试来自不同领域的任务，例如投资，欺诈，电子商务，法律，医疗保健，...

模型服务

通过API和简单网站UI服务您自己的模型服务！

1. 模型API

   $ cd serve/
   $ python api.py

2. 演示UI

   $ cd serve/
   $ python ui.py

了解更多

我安排了LLM-Finetune指定的LLM的Finetune方法

我策划了许多尝试以更少的GPU资源运行大型语言模型的方法：

• peft
• 洛拉
• 弹性...

请参阅完整列表：Chatgpt-Anternatives

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}