LLM Pretrain SFT

LLM-PROTRAIN-SFT

LLM预处理和修订的脚本（SFT）

洛拉和深速支持

存储库基于tatsu-lab/stanford_alpaca。

支持的LLM

• 美洲驼1和2
• Baichuan 2
• Mistral

预处理（持续预处理）

1. 在开始连续培训LLM之前，您应该提供模型名称（拥抱面）或本地模型路径。

2. 准备培训数据，您可以使用Markdown或TXT格式的纯文本进行预处理。该示例是编写神经影响声明的指南。您可以在数据文件夹中添加更多文本语料库。

3. 发射

 pip install -r requirements.txt
cd llm_pretrain
./pretrain_llama.sh

请注意，这些模型的某些参数设置不同。

SFT

1. 在开始微调LLM之前，您应该提供模型名称（拥抱面）或本地模型路径。

2. 准备培训数据，您可以添加自己的任务数据，例如sft_examples.json中的示例，该示例类似于alpaca_data.json

格式如下：

 {
    "binary_selection": [
    {
            "instruction": "Does the following text violate the law?nText: OH MY FUCKING GOD",
            "output": "No"
    },
    ...
    ],
    "another_task_name": [
    {
            "instruction": "How are you?",
            "output": "Not bad."
    },
    ...
    ],
    ...
}

请注意，如果将Alpaca_data.json放在数据文件夹中，则脚本将其用作培训数据的一部分。

Llama-2 ：由于Llama-2中没有PAD_TOKEN，因此建议您可以在Tokenizer中添加'tokenizer.pad_token = tokenizer.ink_token'。

3. 发射

完整参数

 pip install -r requirements.txt
cd llm_sft
./train_llama.sh

洛拉

 pip install -r requirements.txt
cd llm_sft
./train_baichuan_LORA.sh

您可以调整train_lora.py中的配置。在我们的实验中，对于Baichuan，您的变形金刚版本应> = 4.29.0和<4.34.0。

请注意，这些模型的某些参数设置不同。

深速

如果要使用DeepSpeed，请使用以下命令：

 --deepspeed "./configs/default_offload_opt_param.json" 

文件树

 .
├── LICENSE
├── README.md
├── llm_pretrain_clean
│   ├── data
│   │   └── A_Guide_to_Writing_the_NeurIPS_Impact_Statement.md
│   ├── evaluation
│   │   └── inference_single.py
│   ├── generate_pretrain_data.py
│   ├── pretrain.py
│   ├── pretrain_baichuan2.sh
│   ├── pretrain_llama.sh
│   ├── pretrain_mistral.sh
│   ├── requirementsX.txt
│   └── utils.py
└── sft_model_clean
    ├── README.md
    ├── configs
    │   └── default_offload_opt_param.json
    ├── data
    │   ├── alpaca_data.json
    │   └── sft_examples.json
    ├── evaluation
    │   └── inference_single.py
    ├── generate_sft_data.py
    ├── requirementsX.txt
    ├── train.py
    ├── train_baichuan.sh
    ├── train_baichuan_LORA.sh
    ├── train_llama.sh
    ├── train_lora.py
    ├── train_mistral.sh
    └── utils.py