llama2 lora fine tuning

Affineur Llama2-Chat avec Lora et Deeppeed

Affinez le modèle LLAMA-2-7B-CHAT sur deux P100 (16G).

La source de données adopte le format alpaca et se compose de deux sources de données: train et validation.

1. Exigences de la carte graphique

Mémoire vidéo 16G et supérieur (P100 ou T4 et supérieur), un ou plusieurs blocs.

2. Code source de clone

git clone https://github.com/git-cloner/llama2-lora-fine-tuning
cd llama2-lora-fine-tuning

3. Environnement dépendant de l'installation

 # 创建虚拟环境
conda create -n llama2 python=3.9 -y
conda activate llama2
# 下载github.com上的依赖资源（需要反复试才能成功，所以单独安装）
export GIT_TRACE=1
export GIT_CURL_VERBOSE=1
pip install git+https://github.com/PanQiWei/AutoGPTQ.git -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn
pip install git+https://github.com/huggingface/peft -i https://pypi.mirrors.ustc.edu.cn/simple
pip install git+https://github.com/huggingface/transformers -i https://pypi.mirrors.ustc.edu.cn/simple
# 安装其他依赖包
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple
# 验证bitsandbytes
python -m bitsandbytes

4. Téléchargez le modèle original

python model_download.py --repo_id daryl149/llama-2-7b-chat-hf

5. Développez la liste des mots chinois

 # 使用了https://github.com/ymcui/Chinese-LLaMA-Alpaca.git的方法扩充中文词表
# 扩充完的词表在merged_tokenizes_sp（全精度）和merged_tokenizer_hf（半精度）
# 在微调时，将使用--tokenizer_name ./merged_tokenizer_hf参数
python merge_tokenizers.py 
  --llama_tokenizer_dir ./models/daryl149/llama-2-7b-chat-hf 
  --chinese_sp_model_file ./chinese_sp.model

6. Description du paramètre à réglage fin

Il existe plusieurs paramètres qui peuvent être ajustés:

paramètre	illustrer	Obtenez la valeur
load_in_bits	Précision du modèle	4 et 8. Si la mémoire vidéo ne déborde pas, essayez de choisir la haute précision 8.
block_size	Longueur maximale de jeton	Premier choix 2048, débordement de mémoire, 1024, 512, etc.
per_device_train_batch_size	Nombre de lots par carte chargés à chaque fois pendant la formation	Tant que la mémoire ne déborde pas, essayez d'aller aux élections générales
per_device_eval_batch_size	Nombre de lots par carte chargés à chaque fois pendant l'évaluation	Tant que la mémoire ne déborde pas, essayez d'aller aux élections générales
inclure	Séquences de cartes graphiques utilisées	Par exemple, deux pièces: LocalHost: 1,2 (notez que la séquence n'est pas nécessairement la même que ce que Nvidia-SMI voit)
num_train_epochs	Nombre de rondes de formation	Au moins 3 tours

7. Ajustement fin

chmod +x finetune-lora.sh
# 微调
./finetune-lora.sh
# 微调（后台运行）
pkill -9 -f finetune-lora
nohup ./finetune-lora.sh > train.log  2>&1 &
tail -f train.log

8. Test

CUDA_VISIBLE_DEVICES=0 python generate.py 
    --base_model ' ./models/daryl149/llama-2-7b-chat-hf ' 
    --lora_weights ' output/checkpoint-2000 ' 
    --load_8bit #不加这个参数是用的4bit