Llama2 chinese
1.0.0
Лицензия на модель Llama2 изменилась и была коммерчески доступна. Когда модель была запущена, Llama2-Chat также была запущена. Я практиковал точную настройку ламы-2-7B-чата на карте рассуждения 16G (https://zhuanlan.zhihu.com/p/645152512, код https://github.com/git-cloner/llama2-lora-fine-tuning). Однако, даже если список словарного запаса расширяется, эффект рассуждения все еще не очень хорош, а ответы в основном на английском языке.
Когда была выпущена модель Llama2, была открыта официальная программа точного настройки под названием Llama Companion (https://github.com/facebookresearch/llama-recipes), которая поддерживает точную настройку полномасштабных, лору и других методов и является относительно более совместимым, чем третьими программы.
Эта статья основана на режиме ламы, изменении адаптивных графических карт и тонкой настройкой оригинальной модели Llama2-7B на основе Lora. Результатом является разумный вывод. Этот проект также обеспечивает процесс тестирования и потоковой интерфейс.
16G или выше, лучше всего иметь более двух частей.
Требуется 120 часов, чтобы точно настроить раунд более 100 м корпуса на двух P100 (16G). Поэтому рекомендуется использовать V100, 4090 и другие карты рассуждений для тонкой настройки.
git clone https://github.com/git-cloner/Llama2-chinese
cd Llama2-chineseconda create -n llama-recipes python=3.9 -y
conda activate llama-recipes
# 因为requirements中有从github中安装的依赖，网络环境不佳，打开这两个参数可以观察进度
export GIT_TRACE=1
export GIT_CURL_VERBOSE=1
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn
# 问题比较多的是bitsandbytes，pip install后用以下命令验证
python -m bitsandbytes # 用本项目开发的下载器下载模型，可以断点续传和重连
python model_download.py --repo_id NousResearch/Llama-2-7b-hf
# 下载后的模型在 ./modelsNousResearchLlama-2-7b-hf 下Корпус находится в формате Alpaca (корпус Alpaca in gurgingface.co очень большой и может быть разобрался сами). После персонализации это названо: ft_datasets/alpaca_data.json
# kill process force
pkill -9 -f llama_finetuning
# train，batch_size_training可按显存大小反复试，尽量把显存占满
# 本例是用两块P100，分别是第1、2块
# ！注意如果用两块卡，nproc_per_node是1，不是2
CUDA_VISIBLE_DEVICES=1,2 nohup torchrun --nnodes 1 --nproc_per_node 1
llama_finetuning.py
--use_peft
--peft_method lora
--model_name ./models/NousResearch/Llama-2-7b-hf
--use_fp16
--output_dir output/model
--dataset alpaca_dataset
--batch_size_training 40
--num_epochs 3
--quantization > train.log 2>&1 &
# check log
tail -f train.logПосле раунда точной настройки будет создана инкрементная модель PEFT. Под выходом/моделью используйте следующую команду для тестирования ее интерактивно на клиенте. Поскольку режим потока не используется, результаты можно увидеть только после его создания за один раз, поэтому скорость медленная.
CUDA_VISIBLE_DEVICES=0 python generate.py
--base_model ' ./models/NousResearch/Llama-2-7b-hf '
--lora_weights ' ./output/model '
--load_8bit # 可以用4bit或8bit量化方式或半精度装入模型测试
# --load_4bit 需要约6G显存
# --load_8bit 需要9G显存
# 半精度 需要13G显存
CUDA_VISIBLE_DEVICES=0 nohup python -u api_stream.py
--load_4bit > api_stream.log 2>&1 &
tail -f api_stream.log # 多次发POST请求，直到返回的response中包含[stop]后停止调用
curl -X POST " http://127.0.0.1:8000/stream "
-H ' Content-Type: application/json '
-d ' {"prompt": "你好", "history": []} ' python inference/hf-text-generation-inference/merge_lora_weights.py
--base_model ./models/NousResearch/Llama-2-7b-hf
--peft_model output/model
--output_dir output/merged_model_output
