train_law_llm
1.0.0
Шаг за шагом используя Colab для обучения Legal LLM, на основе Microsoft/Phi-1_5, Chatglm3-6b. В рамках этого проекта вы можете вручную понять затраты на тонкую настройку LLM 0. Если вы хотите понять конкретную реализацию кода LLM точной настройки, вы можете обратиться к проекту MY_FINETUNE ?
| имя | Колаба | Наборы данных |
|---|---|---|
| Самоознание Лора-Сфт | self_cognition.json | |
| Legal Q & A Lora-Sft Fine Tune | Диск-лауллм | |
| Юридические вопросы и ответа полной настройки Q & A-ответов* | Диск-лауллм | |
| Чатглм3-6B СОБСТВЕННА | self_cognition.json |
*Если вы являетесь пользователем члена Colab Pro, вы можете попробовать полные параметры - SFT Fine -Muning, использовать высокую оперативную память+ T4, а 1000 кусочков данных займет около 20+ часов.
*Если вы являетесь пользователем члена Colab Pro, CatchGlm3-6B SEOGNITITE LORA-SFT FINUNING, используя High RAM+T4, это займет всего несколько минут, и эффект лучше
Используйте графическую карту Colab Free T4, чтобы завершить юридическое наблюдение за вопросами и ответами Fine Tuning (SFT) Microsoft/PHI-1_5
Источник данных самообзначения: self_cognition.json
80 кусков данных, используйте T4 Lora для тонкой настройки PHI-1_5, и вы можете точно настроить его через несколько минут.
Параметры тонкой настройки , пожалуйста, обратитесь к Colab для получения подробной информации.
python src/train_bash.py
--stage sft
--model_name_or_path microsoft/phi-1_5
--do_train True
--finetuning_type lora
--template vanilla
--flash_attn False
--shift_attn False
--dataset_dir data
--dataset self_cognition
--cutoff_len 1024
--learning_rate 2e-04
--num_train_epochs 20.0
--max_samples 1000
--per_device_train_batch_size 6
--per_device_eval_batch_size 6
--gradient_accumulation_steps 1
--lr_scheduler_type cosine
--max_grad_norm 1.0
--logging_steps 5
--save_steps 100
--warmup_steps 0
--neft_alpha 0
--train_on_prompt False
--upcast_layernorm False
--lora_rank 8
--lora_dropout 0.1
--lora_target Wqkv
--resume_lora_training True
--output_dir saves/Phi1.5-1.3B/lora/my
--fp16 True
--plot_loss True
Эффект
Юридические вопросы и ответы: Disc-Lawllm
Чтобы уменьшить видео память, используйте DeepSpeed Stage2, cutoff_len может достичь 1792 года, и видео память будет взорвана, если будет больше видео памяти.
конфигурация DeepSpeed
{
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"gradient_clipping": "auto",
"zero_allow_untested_optimizer": true,
"fp16": {
"enabled": "auto",
"loss_scale": 0,
"initial_scale_power": 16,
"loss_scale_window": 1000,
"hysteresis": 2,
"min_loss_scale": 1
},
"zero_optimization": {
"stage": 2,
"offload_optimizer": {
"device": "cpu",
"pin_memory": true
},
"allgather_partitions": true,
"allgather_bucket_size": 2e8,
"reduce_scatter": true,
"reduce_bucket_size": 2e8,
"overlap_comm": false,
"contiguous_gradients": true
}
}
Точная настройка параметров
1000 элементов данных, T4 занимает около 60 минут
deepspeed --num_gpus 1 --master_port=9901 src/train_bash.py
--deepspeed ds_config.json
--stage sft
--model_name_or_path microsoft/phi-1_5
--do_train True
--finetuning_type lora
--template vanilla
--flash_attn False
--shift_attn False
--dataset_dir data
--dataset self_cognition,law_sft_triplet
--cutoff_len 1792
--learning_rate 2e-04
--num_train_epochs 5.0
--max_samples 1000
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--gradient_accumulation_steps 1
--lr_scheduler_type cosine
--max_grad_norm 1.0
--logging_steps 5
--save_steps 1000
--warmup_steps 0
--neft_alpha 0
--train_on_prompt False
--upcast_layernorm False
--lora_rank 8
--lora_dropout 0.1
--lora_target Wqkv
--resume_lora_training True
--output_dir saves/Phi1.5-1.3B/lora/law
--fp16 True
--plot_loss True
Вы можете просмотреть память, необходимую для DeepSpeed Zero Stage через exatime_zero3_model_states_mem_needs_all_live.
from transformers import AutoModel, AutoModelForCausalLM
from deepspeed.runtime.zero.stage3 import estimate_zero3_model_states_mem_needs_all_live
model_name = "microsoft/phi-1_5"
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
estimate_zero3_model_states_mem_needs_all_live(model, num_gpus_per_node=1, num_nodes=1)
Как показано на рисунке, oftload_optimizer -> Microsoft/Phi -1_5 требует памяти 32 г после ЦП, а 52G Высокая память о колабах может удовлетворить потребности.
конфигурация DeepSpeed
{
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"gradient_clipping": "auto",
"zero_allow_untested_optimizer": true,
"fp16": {
"enabled": "auto",
"loss_scale": 0,
"initial_scale_power": 16,
"loss_scale_window": 1000,
"hysteresis": 2,
"min_loss_scale": 1
},
"zero_optimization": {
"stage": 2,
"offload_optimizer": {
"device": "cpu",
"pin_memory": true
},
"allgather_partitions": true,
"allgather_bucket_size": 2e8,
"reduce_scatter": true,
"reduce_bucket_size": 2e8,
"overlap_comm": false,
"contiguous_gradients": true
}
}
deepspeed --num_gpus 1 --master_port=9901 src/train_bash.py
--deepspeed ds_config.json
--stage sft
--model_name_or_path microsoft/phi-1_5
--do_train True
--finetuning_type full
--template vanilla
--flash_attn False
--shift_attn False
--dataset_dir data
--dataset self_cognition,law_sft_triplet
--cutoff_len 1024
--learning_rate 2e-04
--num_train_epochs 10.0
--max_samples 1000
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--gradient_accumulation_steps 1
--lr_scheduler_type cosine
--max_grad_norm 1.0
--logging_steps 5
--save_steps 1000
--warmup_steps 0
--neft_alpha 0
--train_on_prompt False
--upcast_layernorm False
--lora_rank 8
--lora_dropout 0.1
--lora_target Wqkv
--resume_lora_training True
--output_dir saves/Phi1.5-1.3B/lora/law_full
--fp16 True
--plot_loss True
Вы также можете рассмотреть вопрос о использовании Kaggle, который можно использовать в течение 30 часов в неделю, вы можете выбрать 2 T4S и использовать ноль-стадии 3, чтобы точно настроить полные параметры.
конфигурация DeepSpeed
{
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"gradient_clipping": "auto",
"zero_allow_untested_optimizer": true,
"fp16": {
"enabled": "auto",
"loss_scale": 0,
"initial_scale_power": 16,
"loss_scale_window": 1000,
"hysteresis": 2,
"min_loss_scale": 1
},
"zero_optimization": {
"stage": 3,
"overlap_comm": false,
"contiguous_gradients": true,
"sub_group_size": 5e7,
"reduce_bucket_size": "auto",
"stage3_prefetch_bucket_size": "auto",
"stage3_param_persistence_threshold": "auto",
"stage3_max_live_parameters": 5e7,
"stage3_max_reuse_distance": 5e7,
"stage3_gather_16bit_weights_on_model_save": true
}
}
