MLLM Finetuning Demo

Mllm-Finetuning-Demo

Instale a fábrica de lhama

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]
cd .. # 回到项目根目录

Pré-treinamento

Alinhamento de recurso em llava, freeze language_model e vision_tower , e apenas ajuste multi_modal_projector .

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_pt.yaml

Ajuste fino

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_lora_sft.yaml

Chat da web

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path llava-hf/llava-1.5-7b-hf 
--adapter_name_or_path saves/llava1_5-7b/lora/sft 
--template llava

Carregar o conjunto de dados para Huggingface

Substitua sua própria chave em upload_dataset.py .

python3 upload_dataset.py

Exportar e fazer upload de modelos para Huggingface

Substitua seu próprio export_hub_model_id e hf_hub_token em config/llava_lora_sft_export.yaml .

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export config/llava_lora_sft_export.yaml