MLLM Finetuning Demo

mllm-finetuning-demo

llama-factory를 설치하십시오

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]
cd .. # 回到项目根目录

사전 훈련

Llava, Freeze language_model 및 vision_tower 의 기능 정렬 및 multi_modal_projector 만 미세 조정하십시오.

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_pt.yaml

미세 조정

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_lora_sft.yaml

웹 채팅

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path llava-hf/llava-1.5-7b-hf 
--adapter_name_or_path saves/llava1_5-7b/lora/sft 
--template llava

데이터 세트를 포옹 페이스에 업로드하십시오

upload_dataset.py 에서 자신의 키를 교체하십시오.

python3 upload_dataset.py

껴안는 표면에 모델을 내보내고 업로드합니다

config/llava_lora_sft_export.yaml 에서 자신의 export_hub_model_id 및 hf_hub_token 교체하십시오.

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export config/llava_lora_sft_export.yaml