MLLM Finetuning Demo

mllm-finetuning-demo

تثبيت llama-factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]
cd .. # 回到项目根目录

قبل التدريب

ميزات المحاذاة في llava ، تجميد language_model و vision_tower ، وضبط multi_modal_projector فقط.

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_pt.yaml

تعديل غرامة

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_lora_sft.yaml

دردشة الويب

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path llava-hf/llava-1.5-7b-hf 
--adapter_name_or_path saves/llava1_5-7b/lora/sft 
--template llava

قم بتحميل مجموعة البيانات إلى Huggingface

يرجى استبدال المفتاح الخاص بك في upload_dataset.py .

python3 upload_dataset.py

تصدير النماذج وتحميلها إلى Luggingface

يرجى استبدال export_hub_model_id و hf_hub_token في config/llava_lora_sft_export.yaml .

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export config/llava_lora_sft_export.yaml