MLLM Finetuning Demo

Mllm-finetuning-demo

ติดตั้ง llama-factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]
cd .. # 回到项目根目录

การฝึกอบรมล่วงหน้า

คุณสมบัติการจัดตำแหน่งใน llava, freeze language_model และ vision_tower และเพียงปรับแต่ง multi_modal_projector เท่านั้น

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_pt.yaml

การปรับที่ดี

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_lora_sft.yaml

เว็บแชท

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path llava-hf/llava-1.5-7b-hf 
--adapter_name_or_path saves/llava1_5-7b/lora/sft 
--template llava

อัปโหลดชุดข้อมูลไปยัง HuggingFace

โปรดแทนที่คีย์ของคุณเองใน upload_dataset.py

python3 upload_dataset.py

ส่งออกและอัปโหลดโมเดลไปยัง HuggingFace

โปรดแทนที่ export_hub_model_id ของคุณเองและ hf_hub_token ใน config/llava_lora_sft_export.yaml

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export config/llava_lora_sft_export.yaml