MLLM Finetuning Demo

Mllm-finetuning-demo

llama-factoryをインストールします

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,metrics]
cd .. # 回到项目根目录

トレーニング前

Llava、Freeze language_model 、 vision_towerの機能アライメント、およびmulti_modal_projectorのみを微調整します。

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_pt.yaml

細かい調整

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train config/llava_lora_sft.yaml

ウェブチャット

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path llava-hf/llava-1.5-7b-hf 
--adapter_name_or_path saves/llava1_5-7b/lora/sft 
--template llava

データセットをHuggingfaceにアップロードします

upload_dataset.pyの独自のキーを交換してください。

python3 upload_dataset.py

モデルをハギングフェイスにエクスポートしてアップロードします

config/llava_lora_sft_export.yamlで独自のexport_hub_model_idとhf_hub_tokenを交換してください。

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export config/llava_lora_sft_export.yaml