AmoebaLLM

Amubeballm: Membangun model bahasa besar bentuk apa pun untuk penyebaran yang efisien dan instan

Yonggan Fu, Zhongzhi Yu, Junwei Li, Jiayi Qian, Yongan Zhang, Xiangchi Yuan, Dachuan Shi, Romawi Yakunin, dan Yingyan (Celine) Lin

Diterima di Neurips 2024 [kertas | Menggeser].

Amubeballm: Ikhtisar

• Bagaimana cara melatih sekali dan mendapatkan banyak LLM yang efisien? Kami memperkenalkan Amubeballm, kerangka kerja baru yang dirancang untuk secara instan memperoleh subnet LLM dari bentuk sewenang-wenang, yang mencapai batas akurasi-efisiensi dan dapat diekstraksi setelah hanya penyesuaian satu kali. Dengan cara ini, Amubeballm memfasilitasi penyebaran cepat yang disesuaikan dengan platform yang berbeda dan spesifikasi yang digerakkan oleh aplikasi. Secara khusus, Amubeballm mencapai tujuan ini dengan secara strategis mengekstraksi subnet berkinerja tinggi dan melatihnya bersama untuk menghindari konflik.

• Hasil Eksperimental: Amubeballm tidak hanya menetapkan standar baru dalam kemampuan beradaptasi LLM tetapi juga berhasil memberikan subnet yang mencapai pertukaran SOTA antara akurasi dan efisiensi.

Penggunaan kode

Pengaturan Lingkungan

Gunakan conda untuk mengatur lingkungan berdasarkan env.yml yang disediakan:

 conda env create -f env.yml

Tahap 1: Seleksi subset pemeliharaan pengetahuan

• Langkah 1 : Turunkan strategi pemilihan lapisan menggunakan program dinamis:

 CUDA_VISIBLE_DEVICES=0 python main.py --model_name_or_path meta-llama/Llama-2-7b-hf --fp16 --output_dir ./output/calib_dp --do_train False --do_eval False --no_eval_orig --layer_calib_dp --calib_dataset mmlu --enable_shrinking --num_calib_sample 40 --calib_metric acc --min_num_layer 20 --dp_keep_last_layer 1

• Langkah 2 : Turunkan strategi seleksi neuron (lebar) menggunakan metrik pentingnya dalam flap:

 CUDA_VISIBLE_DEVICES=0 python main.py --model_name_or_path meta-llama/Llama-2-7b-hf --fp16 --output_dir ./output/width_calib --do_train False --do_eval False --use_auth_token --no_eval_orig --width_calib --num_calib_sample 512 --prune_width_method flap

• Langkah 3 : Gabungkan strategi pemilihan lapisan dan neuron ke dalam file yang sama dp_selection_strategy.npy (kami juga telah menyediakan file ini untuk llama2-7b di repo):

 python utils/merge_depth_width.py

Tahap 2: Fine-tuning satu-untuk-semua

• Aktifkan penyempurnaan satu-untuk-semua menggunakan --do_train True dan --enable_shrinking , dan tentukan strategi seleksi subset yang disediakan oleh tahap 1 dengan --shrinking_file dp_selection_strategy.npy :

 CUDA_VISIBLE_DEVICES=0 python main.py --model_name_or_path meta-llama/Llama-2-7b-hf --output_dir ./output/ft --dataset alpaca-gpt4 --use_auth_token --do_train True --do_eval True --do_mmlu_eval True --do_eval_wikitext2 True --lora_modules all --fp16 --source_max_len 384 --target_max_len 128 --gradient_accumulation_steps 4 --logging_steps 10 --max_steps 10000 --save_strategy steps --data_seed 42 --save_steps 1000 --save_total_limit 1 --evaluation_strategy steps --eval_dataset_size 1024  --max_eval_samples 1000 --eval_steps 1000 --optim paged_adamw_32bit --ddp_find_unused_parameters --enable_shrinking --kd_weight 1 --min_num_layer 20 --random_sample_num_layer 2 --distill_method sp --shrinking_method calib_dp --shrinking_file dp_selection_strategy.npy --shrinkable_width --width_choice [1,7/8,3/4,5/8] --prune_width_method flap --use_moe_lora --moe_num_expert 5 --moe_topk 2

Evaluasi

• Selain model fine-tuned Anda yang dibuat menggunakan proses dua tahap yang dijelaskan di atas, kami juga telah menyediakan model LLAMA2-7B amubeballm fine-tuned kami, amoeba_llama2 , di sini. Anda dapat mengunduh dan membuka ritsleting menggunakan perintah berikut:

 pip install gdown
gdown 1lwOiQa-UOYOXn72wo5gvzUvFat_PTg6b
unzip amoeba_llama2.zip

• Tentukan --output_dir sebagai jalur ke model fine-tuned dan tentukan rasio kedalaman dan lebar target menggunakan --eval_num_layer dan --eval_num_width , masing-masing:

 CUDA_VISIBLE_DEVICES=0 python main.py --model_name_or_path meta-llama/Llama-2-7b-hf --output_dir amoeba_llama2 --do_train False --do_eval True --do_mmlu_eval True --bits 8 --bf16 --enable_shrinking --min_num_layer 20 --shrinking_method calib_dp --shrinking_file dp_selection_strategy.npy --shrinkable_width --width_choice [1,7/8,3/4,5/8] --prune_width_method flap --use_moe_lora --moe_num_expert 5 --moe_topk 2  --eval_num_layer 24 --eval_num_width 0.875 --do_lm_eval True --do_lm_eval_task arc_easy,piqa,hellaswag

Pengakuan

Kami merujuk pada implementasi di Qlora.

Kutipan

 @inproceedings{fuamoeballm,
  title={AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment},
  author={Fu, Yonggan and Yu, Zhongzhi and Li, Junwei and Qian, Jiayi and Zhang, Yongan and Yuan, Xiangchi and Shi, Dachuan and Yakunin, Roman and Lin, Yingyan Celine},
  booktitle={The Thirty-eighth Annual Conference on Neural Information Processing Systems}
}