distily

Distilitas

Dalam satu perintah, suling LLM yang ada menjadi arsitektur yang lebih kecil atau berbeda.

Memasang

 pip install -U "git+https://github.com/lapp0/distily.git"

Fitur

Distily memungkinkan Anda untuk menyaring model dengan

• Bobot terkuantisasi: misalnya trilm, bitnet
• Arsitektur yang berbeda: Model ruang negara bagian seperti Mamba, campuran-ekspert (MOE)
• Arsitektur yang dimodifikasi: Kurangi (atau peningkatan)
  • jumlah lapisan
  • lebar dan kedalaman kepala perhatian dan lapisan padat.
  • Jumlah perhatian dan kepala KV.

Penggunaan

Contoh minimal: distily_gpt2

Perintah untuk membuat gpt2 suling dengan hanya 6 lapisan:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

Model distily_gpt2 yang dihasilkan memiliki (TODO: Jelaskan metrik).

Untuk contoh lebih lanjut, tinjau contoh dokumentasi.

Catatan tentang Kredensial Hub

Untuk mendorong ke hub, Anda harus menyiapkan token hub Anda

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Bacaan lebih lanjut

TODO: Komit dokumen yang ditautkan setelah selesai

Menggunakan disaring

• BAGAIMANA DISTILASI KERJA: Resep distilik
• QuickStart / Contoh
• Pemilihan parameter

Model yang tersedia

• Model resmi distilik
• Semua model HF dibuat dengan disaring

Berkontribusi

• Pedoman yang berkontribusi

Peta jalan

Efisiensi kinerja / pengambilan sampel yang ditingkatkan:

• Distilasi Pengetahuan Standar Menggunakan Logit.
• Distill menggunakan fitur perantara termasuk keadaan tersembunyi dan perhatian.
• Menerapkan transfer nilai (cukup kerugian distilasi pada V q, k, v)
• Tingkatkan efisiensi pengambilan sampel melalui pembuatan data sintetis.
• Menerapkan Kehilangan Klasifikasi Cross-Entropy (Fungsi Kerugian LLM Tradisional)
• Terapkan proyektor untuk logit (https://arxiv.org/pdf/2310.17183)
• Terapkan "perekaman guru", jalankan inferensi guru sekali, gunakan fitur dataset beberapa kali.

Distill ke Bentuk / Ukuran Model yang Berbeda:

• Distill untuk memodelkan dengan lebih sedikit num_hidden_layers dengan mengimplementasikan pemetaan layer.
• Distill ke model dengan dimensi dan perilaku modul yang dimodifikasi (misalnya, intermediate_size , hidden_act ) dengan menggunakan proyektor.
• Distill ke model dengan num_attention_heads yang dimodifikasi dan num_key_value_heads .

Distill ke arsitektur yang berbeda:

• Distill to Bitnet (B1.58)
• Distill ke State-Space / Mamba
• Distill ke Moe
• Model Distill to Parameter Sharing (Albert-Style)

Teknik tambahan:

• Distill dari beberapa model sekaligus
• Pemangkasan