distily

蒸し暑い

1つのコマンドで、既存のLLMをより小さなまたは異なるアーキテクチャに蒸留します。

インストール

 pip install -U "git+https://github.com/lapp0/distily.git"

特徴

モデルを蒸留することができます

• 量子化された重み：たとえば、Trilm、Bitnet
• 個別のアーキテクチャ：Mamba、Experts（MOE）などの状態空間モデル
• 変更されたアーキテクチャ：減少（または増加）
  • レイヤー数
  • 注意の幅と深さヘッドと密な層。
  • 注意の数とKVヘッド。

使用法

最小限の例： distily_gpt2

わずか6層の蒸留gpt2を作成するコマンド：

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

結果として生じるdistily_gpt2モデルには（todo：メトリックの説明）。

その他の例については、例のドキュメントを確認してください。

ハブ資格情報に注意してください

ハブにプッシュするには、ハブトークンを準備する必要があります

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

さらに読む

TODO：完了したら、リンクされたドキュメントをコミットします

距離を使用します

• 蒸留の仕組み：蒸したレシピ
• QuickStart /例
• パラメーター選択

利用可能なモデル

• 公式モデル
• すべてのHFモデルが距離を置いて作成されました

貢献

• 貢献ガイドライン

ロードマップ

パフォーマンス /サンプリング効率の向上：

• ロジットを使用した標準的な知識蒸留。
• 隠された状態や注意を含む中間機能を使用して蒸留します。
• バリュートランスファーを実装する（q、k、vのvの蒸留損失を単純に蒸留損失）
• 合成データ生成を通じてサンプリング効率を改善します。
• エントロピー分類損失（従来のLLM損失関数）を実装する
• プロジェクターをロジットに適用する（https://arxiv.org/pdf/2310.17183）
• 「教師の録音」を適用し、教師の推論を一度実行し、機能データセットを何度も使用します。

別のモデルの形状 /サイズに蒸留します：

• レイヤーマッパーを実装することにより、 num_hidden_layersが少ないモデルに蒸留します。
• プロジェクターを使用して、モジュールの寸法と動作（ intermediate_size 、 hidden_actなど）を変更したモデルに蒸留します。
• 修正されたnum_attention_headsおよびnum_key_value_headsを使用してモデルに蒸留します。

別のアーキテクチャに蒸留します：

• ビットネットに蒸留する（b1.58）
• 状態空間 /マンバに蒸留します
• MOEに蒸留します
• パラメーター共有（アルバートスタイル）モデルに蒸留します

追加のテクニック：

• 複数のモデルから一度に蒸留します
• 剪定