distily

疏遠

在一個命令中，將現有的LLM提煉成較小或不同的體系結構。

安裝

 pip install -U "git+https://github.com/lapp0/distily.git"

特徵

寬鬆地允許您蒸餾出模型

• 量化重量：例如Trilm，Bitnet
• 獨特的體系結構：諸如Mamba之類的州空間模型，Experts的混合物（MOE）
• 修改的體系結構：減少（或增加）
  • 層數
  • 注意力頭和密集層的寬度和深度。
  • 注意力和KV頭的數量。

用法

最小示例： distily_gpt2

命令創建只有6層的蒸餾gpt2 ：

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

所得的distily_gpt2模型具有（todo：解釋指標）。

有關更多示例，請查看示例文檔。

HUB憑據的註釋

要推入集線器，您必須準備輪轂令牌

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

進一步閱讀

TODO：完成鏈接的文檔後完成

使用疏遠

• 蒸餾的工作原理：寬敞的食譜
• 快速啟動 /示例
• 參數選擇

可用型號

• 官方疏遠的模型
• 所有HF模型都以寬敞的方式創建

貢獻

• 貢獻準則

路線圖

提高性能 /採樣效率：

• 使用logits的標準知識蒸餾。
• 使用中間特徵（包括隱藏狀態和關注）提煉。
• 實施價值轉移（僅在Q，K，V的V上蒸餾損失）
• 通過合成數據生成提高采樣效率。
• 實施跨透明分類損失（傳統LLM損失功能）
• 將投影儀應用於logits（https://arxiv.org/pdf/2310.17183）
• 應用“老師錄音”，運行老師推斷一次，使用功能數據集多次使用。

蒸餾到不同的型號 /尺寸：

• 通過實現圖層映射器，蒸餾到較少的num_hidden_layers模型。
• 蒸餾到具有修改的模塊維度和行為（例如， intermediate_size ， hidden_act ）的模型中。
• 蒸餾到具有修改的num_attention_heads和num_key_value_heads的模型。

蒸餾到不同的建築：

• 蒸餾到Bitnet（B1.58）
• 蒸餾到州空間 /曼巴
• 蒸餾到萌
• 蒸餾到參數共享（Albert-Style）型號

其他技術：

• 一次蒸餾出多種型號
• 修剪