distily

疏远

在一个命令中，将现有的LLM提炼成较小或不同的体系结构。

安装

 pip install -U "git+https://github.com/lapp0/distily.git"

特征

宽松地允许您蒸馏出模型

• 量化重量：例如Trilm，Bitnet
• 独特的体系结构：诸如Mamba之类的州空间模型，Experts的混合物（MOE）
• 修改的体系结构：减少（或增加）
  • 层数
  • 注意力头和密集层的宽度和深度。
  • 注意力和KV头的数量。

用法

最小示例： distily_gpt2

命令创建只有6层的蒸馏gpt2 ：

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

所得的distily_gpt2模型具有（todo：解释指标）。

有关更多示例，请查看示例文档。

HUB凭据的注释

要推入集线器，您必须准备轮毂令牌

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

进一步阅读

TODO：完成链接的文档后完成

使用疏远

• 蒸馏的工作原理：宽敞的食谱
• 快速启动 /示例
• 参数选择

可用型号

• 官方疏远的模型
• 所有HF模型都以宽敞的方式创建

贡献

• 贡献准则

路线图

提高性能 /采样效率：

• 使用logits的标准知识蒸馏。
• 使用中间特征（包括隐藏状态和关注）提炼。
• 实施价值转移（仅在Q，K，V的V上蒸馏损失）
• 通过合成数据生成提高采样效率。
• 实施跨透明分类损失（传统LLM损失功能）
• 将投影仪应用于logits（https://arxiv.org/pdf/2310.17183）
• 应用“老师录音”，运行老师推断一次，使用功能数据集多次使用。

蒸馏到不同的型号 /尺寸：

• 通过实现图层映射器，蒸馏到较少的num_hidden_layers模型。
• 蒸馏到具有修改的模块维度和行为（例如， intermediate_size ， hidden_act ）的模型中。
• 蒸馏到具有修改的num_attention_heads和num_key_value_heads的模型。

蒸馏到不同的建筑：

• 蒸馏到Bitnet（B1.58）
• 蒸馏到州空间 /曼巴
• 蒸馏到萌
• 蒸馏到参数共享（Albert-Style）型号

其他技术：

• 一次蒸馏出多种型号
• 修剪