distily

Distray

Em um comando, destilar um LLM existente em uma arquitetura menor ou diferente.

Instalar

 pip install -U "git+https://github.com/lapp0/distily.git"

Características

Destily permite que você destilar um modelo com

• Pesos quantizados: por exemplo, trilm, bitnet
• Arquitetura distinta: modelos de espaço de estado, como Mamba, Mistura de Expperts (MOE)
• Arquitetura modificada: diminuir (ou aumentar) o
  • número de camadas
  • largura e profundidade de atenção e camada densa.
  • O número de atenção e as cabeças KV.

Uso

Exemplo mínimo: distily_gpt2

Comando para criar um gpt2 destilado com apenas 6 camadas:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

O modelo distily_gpt2 resultante possui (TODO: Explique métricas).

Para mais exemplos, revise a documentação dos exemplos.

Nota em credenciais do hub

Para empurrar para o hub, você deve preparar seu token hub

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Leitura adicional

TODO: Compreenda os documentos vinculados uma vez concluídos

Usando disty

• Como funciona a destilação: a receita da destaque
• Quickstart / Exemplos
• Seleção de parâmetros

Modelos disponíveis

• Modelos oficiais da Distly
• Todos os modelos de HF criados com destaque

Contribuindo

• Diretrizes contribuintes

Roteiro

Eficiência melhorada de desempenho / amostragem:

• Destilação de conhecimento padrão usando logits.
• Destilar usando recursos intermediários, incluindo estados ocultos e atenções.
• Implementar tra-transfer (simplesmente perda de destilação em v de q, k, v)
• Melhore a eficiência da amostragem através da geração de dados sintéticos.
• Implementar perda de classificação entre entropia (função de perda tradicional de LLM)
• Aplique o projetor em logits (https://arxiv.org/pdf/2310.17183)
• Aplique "gravação de professores", execute a inferência do professor uma vez, use recursos do conjunto de dados qualquer número de vezes.

Destilar para uma forma / tamanho diferente do modelo:

• Destilar para modelar com menos num_hidden_layers implementando mapeadores de camada.
• Destilando para um modelo com dimensões e comportamentos modificados do módulo (por exemplo, intermediate_size , hidden_act ) empregando projetores.
• Destilar para um modelo com num_attention_heads modificado e num_key_value_heads .

Destilar para uma arquitetura diferente:

• Destill to BitNet (B1.58)
• Destilar para espaço de estado / mamba
• Destilar para moe
• Modelo de compartilhamento de destilar para parâmetros (estilo Albert)

Técnicas adicionais:

• Destilar de vários modelos de uma só vez
• Podando