distily

Con distrito

En un comando, destile un LLM existente en una arquitectura más pequeña o diferente.

Instalar

 pip install -U "git+https://github.com/lapp0/distily.git"

Características

Te permite destilar un modelo con un modelo

• Pesos cuantizados: por ejemplo, trilm, bitnet
• Arquitectura distinta: modelos de espacio de estado como mamba, mezcla de expertos (MOE)
• Arquitectura modificada: disminuir (o aumentar) el
  • número de capas
  • Ancho y profundidad de la atención y capa densa.
  • El número de atención y las cabezas de KV.

Uso

Ejemplo mínimo: distily_gpt2

Comando para crear un gpt2 destilado con solo 6 capas:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

El modelo resultante distily_gpt2 tiene (TODO: Explicar las métricas).

Para obtener más ejemplos, revise la documentación de los ejemplos.

Nota sobre las credenciales del concentrador

Para empujar al centro, debes preparar tu token de centro

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Lectura adicional

TODO: Comprometer los documentos vinculados una vez completados

Usando distantemente

• Cómo funciona la destilación: la receta distantemente
• QuickStart / Ejemplos
• Selección de parámetros

Modelos disponibles

• Modelos oficiales distantemente
• Todos los modelos HF creados con distintivo

Que contribuye

• Pautas contribuyentes

Hoja de ruta

Rendimiento mejorado / eficiencia de muestreo:

• Destilación del conocimiento estándar utilizando logits.
• Destile utilizando características intermedias que incluyen estados ocultos y atenciones.
• Implementar la transferencia de valor (simplemente pérdida de destilación en V de Q, K, V)
• Mejorar la eficiencia de muestreo a través de la generación de datos sintéticos.
• Implementar pérdida de clasificación de entropía cruzada (función de pérdida tradicional de LLM)
• Aplicar el proyector a los logits (https://arxiv.org/pdf/2310.17183)
• Aplique "grabación de maestros", ejecute la inferencia del maestro una vez, use el conjunto de datos de características cualquier cantidad de veces.

Destilla a una forma / tamaño del modelo diferente:

• Destilar para modelar con menos num_hidden_layers implementando mapeadores de capa.
• Destilla a un modelo con dimensiones y comportamientos modificados del módulo (p. Ej., intermediate_size , hidden_act ) empleando proyectores.
• Destilla a un modelo con num_attention_heads modificado y num_key_value_heads .

Destilar a una arquitectura diferente:

• Destilar a Bitnet (B1.58)
• Destilarse al espacio de estado / mamba
• Destilar a Moe
• Distillar al modelo de intercambio de parámetros (estilo Albert)

Técnicas adicionales:

• Destilar de múltiples modelos a la vez
• Poda