distily

Éloigné

Dans une commande, distiller un LLM existant en une architecture plus petite ou différente.

Installer

 pip install -U "git+https://github.com/lapp0/distily.git"

Caractéristiques

Distly vous permet de distiller un modèle avec

• Poids quantifiés: par exemple, trilm, bitnet
• Architecture distincte: des modèles d'espace d'État tels que le mamba, le mélange des experts (MOE)
• Architecture modifiée: diminuer (ou augmenter) le
  • nombre de couches
  • Largeur et profondeur des têtes d'attention et couche dense.
  • Le nombre d'attention et les têtes KV.

Usage

Exemple minimal: distily_gpt2

Commande pour créer un gpt2 distillé avec seulement 6 couches:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

Le modèle distily_gpt2 résultant a (TODO: expliquer les métriques).

Pour plus d'exemples, passez en revue la documentation des exemples.

Note sur les informations d'identification de Hub

Pour pousser à Hub, vous devez préparer votre jeton Hub

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Dès la lecture

TODO: commettre les documents liés une fois terminés

Utilisation de Distly

• Comment fonctionne la distillation: la recette distante
• QuickStart / Exemples
• Sélection des paramètres

Modèles disponibles

• Modèles officiels DISTIVALD
• Tous les modèles HF créés avec Distly

Contributif

• Lignes directrices contributives

Feuille de route

Amélioration de l'efficacité des performances / échantillonnage:

• Distillation de connaissances standard à l'aide des logits.
• Distiller en utilisant des fonctionnalités intermédiaires, y compris les états cachés et les attentions.
• Implémentation de la valeur-transfert (simple perte de distillation sur V de Q, K, V)
• Améliorez l'efficacité d'échantillonnage grâce à la génération de données synthétiques.
• Mettre en œuvre une perte de classification croisée (fonction de perte LLM traditionnelle)
• Appliquer le projecteur aux logits (https://arxiv.org/pdf/2310.17183)
• Appliquer "l'enregistrement des enseignants", exécuter une inférence des enseignants une fois, utiliser des fonctionnalités de données des fonctionnalités n'importe quel nombre de fois.

Distiller à une forme / taille de modèle différente:

• Distiller pour modéliser avec moins num_hidden_layers en implémentant des mappeurs de couche.
• Distiller à un modèle avec des dimensions et des comportements modifiés du module (par exemple, intermediate_size , hidden_act ) en utilisant des projecteurs.
• Distiller à un modèle avec num_attention_heads modifié et num_key_value_heads .

Distiller à une architecture différente:

• Distiller à Bitnet (B1.58)
• Distiller à l'espace d'État / mamba
• Distiller à moe
• Modèle de partage de partage des paramètres (style Albert)

Techniques supplémentaires:

• Distiller de plusieurs modèles à la fois
• Taille