Bitune

Bitune: réglage de l'instruction bidirectionnelle

[ Paper ] [ Website ]

Ce code source contient l'implémentation de Bitune, et il suffit de reproduire les résultats du papier. Veuillez noter qu'il a été utilisé pour explorer différentes idées, et de nombreux composants ont des noms différents ou se réfèrent à des concepts non mentionnés dans l'article.

Nous prévoyons de publier un dépôt propre pour Bitune dans un avenir proche.

LM-Evaluation Harness

Le répertoire lm-evaluation-harness contient le référentiel de l'évaluation ELEUTHERAI / LM, adapté à notre méthode. Vous pouvez l'installer avec la commande suivante:

pip install -e lm-evaluation-harness

Configuration

• Définissez le chemin absolu approprié vers ce répertoire dans le fichier common_0.sh .
• Le script d'évaluation nécessite wandb pour la journalisation. Mettez à jour la ligne 57 de eval.py avec votre nom d'utilisateur wandb .

Scripts

• Configuration du réglage de l'instruction : exécutez le script instruct.sh .
• Formation des tâches en aval : exécutez le script downstream.sh Assurez-vous de définir le nombre correct d'étapes de mise à jour (en fonction des valeurs fournies en annexe) et de l'intervalle des lignes appropriées pour le nom de l'ensemble de données, les évaluations (tout en bas) et le nom de la méthode.
• ABLATIONS : Décommente les lignes pour l'ablation sélectionnée dans ablations.sh et exécutez le script.

Un bref aperçu du code _^spaghetti

• La mise en œuvre a nécessité quelques modifications des classes de modèles HuggingFace, disponibles dans le répertoire models :
  • KV-Cache modifié, il conserve donc le graphique de calcul des gradients.
  • Ajout de modules de mélange avec des coefficients formables ( pass_scale_k , pass_scale_v ).
  • Masque d'attention modifié basé sur le paramètre enforce_bidir de la fonction forward() .
  • Ajout d'un extrait de code à l'intérieur de la fonction forward() responsable de l'appel de l' emballage Bitune .
• Le bitune wrapper ( _pass_fn() dans le fichier passes.py ):
  • Passe l'invite à travers le modèle deux fois pour obtenir deux ensembles de KV-Cache, tout en définissant les adaptateurs LORA appropriés et les masques d'attention pour chaque passe.
  • Appels des modules de mixage pour combiner deux ensembles de fonctionnalités ( pass_scale_k , pass_scale_v ).
  • La finale passe la réponse (en cas de formation), ou génère le premier jeton de réponse (pour l'inférence). Dans le cas d'une génération plus approfondie de jetons, le wrapper Bitune n'est pas du tout appelé, car le cache KV de l'invite est déjà obtenu et stocké, de sorte que la génération continue comme dans le modèle non modifié.
  • Définit à nouveau tous les paramètres de LORA comme formable, car par défaut, la bibliothèque peft définit les adaptateurs inactifs comme non traditionables.
• Le module de mélange (classe PassScale définie dans models/think_gemma.py ):
  • Contient des coefficients formables pour mélanger deux ensembles de caractéristiques, séparés pour les clés et les valeurs, donc deux coefficients par bloc d'attention du modèle.
  • Définit la fonction forward() qui applique l'opération de mélange en fonction de la variante spécifiée dans la config ( config.pass_type ). Notre méthode finale est définie par la variante 607 (celle utilisée pour les expériences) et sa version 801 simplifiée.

Versions de la bibliothèque

Les versions suivantes des bibliothèques ont été utilisées:

• transformers==4.38.2
• peft==0.11.1
• datasets==2.18.0
• evaluate==0.4.0

Bibtex

 @misc { kopiczko2024bitune ,
      title = { Bitune: Bidirectional Instruction-Tuning } ,
      author = { Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano } ,
      year = { 2024 } ,
      eprint = { 2405.14862 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}