Bitune

Bitune: Bidirektionale Anweisungsabbau

[ Paper ] [ Website ]

Dieser Quellcode enthält die Implementierung von Bitune und reicht aus, um die Ergebnisse aus dem Papier zu reproduzieren. Bitte beachten Sie, dass es zur Erforschung verschiedener Ideen verwendet wurde, und viele Komponenten haben unterschiedliche Namen oder beziehen sich auf Konzepte, die nicht im Papier erwähnt wurden.

Wir planen, in naher Zukunft ein sauberes Repo für Bitune zu veröffentlichen.

LM-Evaluation-HARDES

Das lm-evaluation-harness Verzeichnis enthält das Repository von Eleutherai/LM-Evaluierungshärte, das an unsere Methode angepasst ist. Sie können es mit dem folgenden Befehl installieren:

pip install -e lm-evaluation-harness

Konfiguration

• Stellen Sie den richtigen absoluten Pfad in dieses Verzeichnis in der Datei common_0.sh .
• Das Evaluierungsskript erfordert wandb für die Protokollierung. Aktualisieren Sie Zeile 57 von eval.py mit Ihrem wandb -Benutzernamen.

Skripte

• Anleitungsabschluss-Setup : Führen Sie das Skript instruct.sh aus.
• Nachgeschalteter Aufgabentraining : Führen Sie das downstream.sh Skript aus. Stellen Sie sicher, dass die korrekte Anzahl von Aktualisierungsschritten festgelegt wird (basierend auf den im Anhang angegebenen Werten) und die entsprechenden Zeilen für den Datensatznamen, die Bewertungen (ganz unten) und den Methodennamen abzubauen.
• Ablationen : Überzeugen Sie die Zeilen für ausgewählte Ablation in ablations.sh und führen Sie das Skript aus.

Ein kurzer Überblick über den _^Spaghetti -Code

• Die Implementierung erforderte einige Änderungen der Huggingface -Modellklassen, die im models verfügbar sind:
  • Modifizierte KV-Cache, sodass das Berechnungsdiagramm für Gradienten hält.
  • Mischmodule mit trainierbaren Koeffizienten hinzugefügt ( pass_scale_k , pass_scale_v ).
  • Modifizierte Aufmerksamkeitsmaske basierend auf dem Parameter enforce_bidir der forward() -Funktion.
  • Ein Code -Snippet in der forward() -Funktion hinzugefügt, die für das Aufrufen der Bitune -Wrapper verantwortlich sind.
• Der Bitune -Wrapper ( _pass_fn() in der Datei passes.py ):
  • Übergeht die Eingabeaufforderung zweimal durch das Modell, um zwei KV-Cache-Sätze zu erhalten, während die richtigen Lora-Adapter und Aufmerksamkeitsmasken für jeden Pass festgelegt werden.
  • Ruft Mischmodule auf, um zwei Funktionssätze zu kombinieren ( pass_scale_k , pass_scale_v ).
  • Vermittelt der endgültige Pass der Antwort (im Training) oder generiert das erste Antwort -Token (für Inferenz). Bei der weiteren Generation von Token wird Bitune-Wrapper überhaupt nicht aufgerufen, da der KV-Cache der Eingabeaufforderung bereits erhalten und gespeichert ist, sodass die Generation wie im modifizierten Modell fortgesetzt wird.
  • Legt alle Parameter von LORA wieder als trainierbar fest, da standardmäßig peft Bibliothek inaktive Adapter als nicht abtrännbar festlegt.
• Das Mischmodul ( PassScale definiert in models/think_gemma.py ):
  • Enthält trainierbare Koeffizienten zum Mischen von zwei Merkmalssätzen, die für Schlüssel und Werte getrennt sind, so dass zwei Koeffizienten pro Aufmerksamkeitsblock des Modells.
  • Definiert forward() -Funktion, die den Mischvorgang basierend auf der in der Konfiguration angegebenen Variante ( config.pass_type ) anwendet. Unsere endgültige Methode wird durch die Variante 607 (die für Experimente verwendete) und die vereinfachte Version 801 definiert.

Bibliotheksversionen

Die folgenden Versionen der Bibliotheken wurden verwendet:

• transformers==4.38.2
• peft==0.11.1
• datasets==2.18.0
• evaluate==0.4.0

Bibtex

 @misc { kopiczko2024bitune ,
      title = { Bitune: Bidirectional Instruction-Tuning } ,
      author = { Dawid J. Kopiczko and Tijmen Blankevoort and Yuki M. Asano } ,
      year = { 2024 } ,
      eprint = { 2405.14862 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}