distily

Distilität

Destillieren Sie in einem Befehl einen vorhandenen LLM in eine kleinere oder andere Architektur.

Installieren

 pip install -U "git+https://github.com/lapp0/distily.git"

Merkmale

Ermöglicht es Ihnen, ein Modell mit destillieren zu destillieren

• Quantisierte Gewichte: zB Trilm, Bitnet
• Unterschiedliche Architektur: Staats-Raum-Modelle wie Mamba, Expertenmischung (MOE)
• Modifizierte Architektur: Verringern (oder erhöhen) die
  • Anzahl der Schichten
  • Breite und Tiefe der Aufmerksamkeitsköpfe und einer dichten Schicht.
  • Die Anzahl der Aufmerksamkeit und KV -Köpfe.

Verwendung

Minimales Beispiel: distily_gpt2

Befehl zum Erstellen eines destillierten gpt2 mit nur 6 Ebenen:

 python3 -m distily.run 
    --teacher_model_name_or_path gpt2 
    --output_dir distily_gpt2 
    --hub_model_id "distily/distily_gpt2" 
    --push_to_hub True 
    --student_model_config {"n_layers": 6} 
    --student_model_as_bitnet True

Das resultierende distily_gpt2 -Modell hat (Todo: Erklären von Metriken).

Weitere Beispiele finden Sie unter Beispiele.

Hinweis zu Hub -Anmeldeinformationen

Um nach Hub zu drücken, müssen Sie Ihr Hub -Token vorbereiten

 HF_WRITE=<your hub token> python3 -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('${HF_WRITE}')"

Weitere Lesen

TODO: Verlassen Sie die verknüpften Dokumente, sobald sie abgeschlossen sind

Verwenden Sie distilität

• Wie Destillation funktioniert: Das distilvolle Rezept
• QuickStart / Beispiele
• Parameterauswahl

Verfügbare Modelle

• Offizielle distilvolle Modelle
• Alle HF -Modelle, die mit Distily erstellt wurden

Beitragen

• Richtlinien beitragen

Roadmap

Verbesserte Leistung / Stichprobeneffizienz:

• Standardwissendestillation mit Protokolls.
• Destill unter Verwendung von Zwischenmerkmalen einschließlich versteckter Zustände und Aufmerksamkeiten.
• Werttransfer implementieren (einfach Destillationsverlust auf V von Q, K, v)
• Verbesserung der Probenahmeeffizienz durch synthetische Datenerzeugung.
• Implementieren von Cross-Entropy-Klassifizierungsverlust (traditionelle LLM-Verlustfunktion)
• Projector auf Logits anwenden (https://arxiv.org/pdf/2310.17183)
• Wenden Sie "Lehreraufzeichnung" an, führen Sie die Inferenz von Lehrern einmal aus und verwenden Sie Funktionen für den Datensatz von Funktionen, so viele Male.

Destillieren Sie eine andere Modellform / Größe:

• Destilly to modell mit weniger num_hidden_layers durch Implementierung von Layer Mappers.
• Destillieren Sie ein Modell mit modifizierten Modulabmessungen und Verhaltensweisen (z. B. intermediate_size , hidden_act ) durch Einstellung von Projektoren.
• Destillieren Sie ein Modell mit modifiziertem num_attention_heads und num_key_value_heads .

Destilling zu einer anderen Architektur:

• Destilling to Bitnet (B1.58)
• Destilling in den Staatsraum / Mamba
• Destill nach Moe
• Destilling to Parameter Sharing (Albert-Stil) Modell

Zusätzliche Techniken:

• Aus mehreren Modellen gleichzeitig destillieren
• Beschneidung