Fine_tune_Anything

Feinabstimmung Repository für kausale Sprachmodelle

Übersicht?

Dieses Repository bietet Tools für Feinabstimmungs-Kausalsprachenmodelle und nutzt die Leistung der PEFT-Bibliothek (Pytorch Efficient Fine-Tuning). Es ist für die Verbesserung der auf bestimmten Repositorys zugeschnittenen Codegenerierung ausgelegt.

Merkmale

• Modellflexibilität ?: Laden Sie ein kausales Sprachmodell.
• Konfigurationsbasiertes Setup : Die Modellauswahl und -tkenisierung einfach über eine conf/config.yaml Datei definieren.
• Effiziente Feinabstimmung ? ‍Eitung: derzeit mit LORA (niedriger Anpassung) über die PEFT-Bibliothek. Weitere Methoden kommen bald!
• Zukunftsfertig ?

Erste Schritte ?

Voraussetzungen?

• Python 3.x?
• Pytorch
• PEFT -Bibliothek
• Andere Abhängigkeiten, die in requirements.txt aufgeführt sind.txt

Installation?

1. Klon das Repository: git clone [repository URL] : Git:
2. Machen Sie einen Platz config.yaml Speichern von mkdir data .
3. Installieren Sie die erforderlichen Pakete: pip install -r requirements.txt

Konfiguration

Optimieren Sie die Datei confconfig.yaml um Ihre Modell- und Tokenisierungsparameter festzulegen.

Verwendung

Starten Sie den Feinabstimmungsprozess, indem Sie das Hauptskript ( python main.py ) ausführen. Das Feinabstimmungsmodell wird im in config.yaml -> "Optimierung" -> result_dir angegebenen Verzeichnis gespeichert.

Beitragen?

Wir begrüßen Ihre Beiträge, um dieses Tool noch effizienter und featurereicher zu gestalten. Bitte halten Sie sich an die Standard-Richtlinien für Open-Source-Beitragsbeiträge.

Lizenz?

Apache -Lizenz 2.0