Fine_tune_Anything

Référentiel de réglage fin pour les modèles de langage causal

Aperçu ?

Ce référentiel propose des outils pour les modèles de langage causal de réglage fin, tirant parti de la puissance de la bibliothèque PEFT (Pytorch Efficient Fineding). Il est conçu pour améliorer la génération de code adaptée à des référentiels spécifiques.

Caractéristiques

• Flexibilité du modèle ?: Chargez un modèle de langue causale.
• Configuration basée sur la configuration : définissez facilement la sélection et la tokenisation du modèle via un fichier conf/config.yaml .
• Affinement efficace ? ‍️: Utilisation actuellement de LORA (adaptation de faible rang) via la bibliothèque PEFT. Plus de méthodes à venir bientôt!
• Présenté à l'avenir ?: Restez à l'écoute pour les méthodes de formation pour les modèles Instruct et QA.

Commencer ?

Prérequis?

• Python 3.x?
• Pytorch
• Bibliothèque PEFT
• Autres dépendances énumérées dans requirements.txt

Installation?

1. Clone The Repository: git clone [repository URL] : GIT:
2. Faites une place pour stocker les données mkdir data Assurez-vous de mettre à jour config.yaml en conséquence.
3. Installer les packages requis: pip install -r requirements.txt

Configuration

Take le fichier confconfig.yaml pour définir votre modèle et vos paramètres de tokenisation.

Usage

Lancez le processus de réglage fin en exécutant le script principal ( python main.py ). Le modèle réglé fin sera enregistré dans le répertoire spécifié dans config.yaml -> "Optimisation" -> result_dir.

Contribuant?

Nous accueillons vos contributions pour rendre cet outil encore plus efficace et riche en fonctionnalités. Veuillez respecter les directives standard de contribution des open source.

Licence?

Licence Apache 2.0