Alpaca 350M Fine Tuned

Alpaca-350m-fined

Projet professionnel lié au travail

Dans ce projet, j'ai fourni du code et un cahier colaboratoire qui facilite le processus de réglage fin d'un modèle de paramètres alpaca 350m développé à l'origine à l'Université de Stanford. Le modèle particulier qui est affiné a environ 350 millions de paramètres, ce qui est l'un des plus petits modèles d'alpaga (plus petit que mon modèle précédent pour régler).

Le modèle utilise LORA d'adaptation de faible rang pour fonctionner avec moins de ressources de calcul et de paramètres de formation. Nous utilisons BitSandBytes pour configurer et exécuter dans un format 8 bits afin qu'il puisse être utilisé sur le colaboratoire. De plus, la bibliothèque PEFT de HuggingFace a été utilisée pour affiner le modèle.

Hyper Paramètres:

1. Micro_batch_size = 4 (4 fonctionne avec un GPU plus petit)
2. Batch_size = 32
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (l'alpaga de Stanford utilise 3)
5. Apprentissage_rate = 2e-5 (l'alpaga de Stanford utilise 2e-5)
6. Cutoff_len = 256 (l'alpaga de Stanford utilise 512, mais 256 représente 96% des données et s'exécute beaucoup plus rapidement)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Crédit pour le modèle original: Qiyuan GE

Modèle affiné: Ryanair / alpaca-350m-fined (HuggingFace)