Alpaca 3B Fine Tuned

Alpaca-3b-fined

Projet professionnel lié au travail

Dans ce projet, j'ai fourni du code et un cahier colaboratoire qui facilite le processus de réglage fin d'un modèle de paramètres alpaca 3B développé à l'origine à l'Université de Stanford. Le modèle particulier qui est affiné a environ 3 milliards de paramètres, ce qui est l'un des plus petits modèles d'alpaga.

Le modèle utilise LORA d'adaptation de faible rang pour fonctionner avec moins de ressources de calcul et de paramètres de formation. Nous utilisons BitSandBytes pour configurer et exécuter dans un format 8 bits afin qu'il puisse être utilisé sur le colaboratoire. De plus, la bibliothèque PEFT de HuggingFace a été utilisée pour affiner le modèle.

Hyper Paramètres:

1. Micro_batch_size = 4 (4 fonctionne avec un GPU plus petit)
2. Batch_size = 256
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (l'alpaga de Stanford utilise 3)
5. Apprentissage_rate = 2e-5 (l'alpaga de Stanford utilise 2e-5)
6. Cutoff_len = 256 (l'alpaga de Stanford utilise 512, mais 256 représente 96% des données et s'exécute beaucoup plus rapidement)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Crédit pour le modèle original: Xinyang (Young) Geng et Hao Liu de OpenLM Research

Modèle affiné: Ryanair / Alpaca-3B-Fine-Tuned (Huggingface)