QLoRA Fine tuning for Film Character Styled Responses from LLM

QLORA-FINE-TUNING-POR-FILM-CHARACTER-SYLED-RESPONSES-FROM-LLM

Code pour le réglage fin LLAMA2 LLM avec un ensemble de données de texte personnalisé pour produire des réponses de style personnages de film

Aperçu

Ce code a utilisé des techniques de réglage fin de paramètre QLORA pour créer un LLAMA2 LLM sur mesure capable de retourner des réponses dans le style de Gandalf du Seigneur des anneaux

Structure du projet

1. get_gandalf_data.py - Webscrapes Gandalf Text Dialogue Données de ressources en ligne

2. gandalf_dataset.py - crée un ensemble de données de requête / réponse à partir de gandalf.csv qui a été généré à partir de données de dialogue webscrapes

3. hyper_params.py - définit les hyperparamètres pour la boucle d'entraînement

4. Train_gandalf.py - Fine-Tunes Base Llama2 Modèle avec ensemble de données Gandalf personnalisé à l'aide de techniques Qlora PEFT

5. Evaluate.py - charge le modèle LLAMA2 affiné et produit une réponse de style Gandalf à l'invite de texte d'entrée

Auteur

Louis Chapo-Saunders