QLoRA Fine tuning for Film Character Styled Responses from LLM

Qlora-Fine-ajuste-por film-caracter interese-respuestas de llm

Código para ajustar Llama2 LLM con conjunto de datos de texto personalizado para producir respuestas de estilo de caracteres de película

Descripción general

Este código utilizó técnicas eficientes de ajuste de parámetro Qlora para crear un LLAMA2 LLM personalizado capaz de devolver respuestas al estilo de Gandalf del Señor de los Anillos

Estructura de proyectos

1. get_gandalf_data.py - Datos de diálogo de texto Gandalf de WebScrapes de recursos en línea

2. gandalf_dataset.py: crea un conjunto de datos de consulta/respuesta de gandalf.csv que se generó a partir de datos de diálogo con c el WebScraped

3. Hyper_params.py: define hiperparámetros para el bucle de entrenamiento

4. Train_gandalf.py - Modelo de Llama2 de base Fine -Tunes con conjunto de datos Gandalf personalizado utilizando técnicas Qlora Peft

5. Evaluate.py - Carga el modelo LLAMA2 ajustado y produce respuesta de estilo Gandalf a la solicitud de texto de entrada

Autor

Louis Chapo-Saunders