QLoRA Fine tuning for Film Character Styled Responses from LLM

Qlora-fine-tuning-for-Film-Character-Responses-responses-de-llm

Código para o ajuste fino LLAMA2 LLM com conjunto de dados de texto personalizado para produzir respostas com estilo de personagem de filme

Visão geral

Este código utilizou técnicas de ajuste fina de parâmetro QLORA para criar um LLAMA2 LLM personalizado capaz de retornar respostas no estilo de Gandalf do Senhor dos Anéis

Estrutura do projeto

1. get_gandalf_data.py - Webcrapes Gandalf Text Dialogue Data of Online Resources

2. gandalf_dataset.py - cria conjunto de dados de consulta/resposta a partir de gandalf.csv, que foi gerado a partir de dados de diálogo da WebS da webs

3. hyper_params.py - define hyperparameters para loop de treinamento

4. TRAIN_GANDALF.PY - Modelo LLAMA2 BASE TUNES FINE com conjunto de dados Gandalf personalizado usando técnicas QLORA PEFT

5. Evaluate.py - Carrega o modelo LLAMA2 de ajuste fino e produz resposta ao estilo Gandalf ao prompt de texto de entrada

Autor

Louis Chapo-Saunders