faq llm

FAQ Chatbot de FAQ usando parâmetro Tuning fino eficiente com a técnica LORA

Visão geral

Este repositório contém o código e os recursos para a criação de um chatbot de FAQ com comércio eletrônico usando o parâmetro ajuste fino eficiente com a técnica LORA. O projeto tem como objetivo desenvolver um chatbot para um site de comércio eletrônico, aproveitando os modelos de grandes idiomas (LLMS) e adotando uma abordagem de ajuste fina usando o modelo Falcon-7b. O ajuste fino é realizado com o ajuste fino (PEFT) eficiente em parâmetro e a técnica LORA (adaptação de baixo rank) para aprimorar o desempenho do modelo.

Autores

• Bal Narendra Sapa - Universidade de New Haven - Email
• Ajay Kumar Jagu - Universidade de New Haven - Email

Índice

1. Introdução
2. Objetivos
3. Trabalho relacionado
4. Conjunto de dados
5. Metodologia
6. Resultados
7. Conclusão
8. Agradecimentos
9. Implantação
10. Código e recursos
11. Referências

Introdução

No mundo acelerado do comércio eletrônico, o manuseio de consultas com o cliente é crucial. Este projeto apresenta uma solução de chatbot alavancando modelos avançados de linguagem para automatizar respostas a perguntas frequentes. O modelo de ajuste fino, Falcon-7B, é treinado em um conjunto de dados personalizado extraído de Kaggle, abordando consultas comuns do usuário no domínio do comércio eletrônico.

Objetivos

1. Suporte ao cliente eficiente: simplificando o suporte ao cliente, automatizando respostas a perguntas frequentes.
2. Economia de custos através da automação: reduzindo os custos operacionais, automatizando respostas a consultas de rotina.
3. Alocação aprimorada de recursos: otimizando os recursos humanos, automatizando respostas às perguntas frequentes, permitindo que os agentes se concentrem em questões mais complexas.

Trabalho relacionado

O projeto se baseia em modelos pré-treinados, incluindo os modelos GPT da OpenAI e os modelos de llama da Meta. Ele também explora os chatbots existentes como o IBM Watson Assistant e o ADA Healthcare Chatbot. A comparação entre os modelos RAG (Recuperação Aumentada) e modelos de ajuste fino é discutido.

Conjunto de dados

O conjunto de dados, proveniente de Kaggle, compreende 79 amostras com perguntas e respostas correspondentes. A divisão inclui 67 amostras para treinamento (85%) e 12 amostras para teste (15%).

Link para o conjunto de dados em kaggle

Metodologia

A metodologia envolve o uso do modelo Falcon-7b, ajuste fino com a técnica Peft e Lora e alavancando bibliotecas-chave como Transformers e Peft, abraçando o rosto. O processo inclui pré -processamento do conjunto de dados, configuração dos adaptadores LORA e treinamento de modelos.

Resultados

O modelo demonstra valores de perda decrescente em épocas, indicando tendências de treinamento positivo. A pontuação do BLEU, usada para avaliação, mostra a proficiência do modelo na geração de respostas alinhadas com os resultados esperados.

Conclusão

O projeto contribui para melhorar o suporte ao cliente no comércio eletrônico por meio de modelos avançados de linguagem. Embora os resultados alcançados sejam promissores, recomenda -se experimentos adicionais com conjuntos de dados maiores e refinamento contínuo do modelo.

Agradecimentos

Os agradecimentos são estendidos aos desenvolvedores do modelo Falcon-7B, a comunidade de rosto abraçados, Kaggle para hospedar o conjunto de dados e a faculdade da Universidade de New Haven.

Implantação

Um aplicativo Stirlit foi desenvolvido para uso local, exigindo uma GPU com pelo menos 16 gigabytes de RAM de vídeo (VRAM) para obter o desempenho ideal. o aplicativo neste repositório. check-out no slamlit-app diretor

Código e recursos

• Modelo de ajuste fino em abraçar o modelo de modelo de rosto: link para abraçar o modelo de rosto
• Caderno Kaggle para passo a passo: Link para Kaggle Notebook

Sinta -se à vontade para explorar, experimentar e contribuir para melhorias adicionais.

Referências

1. Modelos de idiomas são poucos alunos - Tom B. Brown et al (2020)
2. LLAMA 2: Fundação aberta e modelos de bate-papo ajustados (2023)
3. O ajuste fino com poucos eficientes de parâmetro é melhor e mais barato do que o aprendizado no contexto-Haokun Liu et al (2022)
4. Lora: adaptação de baixo rank de grandes modelos de linguagem - Edward J Hu et al (2021)
5. Uma visão geral do Bard: um experimento inicial com a IA generativa - James Manyika (2023)
6. IBM Watson Assistant
7. Abraçando o blog de rosto no peft