BYOSC Build Your Own Scalable Chatbots

BYOSC-BUILLD-SEU-AO-SCALABLE-CHATBOTS

Introdução

Ao se preparar para os exames da universidade, é provado que ter um parceiro é essencial para descobrir lacunas de conhecimento e esclarecer dúvidas específicas sobre o tema tratado durante as aulas. Embora os chatbots com base em LLMs como ChatGPT, Phind e CLOD já estejam fornecendo ajuda aos alunos, eles não podem fornecer uma ajuda/ajuda específica do material nos cursos universitários dos alunos. Propomos criar um sistema para ajustar os chatbots em material específico de cursos específicos. Graças a isso, criaremos amigos de estudo para os cursos de um estudante universitário típico, capazes de responder a dúvidas, gerar perguntas e muito mais!

É possível testar o chatbot neste link.

O escopo implícito do projeto (e de todo o curso) é construir uma infraestrutura escalável que possa hospedar nossos MLOPs. Por esse motivo, o pipeline monolítico tradicional de ML é dividido em três processos diferentes: pipeline de recursos , pipeline de treinamento , pipeline de inferência .

Pipeline de recursos

O pipeline de recursos é responsável por:

• Baixando o novo arquivo disponível de uma pasta compartilhada pública
• Gerando transcrições dos arquivos
• Carregando nova transcrição para HopSworks
• Usando as APIs do GPT 3.5 para gerar um conjunto de instruções válidas para o ajuste fino de um modelo de fundação
• Enviando essas instruções definidas para HopSworks

Executando o pipeline de recursos

Existem várias opções para executar o pipeline de recursos:

• Execute o notebook FeaturePipeline/Reading.ipynb
• Execute o FeaturePipeline/FeaturePipeline.py usando python3 FeaturePipeline/FeaturePipeline.py

Uma cópia deste último é ligeiramente modificada no arquivo FeaturePipeline/FeaturePipeline_modal.py para torná -lo executável no serviço de hospedagem modal usando modal [run|deploy] FeaturePipeline/FeaturePipeline.py

Pipeline de treinamento

O pipeline de treinamento é responsável por:

• Recuperando o conjunto de instruções do HopSworks
• Configurando uma instância do treinador usando técnicas PEFT e LORA
• Executando o treinamento
• Enviando o resultado para o Huggingface

Executando o pipeline de treinamento

Para executar o pipeline de treinamento, execute o notebook TrainingPipeline/FineTuning.ipynb

Oleoduto de inferência

O pipeline de inferência é responsável por:

• Execute uma interface de chatbot usando o streamlit + Langchain
• Download de transcrições do material da HopSworks
• Computação incorporadas do material original usando a frase Bert
• Computação de incorporações da pergunta do usuário usando a frase Bert
• Recuperar o material de melhor correspondência para uma certa pergunta
• Aumentando a resposta do chatbot usando RAG

Executando o pipeline de inferência

Para executar o pipeline de inferência, execute streamlit run chatbot_app.py

Conclusões

Embora experimentalmente, o processo de ajuste fino não seja suficiente para tornar o modelo fundamental consistentemente melhor do que um não afastado, o chatbot habilitado para rag pode não apenas responder às perguntas do usuário corretamente seguindo o material original, mas também pode fazer (principalmente) referências corretas de onde a resposta é retirada, o recurso essencial para um aluno que estuda para um exame universitário!

Trabalho futuro

O ajuste fino não funciona tão bem quanto pretendido devido à falta de material usado e recursos computacionais. Como trabalho futuro, queremos melhorar o processo de extração de conhecimento e usar mais poder computacional para resolver os problemas mostrados no relatório.