hugging face qa bot

Abraçando o sistema de resposta à documentação do rosto

Um sistema de perguntas e respostas para interface multi-interface que usa o LLM do Hugging Face e a geração aumentada de recuperação (RAG) para fornecer respostas com base na documentação do Face Hugging. Operável como um aplicativo API, Discord Bot ou Gradio, também fornece links para a documentação usada para formular cada resposta.

Exemplo

Índice

• Configurando
• Correndo
  • Gradio
  • API
  • Bot Discord
• Índices
• Instruções de desenvolvimento

Configurando

Para executar qualquer uma das interfaces disponíveis, especifique os parâmetros necessários no arquivo .env com base no .env.example localizado no diretório config/ . Como alternativa, você pode defini -las como variáveis ​​de ambiente:

• QUESTION_ANSWERING_MODEL_ID - (str) uma string que especifica o ID do modelo do hub de face abraçando ou o diretório que contém os pesos do modelo
• EMBEDDING_MODEL_ID do ID do modelo de incorporação do Model ID do hub de face Hugging. Recomendamos usar o hkunlp/instructor-large
• INDEX_REPO_ID - (STR) ID do repositório do hub de face Hugging, onde o índice é armazenado. Lista dos índices mais reais podem ser encontrados nesta seção: índices
• PROMPT_TEMPLATE_NAME - (str) Nome do modelo de prompt Modelo usado para resposta a perguntas, os modelos são armazenados no diretório config/api/prompt_templates
• USE_DOCS_FOR_CONTEXT - (bool) use documentos recuperados como um contexto para uma determinada consulta
• NUM_RELEVANT_DOCS - (INT) Número de documentos usados ​​para o recurso anterior
• ADD_SOURCES_TO_RESPONSE - (bool) inclui fontes dos documentos recuperados usados ​​como um contexto para uma determinada consulta
• USE_MESSAGES_IN_CONTEXT - (bool) Use o histórico de bate -papo para experiência de conversação
• DEBUG - (Bool) fornece registro adicional

Instale as dependências necessárias no arquivo de requisitos:

pip install -r requirements.txt

Correndo

Gradio

Depois de concluir todas as etapas, conforme descrito na seção de configuração, especifique a variável de ambiente APP_MODE como gradio e execute o seguinte comando:

python3 app.py

API Serviing

Por padrão, a API é servida em http://0.0.0.0:8000 . Para iniciá -lo, preencha todas as etapas descritas na seção de configuração e execute o seguinte comando:

python3 -m api

Bot Discord

Para interagir com o sistema como um bot da Discord, adicione variáveis ​​de ambiente necessárias adicionais da seção Discord bot do arquivo .env.example no diretório config/ .

• DISCORD_TOKEN - (STR) Chave da API para o aplicativo BOT
• QA_SERVICE_URL - (STR) URL do serviço API. Recomendamos o uso de: http://0.0.0.0:8000
• NUM_LAST_MESSAGES - (INT) Número de mensagens usadas para contexto em conversas
• USE_NAMES_IN_CONTEXT - (bool) incluem nomes de usuário no contexto da conversa
• ENABLE_COMMANDS - (bool) permite comandos, por exemplo, limpeza de canais
• DEBUG - (Bool) fornece registro adicional

Depois de concluir todas as etapas, execute:

python3 -m bot

Para hospedar o bot em abraçar espaços de rosto, especifique a variável de ambiente APP_MODE como discord , e o bot será executado automaticamente a partir do arquivo app.py

Lista de índices

A lista a seguir contém os índices mais atuais que podem ser usados ​​para o sistema:

• Todos os repositórios de rosto abraçados com mais de 50 estrelas - pedaços de 512 caracteres
• Todos os repositórios de rosto abraçados com mais de 50 estrelas - pedaços de 812 caracteres

Instruções de desenvolvimento

Usamos Python 3.10

Para instalar todos os pacotes Python necessários, execute o seguinte comando:

pip install -r requirements.txt

Utilizamos o pipreqsnb para gerar o arquivo requisitos.txt. Para instalar o pipreqsnb, execute o seguinte comando:

pip install pipreqsnb

Para gerar o arquivo requisitos.txt, execute o seguinte comando:

pipreqsnb --force .

Para executar testes de unidade, você pode usar o seguinte comando:

pytest -o " testpaths=tests " --noconftest