Ner e híbrido search-AI-Chatbot
Um exemplo de reconhecimento de entidade nomeada e mapeamento de relações usando um banco de dados LLM e vetor. Um chatbot de pesquisa híbrido para utilizar relações extraídas.
A pesquisa híbrida pesquisará entidades de origem e entidades -alvo, resultando em uma melhor capacidade de pesquisa do que o tradicional RAG. Essa abordagem permite memórias relevantes que podem não ter o mesmo significado semântico implícito a ser retornado. O método usado aqui é uma versão simples, mas uma abordagem aninhada contínua pode ser usada às custas de comprimento adicional do contexto.
Originalmente feito como uma solução para o meu projeto Assistente de Aethius AI, no entanto, eu nunca conseguia fazer funcionar de maneira confiável com LLMs menores.
Principal Projeto Assistente de AI: https://github.com/libraryofcelsus/aetherius_ai_assistant
Banco de dados vetorial: https://github.com/qdrant/qdrant
Changelog
Instalação
- Instale o Python 3.10.6, adicione-o ao caminho: https://www.python.org/downloads/release/python-3106/
- Instale Git: https://git-scm.com/ (o Git pode ser ignorado baixando o repo como um arquivo zip no botão de código verde)
- Instale o TESSERACT para OCR: https://github.com/ub-mannheim/tesseract/wiki, uma vez instalado, copie a pasta "Tesseract-ocr" dos arquivos de programas para a pasta principal do projeto. Alternativo, você também pode instalá-lo diretamente em uma pasta chamada "Tesseract-ococ" na pasta do projeto na instalação inicial.
- Se estiver usando o QDRANT Cloud copiar sua chave de API e URL para sua respectiva chave nas configurações.json. QDRANT NUVEN: https://qdrant.to/cloud
- Para usar um servidor QDrant local, primeiro instale o docker: https://www.docker.com/
- Agora execute: Docker Pull QDRANT/QDRANT: V1.5.1 em CMD
- Próxima execução: Docker Run -P 6333: 6333 QDRANT/QDRANT: V1.5.1
- Depois que o servidor QDrant local estiver em execução, ele deve ser detectado automaticamente pelo chatbot. (Veja: https://docs.docker.com/desktop/backup-and-drestore/ para como fazer backups.)
- CMD aberto como administrador
- Run Git Clone: Git Clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-hatbot.git
- Navegue até a pasta do projeto: CD PATH_TO_CHATBOT_INSTALL
- Crie um ambiente virtual: Python -M Venv Venv
- Ative o ambiente:. Venv scripts ativar
- Instale os pacotes necessários: pip install -r requisitos.txt
- Editar configurações em "Settings.json"
- Execute "hybrid_search_example.py" para usar o chatbot. Execute "Extract_relation_from_file.py" para extrair relações da pasta de upload.
Junte-se à minha discórdia em busca de ajuda ou para obter informações mais detalhadas!
Discord Server: https://discord.gg/pb5zcna7ze
Meu desenvolvimento de IA é autofinanciado pelo meu trabalho diário, considere doar se achar útil!
