efficient document search and summarization engine

Motor de busca e resumo eficiente de documentos

Visão geral

O mecanismo de busca e resumo eficiente de documentos é uma ferramenta poderosa projetada para aprimorar a eficiência e a clareza da pesquisa, integrando modelos avançados de grandes idiomas (LLMS), como ChatGPT e LLAMA. Este projeto aproveita as tecnologias de ponta para fornecer uma experiência perfeita e eficiente de pesquisa de documentos e resumo.

Características

• Integração do LLM : utiliza os principais LLMs para resumir os resultados da pesquisa, aumentando a eficiência e a clareza da produção de pesquisa.
• API RESTful : oferece uma API robusta para recuperação de documentos e consultas, garantindo resultados de pesquisa otimizados e precisos.
• Bancos de dados vetoriais : implementa bancos de dados de vetores para armazenamento e recuperação eficientes, melhorando o desempenho da pesquisa.
• Algoritmos avançados : aplica a similaridade de cosseno e o agrupamento K-Means para garantir extração precisa de texto e correspondência de consultas.

Tecnologias usadas

• Python : linguagem de programação central para desenvolvimento.
• FASTAPI : Estrutura para a construção da API RESTful.
• Langchain : Chain de ferramentas para integrar modelos de linguagem.
• MongoDB : Banco de dados para armazenar documentos e metadados.
• Pinecone : banco de dados vetorial para armazenamento e recuperação de consultas otimizadas.

Instalação

Para configurar o projeto localmente, siga estas etapas:

1. Clone o repositório :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Crie um ambiente virtual :

   python -m venv venv
   source venv/bin/activate

3. Instale dependências :

   pip install -r requirements.txt

4. Configurar variáveis ​​de ambiente : Crie um arquivo .env no diretório raiz e adicione suas definições de configuração.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Execute o aplicativo :

   uvicorn main:app --reload

Uso

Documentação da API

A documentação da API e mais detalhes podem ser acessados ​​usando Swagger. Depois que o aplicativo estiver em execução, navegue para http://localhost:8000/docs para explorar e interagir com os terminais da API.