efficient document search and summarization engine

Motor eficiente de búsqueda y resumen de documentos

Descripción general

El eficiente motor de búsqueda y resumen de documentos es una herramienta poderosa diseñada para mejorar la eficiencia y la claridad de la investigación mediante la integración de modelos avanzados de idiomas grandes (LLM) como CHATGPT y LLAMA. Este proyecto aprovecha las tecnologías de vanguardia para proporcionar una experiencia de búsqueda y resumen de documentos perfecta y eficiente.

Características

• Integración de LLM : utiliza LLM líderes para resumir los hallazgos de la investigación, mejorando la eficiencia y la claridad de la producción de investigación.
• API RESTful : ofrece una API robusta para la recuperación de documentos y consultas, asegurando resultados de búsqueda optimizados y precisos.
• Bases de datos vectoriales : implementa bases de datos vectoriales para un almacenamiento y recuperación eficientes, mejorando el rendimiento de la búsqueda.
• Algoritmos avanzados : aplica la similitud de coseno y la agrupación de K-means para garantizar la extracción de texto precisa y la coincidencia de consultas.

Tecnologías utilizadas

• Python : lenguaje de programación central para el desarrollo.
• FASTAPI : Marco para construir la API RESTful.
• Langchain : Toolchain para integrar modelos de lenguaje.
• MongoDB : base de datos para almacenar documentos y metadatos.
• Pinecone : Base de datos vectorial para almacenamiento y recuperación de consultas optimizadas.

Instalación

Para configurar el proyecto localmente, siga estos pasos:

1. Clon el repositorio :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Crear un entorno virtual :

   python -m venv venv
   source venv/bin/activate

3. Instalar dependencias :

   pip install -r requirements.txt

4. Configurar variables de entorno : cree un archivo .env en el directorio raíz y agregue su configuración de configuración.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Ejecute la aplicación :

   uvicorn main:app --reload

Uso

Documentación de API

Se puede acceder a la documentación de la API y a más detalles utilizando Swagger. Una vez que la aplicación se ejecute, navegue a http://localhost:8000/docs para explorar e interactuar con los puntos finales de la API.