efficient document search and summarization engine

Moteur efficace de recherche et de résumé de documents

Aperçu

Le moteur efficace de recherche et de résumé de documents est un outil puissant conçu pour améliorer l'efficacité de la recherche et la clarté en intégrant des modèles avancés de grande langue (LLM) tels que Chatgpt et Llama. Ce projet tire parti des technologies de pointe pour fournir une expérience de recherche et de résumé de documents sans couture et efficace.

Caractéristiques

• Intégration LLM : utilise les LLM de premier plan pour résumer les résultats de la recherche, améliorant l'efficacité et la clarté de la sortie de recherche.
• API RESTFul : propose une API robuste pour la récupération de documents et de requête, garantissant des résultats de recherche optimisés et précis.
• Bases de données vectorielles : implémente les bases de données vectorielles pour un stockage et une récupération efficaces, améliorant les performances de recherche.
• Algorithmes avancés : applique la similitude des cosinus et le clustering K-means pour assurer une extraction de texte précise et une correspondance de requête.

Technologies utilisées

• Python : Langage de programmation de base pour le développement.
• FASTAPI : Cadre pour la construction de l'API RESTful.
• Langchain : Toolchain pour intégrer les modèles de langage.
• MongoDB : base de données pour stocker des documents et des métadonnées.
• PineCone : base de données vectorielle pour le stockage et la récupération des requêtes optimisées.

Installation

Pour configurer le projet localement, suivez ces étapes:

1. Clone le référentiel :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Créer un environnement virtuel :

   python -m venv venv
   source venv/bin/activate

3. Installez les dépendances :

   pip install -r requirements.txt

4. Configurez les variables d'environnement : créez un fichier .env dans le répertoire racine et ajoutez vos paramètres de configuration.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Exécutez l'application :

   uvicorn main:app --reload

Usage

Documentation API

La documentation de l'API et d'autres détails peuvent être accessibles à l'aide de Swagger. Une fois l'application en cours d'exécution, accédez à http://localhost:8000/docs pour explorer et interagir avec les points de terminaison de l'API.