efficient document search and summarization engine

Effiziente Dokumentsuche und Zusammenfassung

Überblick

Die effiziente Engine für Dokumentensuche und Summarisation ist ein leistungsstarkes Tool, das die Forschungseffizienz und Klarheit durch Integration fortschrittlicher Großsprachenmodelle (LLMs) wie ChatGPT und Lama verbessern soll. Dieses Projekt nutzt hochmoderne Technologien, um ein nahtloses und effizientes Dokumentensuch- und Zusammenfassungserlebnis zu bieten.

Merkmale

• LLM -Integration : Verwendet führende LLMs, um Forschungsergebnisse zusammenzufassen und die Effizienz und Klarheit der Forschungsleistung zu verbessern.
• RESTFOR API : Bietet eine robuste API für das Abrufen von Dokumenten und Abfragen, um optimierte und genaue Suchergebnisse zu gewährleisten.
• Vektordatenbanken : Implementiert Vektordatenbanken für effizientes Speicher und Abrufen, Verbesserung der Suchleistung.
• Erweiterte Algorithmen : Anwendet Cosinus-Ähnlichkeit und K-Mittel-Clustering, um eine präzise Textentnahme und Abfrageanpassung zu gewährleisten.

Technologien verwendet

• Python : Kernprogrammiersprache für die Entwicklung.
• Fastapi : Rahmen für den Aufbau der erholsamen API.
• Langchain : Toolchain zur Integration von Sprachmodellen.
• MongoDB : Datenbank zum Speichern von Dokumenten und Metadaten.
• Pinecone : Vektordatenbank für optimierte Abfragestoration und -abruf.

Installation

Befolgen Sie die folgenden Schritte, um das Projekt lokal einzurichten:

1. Klonen Sie das Repository :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Erstellen Sie eine virtuelle Umgebung :

   python -m venv venv
   source venv/bin/activate

3. Abhängigkeiten installieren :

   pip install -r requirements.txt

4. Einrichten von Umgebungsvariablen : Erstellen Sie eine .env -Datei im Stammverzeichnis und fügen Sie Ihre Konfigurationseinstellungen hinzu.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Führen Sie die Anwendung aus :

   uvicorn main:app --reload

Verwendung

API -Dokumentation

API -Dokumentation und weitere Details können mit Spristing zugegriffen werden. Sobald die Anwendung ausgeführt wird, navigieren Sie zu http://localhost:8000/docs um die API -Endpunkte zu erkunden und mit ihnen zu interagieren.