Seerat e Nabi Model with Llama Index

SEERAT-E-NABI-Modell mit Lama-Index

Dieses Projekt ist eine Webanwendung, die ein Fastapi-Backend verwendet, um Antworten auf Fragen zum SEERAT-E-NABI-Modell zu geben, indem der LLAMA-Index für Vektorspeicher und Abfrage verwendet wird.

Merkmale

• FASTAPI -Integration : Ein leichtes Web -Framework für API -Anfragen.
• LLAMA INDEX : Verwendet den Lama -Index zum Speichern und Abfragen von Dokumentenvektoren.
• Dynamisches Modellbelastung : Lädt automatisch den Index und behält den Index fort, wodurch eine effiziente Abfrage gewährleistet wird.

Dateistruktur

• main.py : Hauptantragsdatei mit Fastapi, um Endpunkte einzurichten.
• llama_model.py : Skript zum Laden von Daten, zum Erstellen eines Index und zum Abfragen von LLAMA -Index.
• clean.py : Rohdaten für die Erstellung eines für die Indexierung geeigneten sauberen Datensatzes vorbereiten.

Schlüsselkomponenten

Fastapi -Anwendung ( main.py )

• Endpunkte :
  • GET / : Einfache Gesundheitsprüfung zurückkehrt "ok".
  • GET /response/{question} : Akzeptiert eine Frage und gibt die Antwort des Modells zurück.
• Serverkonfiguration : Führen Sie den Server auf port 8000 mit aktiviertem Reload aus.

LAMA -Modell ( llama_model.py )

• Datenbelastung und Indexierung :
  • Laden Sie Dokumente aus einem bestimmten Verzeichnis.
  • Erstellt und besteht einen Vektorspeicherindex.
• Abfragehandhabung :
  • Bietet eine Funktion zum Abfragen der Index- und Abrufantworten.

Datenvorverarbeitung ( clean.py )

• Datenreinigung :
  • Entfernt nicht alphanumerische Zeichen und leere Zeilen.
  • Filtern Sie Zeilen mit weniger als drei Wörtern heraus.
• Speichern Sie saubere Daten : Speichern Sie die vorverarbeiteten Daten in einer neuen Datei.

Herausforderungen und Lösungen

• Modellintegration : Sicherstellen, dass die nahtlose Integration des Lama -Index mit FASTAPI sorgfältig die Datenbelastung und -indexierung erforderte.
• Datenvorverarbeitung : Reinigen und Vorbereitung der Daten, um einen aussagekräftigen Index zu erstellen, umfasste mehrere Vorverarbeitungsschritte.
• Effiziente Abfrage : Implementierung eines Systems zur effizienten Abfrage des Index und der Bereitstellung von Antworten erforderte robuste Indexierungs- und Abfragebehandlungsmechanismen.

Erste Schritte

1. Klonen Sie das Repository.
2. Installieren Sie die erforderlichen Abhängigkeiten.
3. Führen Sie die Fastapi -App aus.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

Abschluss

Dieses Projekt zeigt die Integration von Fastapi in den Lama -Index zum Erstellen einer reaktionsschnellen Webanwendung, mit der Fragen basierend auf indexierten Daten beantwortet werden können. Es unterstreicht die Komplexität der Modellintegration, der Datenvorverarbeitung und der effizienten Abfrage.

Fühlen Sie sich frei, um Probleme beizutragen oder zu leisten, wenn Sie auf Probleme stoßen!