custom rag app

Benutzerdefinierte RAG -App

Allgemein

Eine App, die streamlit verwendet, um eine benutzerfreundliche Schnittstelle zum Erstellen einer Rag-Pipeline anzubieten. Mit der App kann der Benutzer seine eigenen PDF -Fies hochladen, die dann in einer neuen (oder vorhandenen) Vektor -Datenbank verarbeitet und gespeichert werden.

Der Benutzer kann dann die Datenbank abfragen und die relevanteste Antwort erhalten, die aus einem LLM -Modell generiert wird. Das LLM, das wir verwendet haben, ist das Gemma: 2B -Modell und für das Modell, das wir Ollama verwenden.

Die App bietet auch die Möglichkeit, eine vorhandene Datenbank zu löschen, obwohl diese Funktionalität derzeit für Windows begrenzt ist.

Aufstellen

Um die App zum Laufen zu bringen, müssen Sie zuerst dieses Repository klonen. Dies kann mit dem Befehl erfolgen:

git clone https://github.com/Jimlibo/custom-rag-app.git

Nachdem Sie das Repository geklont haben, können Sie zum Verzeichnis der App navigieren:

 cd custom-rag-app

Mit Docker ausführen

Wenn Sie Docker und Docker-Compose installiert haben, können Sie die App mit den folgenden Befehlen ausführen:

docker-compose up

Mit streamlit ausführen

Wenn Sie Docker nicht installiert haben, können Sie zuerst die erforderlichen Pakete aus den Anforderungen installieren und die App über Streamlit ausführen. Dies kann mit den folgenden Befehlen erfolgen:

 cd src
pip install -r requirements.txt
streamlit run app.py

Um einen LLM zu erreichen, müssen Sie auch den Ollama -Service in Betrieb nehmen. Wenn Sie die App zum ersten Mal ausführen, müssen Sie das Gemma: 2B -Modell von Ollama Repository ziehen, bevor Sie es bedienen. Um das Modell zu ziehen, öffnen Sie ein weiteres Terminal und führen Sie den Befehl aus:

ollama pull gemma:2b

Um das Modell zu dienen, rennen Sie:

ollama serve

Euen Wenn die App nicht automatisch geöffnet wird, können Sie zu http: // localhost: 8501/im Browser Ihrer Wahl navigieren.

Lizenz

Unter der MIT -Lizenz verteilt. Weitere Informationen finden Sie unter Lizenz.