Intro to RAG with CODEGEMMA 7B

Einfacher Lappen mit Codegemma: 7b

Diese Arbeit implementiert ein einfaches Lappensystem mit GoogleCodegemma:7b , Qdrant as VectorDB und CoNaLa -Datensatz. Wir entwickeln eine einfache App mit GRADIO und erstellen ein Dcoker -Bild für die Conatiner -Laufzeit.

Gradio App UI

Dateistrukturen

• rag_localllm.ipynb: Dieses Notebook enthält Code und Erläuterung zur Implementierung von RAG mit Codegemma.
  • Verbindung zu lokalem LLM über Ollama herstellen
  • Daten importieren
  • Einbettungsmodell importieren
  • Betten Sie die Dokumente ein und erstellen Sie die Vektordatenbank
  • Nehmen Sie eine Benutzerabfrage
  • Abfragen einbetten und abrufen
  • Führen Sie Lappen mit Codegemma durch
• * vector_database.py: Der Code zum Erstellen von VectordB
• app.py: Der Code für Gradio -Anwendung

Architekturen

• Vektordatenbank: QDrant
• Anwendungsrahmen: Gradio
• LLM: Google Codegemma
• LLM Server: Ollama
• Einbettung: All-Minilm-L6-V2
• Datenbank: Conala

Docker

Das Docker -Bild der App wird zu Docker Hub weitergegeben. Um die Anwendung auszuführen, benötigen wir ein Linux -System mit minimalem 8 -GB -Speicher. Um die App auszuführen, führen Sie einfach den Befehl aus

 docker compose up

Wenn Sie das Repo hilfreich finden, lassen Sie bitte a