chroma db rag

Abrufener Generation mit Vectordb, Umarmungsgesichts-Einbettungen und Wiederherstellern

Repository -Übersicht

Dieses Repository demonstriert die Integration von Chroma DB, einer Vektor -Datenbank, mit Einbettungsmodellen, um ein RA -System (Robust Abruf Augmented Generation) zu entwickeln.

Modelloptionen einbetten

1. Ollama -Einbettungsmodell :
2. Umarmungs -Gesichtstext -Einbettder :
3. OpenAI -Einbettungsmodell :

Re-Ranker-Integration (HTTP, GRPC)

Um die Genauigkeit von RAG zu verbessern, können wir die Modelle von Umarmungsface-Reankern einbeziehen. Diese Modelle bewerten die Ähnlichkeit zwischen einer Abfrage- und Abfrageergebnisse, die von VectordB retribiert werden, und bewerten Sie die Ergebnisse nach Index, um sicherzustellen, dass abgerufene Informationen relevant und kontextuell genau sind.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

Dieses Repository zeigt, wie ein Einbettung und Wiederaufbau eines Lappensystems kombiniert werden kann.

Schritte, die zur Implementierung dieses Lappensystems durchgeführt wurden

1. Richten Sie die Vektordatenbank ein :

   • Verwenden Sie Chroma DB, um Ihre Dokumenteinbettungen zu speichern.
   • Unterstützung für Ollama -Einbettungsmodelle und umarmte Gesicht Tei.

2. Vorverarbeitungsdokumente :

   • Teilen Sie Ihre Dokumente in überschaubare Stücke auf.
   • Erzeugen Sie Einbettung für jeden Chunk mit einem Einbettungsmodell wie "Nomic-Emb-Text" von Ollama.

3. Geschäfte Einbettungen :

   • Speichern Sie die Stücke und ihre entsprechenden Einbettungen in der Chroma DB Vector -Datenbank.

4. Abfrageverarbeitung :

   • Wenn Sie eine Frage haben:
     • Generieren Sie eine Einbettung für die Abfrage.
     • Führen Sie eine Ähnlichkeitssuche in der Vektor -Datenbank durch, um die relevantesten Brocken basierend auf ihren Einbettungen zu identifizieren.
     • Rufen Sie diese Brocken als Kontext für Ihre Abfrage ab.
     • Legen Sie die Ergebnisse mit dem Umarmungsgesichts -Reranker erneut

5. Integrieren Sie sich in den LLM -Anbieter :

   • Unterstützte LLM -Anbieter
     • Ollama
     • Openai

6. Erstellen Sie eine schnelle Vorlage :

   • Entwerfen Sie eine Eingabeaufforderung Vorlage, die sowohl die ursprüngliche Abfrage als auch den Kontext aus der Vektordatenbank enthält.

7. Prozess mit LLM :

   • Senden Sie die erweiterte Eingabeaufforderung, einschließlich des Abfrages und des erneuten Kontextes, an das große Sprachmodell (LLM) zur Verarbeitung und Erzeugung von Antworten.

Dies ermöglicht die Verbesserung der Sprachverarbeitungsaufgaben, indem die Leistung von Vektordatenbanken und erweiterte Einbettungsmodelle nutzt.

Beispielergebnisse

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

Erste Schritte

Voraussetzungen

• Go (> = 1.22.0)
• Docker
• Docker komponieren

Installation

1. Klonen Sie das Repository

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. GO -Pakete installieren
3. Bauen Sie das GO -Projekt auf

go build -o chroma-db cmd/main.go

4. Richten Sie Docker -Container ein

Stellen Sie sicher, dass Docker und Docker Compose installiert sind. Verwenden Sie die docker-compose.yaml , um den Chroma DB-Dienst einzurichten.

docker-compose up -d

Das Projekt ausführen

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

Projektstruktur

• CMD/ :

  • main.go : Einstiegspunkt zum Ausführen der Chroma DB.
  • Chat/ :
    • ollama_chat.go : Enthält die Logik für die Interaktion mit dem Ollama -Chat -Modell.

• intern/ konstanten/ :

  • Constants.Go : Häuser alle notwendigen Konstanten, die im gesamten Projekt verwendet werden.

• Docker-compose.yaml : Docker-Konfigurationsdatei zum Einrichten des Chroma DB-Dienstes.

Konfiguration

Passen Sie die Konfigurationswerte in internal/constants/constants.go . Dies beinhaltet Einstellungen wie:

Chroma DB URL, Mietername, Datenbank und Namespace. Ollama -Modelltyp und URL.

Eingabeaufforderung GO -Vorlage

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

Laufen Vectordb

Starten Sie das VectordB mit dem folgenden Befehl:

docker compose up

Chatten Sie mit Ollama

Ausführen von Chat-bezogenen Operationen:

go run ./cmd/main.go

Konfiguration

Standardkonfigurationswerte werden in internal/constants/constants.go bereitgestellt und können nach Ihren Anforderungen eingestellt werden. Einige davon sind:

• ChromaUrl , TenantName , Database , Namespace
• OllamaModel und OllamaUrl

Lizenz

Dieses Projekt ist unter der BSD 3 -Klausel -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Anerkennung

• Chroma DB
• Ollama

Für Probleme oder Beiträge eröffnen Sie bitte ein Problem oder senden Sie eine Pull -Anfrage bei GitHub.