chroma db rag

Pengambilan generasi augmented dengan vectordb, memeluk wajah tertanam dan peringkat kembali

Tinjauan Repositori

Repositori ini menunjukkan integrasi Chroma DB, database vektor, dengan model embedding untuk mengembangkan sistem pengambilan augmented generasi (RAG) yang kuat.

Opsi Model Menyematkan

1. Model Embedding Ollama :
2. Memeluk Teks Wajah Embedder :
3. Model embedding openai :

Integrasi Re-Ranker (HTTP, GRPC)

Untuk meningkatkan keakuratan kain, kita dapat menggabungkan model peringkat pelukan. Model-model ini mengevaluasi kesamaan antara hasil kueri dan kueri yang diambil dari VectorBB, peringkat ulang memberi peringkat hasil dengan indeks memastikan bahwa informasi yang diambil relevan dan akurat secara kontekstual.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

Repositori ini menunjukkan cara menggabungkan embedding dan reranking untuk mengembangkan sistem kain.

Langkah diikuti untuk mengimplementasikan sistem kain ini

1. Mengatur database vektor :

   • Gunakan Chroma DB untuk menyimpan embeddings dokumen Anda.
   • Dukungan untuk ollama menanamkan model dan memeluk wajah Tei.

2. Dokumen Preprocess :

   • Pisahkan dokumen Anda menjadi potongan yang dapat dikelola.
   • Menghasilkan embeddings untuk setiap potongan menggunakan model embedding seperti "nomic-embed-text" dari ollama.

3. Toko Embeddings :

   • Simpan potongan -potongan dan embeddings yang sesuai di database vektor Chroma DB.

4. Pemrosesan Permintaan :

   • Saat Anda memiliki kueri:
     • Menghasilkan embedding untuk kueri.
     • Lakukan pencarian kesamaan dalam database vektor untuk mengidentifikasi potongan yang paling relevan berdasarkan embedding mereka.
     • Ambil potongan -potongan ini sebagai konteks untuk pertanyaan Anda.
     • Rerank Hasilnya Menggunakan Reranker Wajah Memeluk

5. Integrasi dengan penyedia LLM :

   • Penyedia LLM yang didukung
     • Ollama
     • Openai

6. Buat template prompt :

   • Rancang templat cepat yang menggabungkan kueri asli dan konteks yang diambil dari database vektor.

7. Proses dengan LLM :

   • Kirim prompt augmented, termasuk kueri dan konteks yang diulang, ke model bahasa besar (LLM) untuk pemrosesan dan pembuatan tanggapan.

Hal ini memungkinkan untuk meningkatkan tugas pemrosesan bahasa dengan memanfaatkan kekuatan database vektor dan model embedding canggih.

Hasil sampel

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

Memulai

Prasyarat

• Go (> = 1.22.0)
• Buruh pelabuhan
• Docker menyusun

Instalasi

1. Klon Repositori

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. Instal Paket GO
3. Bangun Proyek GO

go build -o chroma-db cmd/main.go

4. Siapkan wadah Docker

Pastikan Docker dan Docker Compose dipasang. Gunakan docker-compose.yaml untuk mengatur layanan Chroma DB.

docker-compose up -d

Menjalankan proyek

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

Struktur proyek

• CMD/ :

  • Main.go : Titik masuk untuk menjalankan Chroma DB.
  • mengobrol/ :
    • ollama_chat.go : berisi logika untuk berinteraksi dengan model obrolan Ollama.

• internal/ konstanta/ :

  • Constants.go : menampung semua konstanta yang diperlukan yang digunakan di seluruh proyek.

• Docker-Compose.YAML : Docker Compose Configuration File untuk Menyiapkan Layanan Chroma DB.

Konfigurasi

Sesuaikan nilai konfigurasi dalam internal/constants/constants.go agar sesuai dengan kebutuhan Anda. Ini termasuk pengaturan seperti:

Chroma DB URL, Nama Penyewa, Database & Namespace. Jenis dan URL model Ollama.

Prompt Go Template

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

Menjalankan VectorBB

Mulai VectorDB dengan perintah berikut:

docker compose up

Mengobrol dengan Ollama

Jalankan Operasi Terkait Obrolan:

go run ./cmd/main.go

Konfigurasi

Nilai konfigurasi default disediakan dalam internal/constants/constants.go dan dapat disesuaikan sesuai kebutuhan Anda. Beberapa di antaranya termasuk:

• ChromaUrl , TenantName , Database , Namespace
• OllamaModel dan OllamaUrl

Lisensi

Proyek ini dilisensikan di bawah lisensi BSD 3 -Clause - lihat file lisensi untuk detailnya.

Ucapan Terima Kasih

• Chroma DB
• Ollama

Untuk masalah atau kontribusi apa pun, buka masalah atau kirimkan permintaan tarik di GitHub.