chroma db rag

الجيل المعزز للاسترجاع مع Vectordb ، وعانق الوجه المدمج وإعادة الراتب

نظرة عامة على المستودع

يوضح هذا المستودع تكامل CHROMA DB ، قاعدة بيانات متجه ، مع نماذج تضمين لتطوير نظام توليد متزايد قوي للاسترجاع (RAG).

تضمين خيارات النموذج

1. نموذج تضمين Ollama :
2. تعانق نص وجه التضمين :
3. نموذج تضمين Openai :

إعادة تكامل REANDER (HTTP ، GRPC)

لتعزيز دقة RACT ، يمكننا دمج نماذج REANDERS Huggingface. تقوم هذه النماذج بتقييم التشابه بين نتائج الاستعلام والاستعلام المستردة من Vectordb ، وترتبت إعادة رتبة النتائج عن طريق الفهرس لضمان أن المعلومات المستردة ذات صلة ودقيقة في السياق.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

يوضح هذا المستودع كيفية الجمع بين التضمين وإعادة تنمية نظام خرقة.

الخطوات المتبعة لتنفيذ نظام الخرقة هذا

1. إعداد قاعدة بيانات المتجهات :

   • استخدم Chroma DB لتخزين وثيقة تضمينات.
   • دعم نماذج تضمين Ollama وعانق الوجه TEI.

2. وثائق المعالجة المسبقة :

   • تقسيم مستنداتك إلى قطع يمكن التحكم فيها.
   • قم بإنشاء التضمينات لكل قطعة باستخدام نموذج التضمين مثل "نص Embed-Text" من Ollama.

3. التضمينات المتجر :

   • قم بتخزين القطع والتضمينات المقابلة لها في قاعدة بيانات CHROMA DB Vector.

4. معالجة الاستعلام :

   • عندما يكون لديك استعلام:
     • توليد تضمين للاستعلام.
     • قم بإجراء بحث تشابه داخل قاعدة بيانات المتجه لتحديد أكثر الأجزاء ذات الصلة بناءً على تضميناتها.
     • استرداد هذه القطع كسياق لاستعلامك.
     • Rerank النتائج باستخدام معانقة الوجه Reranker

5. الاندماج مع مزود LLM :

   • مقدمي خدمات LLM المدعومة
     • أولاما
     • Openai

6. إنشاء قالب موجه :

   • صمم قالبًا موجهًا يتضمن كل من الاستعلام الأصلي والسياق الذي تم استرداده من قاعدة بيانات المتجه.

7. العملية مع LLM :

   • أرسل المطالبة المعززة ، بما في ذلك السياق الاستعلام والاستعلام ، إلى نموذج اللغة الكبير (LLM) لمعالجة وتوليد الردود.

يسمح ذلك بتحسين مهام معالجة اللغة عن طريق الاستفادة من قوة قواعد بيانات المتجهات ونماذج التضمين المتقدمة.

نتائج العينة

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

ابدء

المتطلبات الأساسية

• اذهب (> = 1.22.0)
• عامل ميناء
• Docker Compose

تثبيت

1. استنساخ المستودع

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. تثبيت حزم GO
3. بناء مشروع GO

go build -o chroma-db cmd/main.go

4. قم بإعداد حاويات Docker

تأكد من تثبيت Docker و Docker Compose. استخدم docker-compose.yaml لإعداد خدمة Chroma DB.

docker-compose up -d

تشغيل المشروع

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

هيكل المشروع

• CMD/ :

  • Main.GO : نقطة الدخول لتشغيل Chroma DB.
  • محادثة/ :
    • Ollama_chat.go : يحتوي على منطق التفاعل مع نموذج دردشة Ollama.

• داخلي/ ثوابت/ :

  • الثوابت .و : يضم جميع الثوابت اللازمة المستخدمة في المشروع.

• Docker-corm.yaml : Docker Compose Configuration File لإعداد خدمة Chroma DB.

إعدادات

ضبط قيم التكوين في internal/constants/constants.go لتناسب احتياجاتك. وهذا يشمل إعدادات مثل:

Chroma DB URL ، اسم المستأجر ، قاعدة البيانات ومساحة الاسم. نوع نموذج Ollama وعنوان URL.

قالب GO موجه

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

تشغيل Vectordb

ابدأ Vectordb مع الأمر التالي:

docker compose up

الدردشة مع أولاما

تنفيذ العمليات المتعلقة بالدردشة:

go run ./cmd/main.go

إعدادات

يتم توفير قيم التكوين الافتراضية في internal/constants/constants.go ويمكن تعديلها حسب احتياجاتك. بعض هذه تشمل:

• ChromaUrl ، TenantName ، Database ، Namespace
• OllamaModel و OllamaUrl

رخصة

تم ترخيص هذا المشروع بموجب ترخيص BSD المكون من 3 نقاط - راجع ملف الترخيص للحصول على التفاصيل.

شكر وتقدير

• Chroma DB
• أولاما

لأي مشكلات أو مساهمات ، يرجى فتح مشكلة أو إرسال طلب سحب على Github.