insight chat

الدردشة البصيرة

بناء مع

• FASTAPI - Fastapi هو حديث حديث ، سريع (عالي الأداء) ، إطار عمل على شبكة الإنترنت لبناء واجهات برمجة التطبيقات مع Python 3.7+ استنادًا إلى تلميحات نوع Python القياسية.

• Llamaindex - Llamaindex هو إطار بيانات للتطبيقات المستندة إلى LLM والتي تستفيد من زيادة السياق. تم تسمية أنظمة LLM هذه بأنها أنظمة خرقة ، وهي تقف على "جيل أوجي في الاسترجاع". يوفر Llamaindex التجريدات الأساسية للاستخراج والبنية والبنية والوصول إلى البيانات الخاصة أو الخاصة بالمجال بسهولة من أجل حقنها بأمان وموثوقية في LLMs لتوليد النص الأكثر دقة.

• Mongodb Atlas - Mongodb Atlas عبارة عن قاعدة بيانات سحابة تتم إدارتها بالكامل تم تطويرها من قبل نفس الأشخاص الذين يبنون MongoDB.

• Atlas Vector Search - Atlas Vector Search يتيح لك البحث عن بيانات غير منظمة. يمكنك إنشاء تضمينات متجه مع نماذج التعلم الآلي مثل Openai و Ungging Face ، وتخزينها وفهرستها في Atlas للتوليد المعزز للاسترجاع (RAG) ، والبحث الدلالي ، ومحركات التوصية ، والتخصيص الديناميكي ، وحالات الاستخدام الأخرى.

ملاحظة: تحتاج إلى إنشاء فهرس KNN لاستخدام بحث ناقلات ATLAS.

• قم بتسجيل الدخول إلى حساب Atlas الخاص بك وتحديد موقع المجموعة المقابلة لمتجر Vector. إذا كنت تستخدم الأسماء الافتراضية ، فيجب أن تكون "default_store/default_db".
• قم بإنشاء فهرس بحث للمجموعة في Tab Atlas Search . اختر وضع "محرر JSON" وقم بتعيين الفهرس مع المحتوى التالي:

 {
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      }
    }
  }
}

• انتظر بضع ثوان للسماح للفهرس الجديد سريان.

قم بتشغيل التطبيق مع Uvicorn

يتطلب

• بيثون> = 3.10

التثبيت مع الشعر:

 pip install poetry
poetry config virtualenvs.in-project true
poetry shell
poetry install

 uvicorn app.main:app --host 127.0.0.1 --port 9080

تشغيل التطبيق مع Docker؟

 docker build -t insight-chat .
docker run -d --name insight-chat -p 8080:8080 insight-chat

سمات:

1. الدردشة

• الدردشة مع المستند
• محادثة دردشة مع المستند

2. استيعاب البيانات

• يمكنك استيعاب البيانات من ملف أو موقع رابط أو YouTube.

3. الرسالة

• إدارة رسالة الدردشة المحادثة.

4. جلسة الدردشة

• إدارة جلسة الدردشة للدردشة المحادثة.

5. المستخدم

• إدارة المستخدم للتطبيق.

6. المصادقة

• المصادقة للتطبيق.

المعرفة

نظام تخزين Llamaindex

باختصار ، يستخدم Llamaindex النمط التالي لتخزين معلومات الوثيقة:

ينقسم نص المستند إلى العديد من العقد ، المعروف أيضًا باسم "القطع" ؛ باستخدام معرف المستند كمفتاح أساسي ، يتم تخزين الكائنات التي تمثل كل مستند ، وخاصة البيانات الوصفية مثل اسم الملف وتجزئة ، في متجر المستندات ، إلى جانب قائمة العقد لهذا المستند ؛ باستخدام معرف العقدة كمفتاح أساسي ، يتم تخزين تضمين العقدة في متجر المتجهات.

يتم استخدام تطبيقات MongoDB الثلاثة للمتاجر في هذا المشروع:

• mongodocumentstore
• mongoindexstore
• mongodbatlasvectorsearch

مراجع

https://medium.com/@luoning.nici/llamaindex-in-depth-practice-to-to-build-a-nable-storage-subsystem-with-mongodb-atlas-f306bf2fb480

https://docs.llamaindex.ai/en/stable/index.html

https://www.mongodb.com/atlas

إذا ساعدك هذا المشروع ، فلا تنسى أن تعطيني. شكرًا! ؟