الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

واندبوت

WANDBOT هو روبوت لإلغاء الأسئلة المصمم خصيصًا لوثائق الأوزان والتحيزات.

ما الجديد

Wandbot v1.2.0

يقدم هذا الإصدار عددًا من التحديثات والتحسينات المثيرة:

  • مكالمات LLM المتوازية : استبدال مؤشر LLAMA مع LECL ، مما يتيح مكالمات LLM المتوازية لزيادة الكفاءة.
  • تكامل Chromadb : انتقل من FAISS إلى ChromadB إلى الاستفادة من تصفية البيانات الوصفية والسرعة.
  • تحسين Query Enhancer : تحسين محسن الاستعلام للعمل مع مكالمة LLM واحدة.
  • خط أنابيب الخرقة المعياري : تقسيم خط أنابيب الخرقة إلى ثلاث وحدات مميزة: تعزيز الاستعلام واسترجاعه وتوليف الاستجابة ، لتحسين الوضوح والصيانة.
  • استرجاع المستند الأصل : تم تقديم وظيفة استرجاع المستند الأصل داخل وحدة الاسترجاع لتعزيز السياق.
  • الرد على العنوان الفرعي : تم إضافة إمكانيات الرد على المساعد الفرعي في وحدة توليف الاستجابة للتعامل مع الاستعلامات المعقدة بشكل أكثر فعالية.
  • إعادة هيكلة API : أعيد تصميم واجهة برمجة التطبيقات في أجهزة توجيه منفصلة لاسترجاعها ، وقاعدة البيانات ، وعمليات الدردشة.

هذه التحديثات هي جزء من التزامنا المستمر بتحسين الأداء وسهولة الاستخدام.

تقييم

إنجليزي

نسخة واندبوت تعليق دقة الاستجابة
1.0.0 لدينا خط الأساس واندبوت 53.8 ٪
1.1.0 تحسين على خط الأساس ؛ في إنتاج الأطول 72.5 ٪
1.2.0 لدينا Wandbot الجديد 81.6 ٪

اليابانية

نسخة واندبوت تعليق دقة الاستجابة
1.2.0 لدينا Wandbot الجديد 56.3 ٪
1.2.1 إضافة عملية الترجمة 71.9 ٪

سمات

  • توظف Wandbot جيلًا معززًا للاسترجاع مع خلفية Chromadb ، مما يضمن استجابات فعالة ودقيقة لاستعلامات المستخدم عن طريق استرداد المستندات ذات الصلة.
  • إنه يتميز بابتلاع بيانات دوري وتوليد التقارير ، مما يساهم في التحسين المستمر لوب. يمكنك عرض أحدث تقرير لابتلاع البيانات هنا.
  • تم دمج الروبوت مع Discord و Slack ، مما يسهل التكامل السلس مع منصات التعاون الشعبية هذه.
  • يتم إجراء مراقبة الأداء والتحسين المستمر من خلال التسجيل والتحليل مع جداول الأوزان والتحيزات. قم بزيارة مساحة العمل لمزيد من التفاصيل هنا.
  • لدى Wandbot آلية احتياطية لاختيار النموذج ، والتي يتم استخدامها عندما يفشل GPT-4 في إنشاء استجابة.
  • يتم تقييم أداء الروبوت باستخدام مزيج من المقاييس ، بما في ذلك دقة الاسترجاع ، وتشابه السلسلة ، وصحة الاستجابات التي تم إنشاؤها.
  • فضولي حول موجه النظام المخصص المستخدمة من قبل الروبوت؟ يمكنك عرض المطالبة الكاملة هنا.

تثبيت

تم تصميم المشروع مع إصدار Python >=3.10.0,<3.11 ويستخدم الشعر لإدارة التبعيات. اتبع الخطوات أدناه لتثبيت التبعيات اللازمة: 

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api

الاستخدام

ابتلاع البيانات

تقوم وحدة ابتلاع البيانات بسحب الكود وتنسيقها من مستودعات الأوزان والتحيزات ، والأمثلة التي تستوعبها في vectorstores لخط أنابيب التوليد المعزز للاسترجاع. لتناول البيانات تشغيل الأمر التالي من جذر المستودع 

poetry run python -m src.wandbot.ingestion

ستلاحظ أن البيانات يتم تناولها في دليل data/cache وتخزينها في ثلاث دلائل مختلفة raw_data ، vectorstore مع ملفات فردية لكل خطوة من عملية الابتلاع. يتم تخزين مجموعات البيانات هذه أيضًا كقنين Wandb في المشروع المحدد في البيئة المتغيرة WANDB_PROJECT ويمكن الوصول إليها من لوحة معلومات WANDB.

تشغيل Q&A BOT

قبل تشغيل BOT Q&A ، تأكد من تعيين متغيرات البيئة التالية: 

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

بمجرد تعيين متغيرات البيئة هذه ، يمكنك بدء تطبيق Q&A BOT باستخدام الأوامر التالية: 

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

قد تحتاج بعد ذلك إلى الاتصال بنقطة النهاية لتشغيل تهيئة تطبيق Wandbot النهائية: 

curl http://localhost:8000/

لمزيد من الإرشادات التفصيلية حول تثبيت وتشغيل الروبوت ، يرجى الرجوع إلى ملف Run.sh الموجود في جذر المستودع.

سيقوم تنفيذ هذه الأوامر بتشغيل تطبيقات API و Slackbot و Discord Bot ، مما يتيح لك التفاعل مع الروبوت وطرح الأسئلة المتعلقة بوثائق الأوزان والتحيز.

تشغيل خط أنابيب التقييم

تأكد من تعيين البيئات في المحطة الخاصة بك. 

 set -o allexport; source .env; set +o allexport

إطلاق Wandbot مع 8 عمال. هذا يسرع التقييم 

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

إعداد للتقييم

WANDBOT/SRC/WANDBOT/تقييم/config.py

  • evaluation_strategy_name : اسم السمة في لوحة معلومات تقييم نسج
  • eval_dataset :
    • أحدث مجموعة بيانات تقييم اللغة الإنجليزية: "نسج: /// Wandbot/Wandbot-Eval/Object/Wandbot_eval_data: ecqq0gjm077wi4yktwyhlprpugiaxbmwugeb7iyhlfu"
    • أحدث مجموعة بيانات التقييم اليابانية: "نسج: /// Wandbot/Wandbot-Eval-JP/Object/Wandbot_eval_data_jp: OcwifiateVcksjushp0boec5gnhsmuyxurwqznbekla"
  • eval_judge_model : نموذج يستخدم للقاضي
  • wandb_entity : اسم كيان WANDB للتسجيل
  • wandb_project : اسم مشروع WANDB للتسجيل

إطلاق W & B نسج تقييم 

 python src/wandbot/evaluation/weave_eval/main.py

نظرة عامة على التنفيذ

  1. إنشاء دمج وثيقة مع chromadb
  2. بناء Q&A Ragpipeline
  3. اختيار النماذج وتنفيذ آلية الاحتياط
  4. نشر Q&A Bot على fastapi ، discord ، و Slack
  5. استخدام جداول الأوزان والتحيزات للتسجيل والتحليل
  6. تقييم أداء سؤال وجواب

يمكنك مراقبة استخدام الروبوت في المشروع التالي: https://wandb.ai/wandbot/wandbot_public

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل