Chatbot_Moin_Von_Bremen

؟ موين فون بريمن؟

مرحبًا بكم في "Moin Von Bremen" ، وهو مشروع ممتع وتفاعلي تم تطويره من قبل مجموعة من طلاب الماجستير المتحمسين من جامعة بريمن. في هذا المشروع ، نغوص في عالم LLMS (نماذج اللغة الكبيرة) ، ونستكشف قوة الجيل المعزز للاسترجاع (RAG) ، وتجربة مفهوم الوسائط المتعددة. معا ، أنشأنا دليل مدينة صوتية لمدينتنا المحببة في بريمن! ؟ ️

نظرة عامة على المشروع

هذا المشروع عبارة عن رحلة رائعة تبدأ بفكرة بناء chatbot قادر على العمل كدليل صوتي للمدينة. ما هي أفضل مدينة لاختيارها من بريمن ، وطننا أثناء الدراسة في جامعة بريمن؟ مع هذا الدليل ، ستتعرف على بريمن كما لم يحدث من قبل!

كيف تعمل

لقد جمعنا معرفتنا المحلية مع حقائق موثوقة من ويكيبيديا لخلق تجربة جذابة وغنية بالمعلومات. إليك تفاصيل خطوة بخطوة لكيفية فعلناها:

1. توليد البيانات : لقد حصلنا على صور وبيانات من ويكيبيديا لدعم chatbot لدينا. تحقق من ملف datageneration.ipynb لمزيد من التفاصيل حول كيفية القيام بذلك.

2. LLM & RAG : فضولي حول بناء الروبوت الشخصي الخاص بك؟ هكذا نحن! لقد دخلنا في LLMS وتقنية الخرقة الشهيرة لتطوير تطبيق المعرفة الخاص بالمجال. يتم استخدام RAT على نطاق واسع من قبل الشركات الكبيرة لإنشاء تطبيقات متخصصة. تريد معرفة المزيد؟ اقرأ هذا المقال بالخرقة الثاقبة.

3. نصي التضمينات مع chromadb : استمرت رحلتنا مع ملف textdata_chromadb.py ، حيث قمنا بتطوير Rag باستخدام التضمينات المتجهات مع chromadb. لقد قمنا حتى ببناء واجهة برمجة تطبيقات باستخدام Gradio لواجهة مستخدم سلسة. لقد جربنا أيضًا مفاهيم متعددة الوسائط من خلال إنشاء مجموعات لكل من النص والصور. عند إعطاء موجه ، يبحث النظام عن الصورة والنص الأكثر صلة في قاعدة البيانات.

4. التضمين المتجه : يمتد مفهوم تضمين المتجه إلى إنشاء سياقات رقمية ذات صلة ، والتي يتم استخدامها أثناء عمليات البحث لسحب البيانات الأكثر صلة من قاعدة البيانات. للحصول على شرح متعمق ، تحقق من هذه المقالة على التضمينات وقواعد بيانات المتجهات.

5. دليل الصوت مع FAISS : التحرك للأمام ، قمنا بتطوير دليل صوتي من خلال تطبيق الرمز في audiodata_faissEmbedding.py . استخدمنا طراز ASR الهامس من Openai لتحويل الصوت إلى النص. تعرف على المزيد عن الهمس هنا. من أجل الغوص العميق المثير للاهتمام في طيف ميل ، تحقق من هذه المقالة.

6. البحث عن التشابه مع FAISS : FAISS ، الذي تم تطويره بواسطة Facebook AI Research ، تم تصميمه للبحث الفعال في التشابه وتجميع المتجهات الكثيفة. إنه مفيد بشكل لا يصدق للعثور على عناصر مماثلة في مجموعة بيانات بناءً على تمثيلات المتجهات الخاصة بهم. للحصول على شرح مفصل ، تفضل بزيارة صفحة Faiss الرسمية.

Chromadb مقابل Faiss

لماذا اخترنا Chromadb على Faiss لهذا المشروع؟ هذه مقارنة سريعة:

• FAISS : مكتبة متخصصة للبحث في التشابه الفعال ، مع التركيز بشكل أساسي على التعامل مع المتجهات والاستعلام عنها.
• ChromadB : نظام قاعدة بيانات أكثر شمولاً مصمم خصيصًا للتضمينات ، مع ميزات متقدمة لإدارة المجموعات ، والاستعلام ، والتصفية ، والتعامل مع البيانات متعددة الوسائط.

للبحث متعدد الوسائط (مثل البحث عن النص مع تضمينات الصورة) ، يوفر ChromadB مرونة أكثر من Faiss. نقوم بتفسير عملية صنع القرار والتنفيذ في Main.py ، الموضحة في الرسم البياني التالي (إدراج مخطط هنا).

يثبت

للبدء في هذا المشروع ، اتبع هذه الخطوات:

1. تثبيت الحزم المطلوبة :

   pip install -r requirements.txt

2. البيانات : بيانات التنفيذ الحالية موجودة في مجلد data .