OpenAI RAG for Reddit Comments QnA using Docker

واجهة دردشة Reddit

مرحبًا بك في واجهة دردشة Reddit Post Summarizer. يتيح هذا التطبيق المستند إلى التدقيق للمستخدمين استخراج وتلخيص المحتوى من عناوين URL Reddit بسلاسة وعقد جلسات ضمان الجودة. هذه هي محاولتي الأولى لاستخدام LLMS مع DBS Vector لـ QA ، والتلخيص ، وأغراض التثبيت.

استخراج المدخلات والمحتوى

يبدأ التطبيق بواجهة دردشة سهلة الاستخدام. يمكن للمستخدمين إدخال عنوان URL Reddit في مربع البحث ، ويتطلب النظام الخطوات التالية:

• التحقق من صحة عنوان URL : يتحقق التطبيق مما إذا كان عنوان URL الذي تم إدخاله ينتمي إلى Reddit.

• تكامل Praw : عند التحقق من صحة عنوان URL الناجح ، يتم استخدام Wethon Reddit API Wrapper (Praw) لاستخراج محتويات Post Reddit. ويشمل ذلك النص الذاتي والتعليقات المرتبطة بالمشاركة.

• صقل البيانات والتضمين : يتم تقسيم النص والتعليقات الذاتية المستردة إلى شرائح أصغر قابلة للهضم (قطع). ثم يتم تضمين كل قطعة ، ويتم تخزين التضمينات في قاعدة بيانات متجه ، Pinecone. هذه الخطوة ضرورية لاسترجاع البيانات الفعالة والسريعة.

تلخيص

بعد عملية الاستخراج والتضمين ، ينشئ التطبيق ملخصًا لنشر Reddit باستخدام نموذج لغة (LLM) مثل Openai GPT-3.5. يمكن تقسيم عملية التلخيص إلى الخطوات التالية:

• توليد قطعة : يتم إنشاء جزء كبير من الحجم المناسب عن طريق تلخيص متكرر حتى يتناسب مع الحد المميز لـ LLM.

• تفاعل طراز LLM : يتم إرسال مطالبة ملخصة إلى نموذج LLM ، والذي يعيد لاحقًا ملخصًا موجزًا ​​للمشاركة. هذا الملخص يلتقط جوهر محتوى Reddit.

واجهة الدردشة و Q&A التفاعلية

يوفر التطبيق واجهة دردشة حيث يمكن للمستخدمين التفاعل مع النظام وطرح أسئلة حول منشور Reddit. تحتوي واجهة الدردشة على بعض الميزات المميزة:

• معالجة الأسئلة السياقية : عندما يسأل المستخدم سؤالًا ، يقوم النظام بتضمين السؤال ويبحث في قاعدة بيانات المتجه لتشابه السياق. إنه يجلب السياق ذي الصلة ويؤدي إلى سؤال المستخدم كجزء من المطالبة.

• توليد الإجابة : ثم يتم إرسال هذه المطالبة الممتدة إلى طراز LLM ، الذي ينتج إجابة مفصلة ودرمية للسياق.

• صقل النماذج النموذجية : لضمان أن تكون الإجابات على طراز Reddit ، يمكن ضبط نموذج LLM مع أزواج Reddit للأسئلة ، مما يقدم ردود تتماشى مع لغة مجتمع Reddit.

اختيار النموذج

تتمثل إحدى الميزات الفريدة للتطبيق في قدرة المستخدمين على اختيار نموذج اللغة الذين يرغبون في استخدامه. يتم تسهيل هذه المرونة بواسطة Langchain ، وهي أداة تسمح للتطبيق بالتبديل بسلاسة بين نماذج LLM المختلفة وفقًا لتفضيلات المستخدم.

ابدء

1. مفتاح API Openai: ستحتاج إلى مفتاح Openai API لاستخدام نماذج GPT. أضف المفتاح إلى ملف .env.example.
2. مفتاح Pinecone API: أضف مفتاح Pinecone API إلى ملف .env.example.
3. احصل على بيانات اعتماد Reddit Praw كما هو مدرج في ملف .env.example.
4. قم بتنفيذ الكود التالي للبدء.

cp .env.example .env
docker build -t reddit-gpt .
docker run -d --env-file .env -p 8501:8501 reddit-gpt