RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

عامل الذكاء الاصطناعي المحادثة القائم على القطار لاستخراج المعرفة باستخدام Langchain Gemini LLM

في ما ورد أعلاه ، يحتوي Google Colab على رمز مفصل

الجيل المتمثل في الاسترجاع (RAG) هو إطار يجمع بين استرداد المعلومات مع الذكاء الاصطناعي التوليدي. يسمح للمواد باسترداد المعلومات ذات الصلة من المصادر الخارجية أو قواعد البيانات واستخدام تلك البيانات لإنشاء استجابات أكثر دقة وذات صلة بالسياق. من خلال الاستفادة من كل من الاسترجاع والتوليد ، يحسن RAG من دقة وموثوقية نماذج الذكاء الاصطناعى ، وخاصة في توفير المعلومات الحديثة أو التعامل مع الأسئلة المعقدة.

سير العمل

يوفر هذا المشروع مساعد محادثة قائم على الذكاء الاصطناعي يعزز الجيل المتمثل في الاسترجاع (RAG) لاستخراج المعرفة من وثائق PDF. يجمع النظام بين تضمينات النص ، والبحث في المتجهات ، و LLM لتقديم إجابات لأسئلة المستخدم. فيما يلي سير عمل مفصل خطوة بخطوة لكيفية عمل التطبيق:

1. تحميل وثيقة PDF

• يقوم المستخدمون بتحميل ملف PDF من خلال المسار الذي يذكر على دفتر الملاحظات. تتم معالجة الملف الذي تم تحميله لاستخراج النص باستخدام pdfplumber ، مكتبة Python لاستخراج النص من PDFs.

2. استخراج النص

• يستخدم دفتر الملاحظات مكتبة pdfplumber لاستخراج النص الخام من PDF المحمّل. يتم تحليل كل صفحة من المستند ، ويتم إعداد النص الناتج لمزيد من المعالجة.

3. نصوص النص

• يتم تقسيم النص المستخرج إلى أجزاء أصغر باستخدام RecursiveCharacterTextSplitter . هذا يضمن أن المحتوى يمكن إدارته للتضمينات واسترجاعها ، وعادة ما يكون بحجم 500 حرف وتداخل من 50 حرفًا.

4. جيل التضمينات

• يتم تحويل النص المكثف إلى تضمينات عددية باستخدام SpacyEmbeddings . تمثل هذه التضمينات المعنى الدلالي للقطع ، مما يتيح البحث الفعال.

5. متجر المتجهات مع Chroma

• يتم إنشاء قاعدة بيانات متجه باستخدام مكتبة Chroma ، حيث يتم تخزين التضمين. تتيح قاعدة بيانات المتجه استرجاعًا سريعًا وفعالًا للمعلومات ذات الصلة بناءً على استعلامات المستخدم.

6. سلسلة استرجاع المحادثة

• تم إنشاء ConversationalRetrievalChain باستخدام LangChain ، حيث يجمع بين التضمينات المخزنة في Chroma مع المخزن المؤقت للذاكرة المحادثة لتتبع سجل الدردشة والسياق.

7. تفاعل LLM

• يدمج دفتر الملاحظات ChatGoogleGenerativeAI (Google's Gemini LLM) لإنشاء ردود ذات صلة وذكية على أسئلة المستخدم بناءً على قطع النص المسترجعة من متجر Vector.

8. استعلام المستخدم والاستجابة من الذكاء الاصطناعي

• يمكن للمستخدمين إدخال أسئلتهم حول مستند PDF الذي تم تحميله ، ويستجيب النظام عن طريق استرداد الأجزاء الأكثر صلة من متجر المتجهات وإنشاء إجابة باستخدام LLM. يتم الحفاظ على تاريخ المحادثة للسياق.

9. عرض تاريخ المحادثة

• الميزات قسم قابل للتوسيع حيث يمكن للمستخدمين عرض سجل المحادثة. تتيح هذه الشفافية للمستخدمين إعادة النظر في الاستعلامات والاستجابات السابقة ، مما يعزز فهمًا أفضل لسياق وتدفق التفاعل.

تدفق الخرقة في هذه العملية

أهمية

1. استرجاع المعرفة الفعال : من خلال الاستفادة من قوة RAG ، يجمع النظام بين الاسترجاع والتوليد للإجابة على أسئلة محددة بدقة بناءً على محتوى مستندات PDF المحمّلة.

2. قابلية التوسع والمرونة : من خلال قطع النص والتضمينات ، يمكن للتطبيق التعامل مع المستندات الكبيرة مع ضمان استرجاع المعلومات السريعة والدقيقة.

3. AI للمحادثة : تجعل ذاكرة تاريخ المحادثة النظام أكثر تفاعلية ، لأنه يتتبع الأسئلة والأجوبة السابقة ، والحفاظ على السياق على محادثات طويلة.

4. دمج أدوات الذكاء الاصطناعى الحديثة : يوضح هذا المشروع استخدام الأدوات المتقدمة مثل Chroma لتخزين المتجهات ، LangChain لإدارة المحادثة ، و Gemini LLM من Google لتوليد إجابات تشبه الإنسان.