medicalrag

---

القطع الطبية (الجيل المسبق للاسترجاع) قاعدة المعرفة

يبني هذا المشروع قاعدة معارف جيل (RAG) للتراجع الطبي باستخدام Next.js و Langchain و Pinecone كقاعدة بيانات المتجه. يقوم النظام بمعالجة المستندات الطبية (على سبيل المثال ، ملفات PDF) ويخزن تضميناتها في قاعدة بيانات المتجهات ، مما يتيح بحثًا فعالًا في التشابه لاسترداد المعلومات ذات الصلة استجابةً لاستعلامات المستخدم.

جدول المحتويات

• ملخص
• سمات
• التقنيات
• الإعداد والتركيب
• إعدادات
• الاستخدام
• هيكل المشروع
• استكشاف الأخطاء وإصلاحها

ملخص

يوفر هذا التطبيق واجهة سهلة الاستخدام لتحميل المستندات الطبية مثل PDFs ، وتحويلها إلى قطع ، وتخزين تضميناتها في قاعدة بيانات المتجهات (Pinecone). يستخدم النظام Langchain لتكوين المستندات وعانق نماذج تضمين Face لتوليد التضمينات. يمكن البحث في هذه التضمينات بكفاءة لاسترداد المعلومات ذات الصلة من قواعد المعرفة الطبية.

سمات

• تحميل ومعالجة المستندات الطبية (PDF ، الملفات النصية).
• قطعة كبيرة وثائق وإنشاء تضمينات ناقلات باستخدام نموذج قائم على ONNX .
• تخزين التضمينات في Pinecone للبحث في التشابه الفعال.
• شريط التقدم لتتبع عملية التضمين.
• يمكن تمديدها بسهولة لتشمل المزيد من المستندات الطبية وتعزيز قاعدة المعرفة.

التقنيات

• next.js : لبناء طرق الواجهة الأمامية و API.
• لانجشين : لتكسير المستندات والتضمين.
• Pinecone : قاعدة بيانات المتجهات لتخزين تضمينات المستند.
• معانقة محولات الوجه : لتوليد التضمينات باستخدام النماذج التي تم تدريبها مسبقًا.
• TypeScript : لنوع السلامة.
• Shadcn UI : لبناء مكونات واجهة المستخدم.

الإعداد والتركيب

1. استنساخ المستودع

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2. تثبيت التبعيات

تأكد من تثبيت Node.js (الإصدار 18 أو أعلى). ثم قم بتثبيت الحزم المطلوبة:

npm install

3. متغيرات البيئة

قم بإنشاء ملف .env في جذر المشروع وأضف متغيرات البيئة التالية:

PINECONE_API_KEY=your_pinecone_api_key

يمكنك الحصول على مفتاح Pinecone API عن طريق التسجيل في Pinecone.

4. إعداد pinecone

• تسجيل الدخول إلى pinecone وإنشاء فهرس.
• استخدم 1024 كبعد للتضمينات ، وتشابه جيب التمام كمقياس.

5. قم بتشغيل التطبيق

بعد الإعداد ، قم بتشغيل خادم التطوير:

npm run dev

سيتم تشغيل تطبيقك الآن على http://localhost:3000 .

إعدادات

التكوينات التالية ضرورية للتطبيق:

• اسم فهرس Pinecone : اسم الفهرس الذي يتم فيه تخزين تضمينات المستند.
• مساحة الاسم : يمكنك تخزين مجموعات مستندات مختلفة في Pinecone تحت مساحات أسماء منفصلة.

يمكنك تحديد هذه في واجهة المستخدم قبل تحميل الملفات.

الاستخدام

1. تحميل المستندات

• افتح التطبيق على http://localhost:3000 .
• حدد ملفات PDF أو الملفات النصية من نظامك المحلي.
• حدد اسم الفهرس ومساحة الاسم لتخزين التضمينات.
• انقر فوق زر التحميل لبدء عملية التضمين.

سيتتبع شريط التقدم العملية ، وسيتم دفع التضمينات إلى قاعدة بيانات Pinecone.

2. عرض المتجهات المخزنة

بمجرد معالجة التضمينات وتخزينها ، يمكنك عرضها في لوحة معلومات Pinecone.

3. البحث عن التضمينات (ميزة المستقبل)

يمكنك تمديد التطبيق عن طريق إنشاء واجهة بحث للاستعلام عن التضمينات المخزنة واسترداد المعلومات ذات الصلة.

هيكل المشروع

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

استكشاف الأخطاء وإصلاحها

1. جلب الأخطاء

إذا واجهت الخطأ:

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

تأكد من تشغيل Node.js الإصدار 18+ ، والذي يوفر وظيفة fetch عالمية. يمكنك تحديث Node.js باستخدام:

nvm install 18
nvm use 18

2. مفتاح واجهة برمجة التطبيقات المفقودة

إذا لم يتم دفع المتجهات إلى Pinecone ، فتأكد من تكوين مفتاح API الخاص بك بشكل صحيح في ملف .env .

3. معالجة الملفات الكبيرة

بالنسبة لمستندات PDF الكبيرة ، قد تستغرق عملية التضمين وقتًا. دعها تعمل حتى يظهر شريط التقدم الانتهاء.

---