dspy arxiv

DSPY-ARXIV

استكشف استخدام DSPY لاستخراج ميزات من PDF. يوفر هذا المستودع مثالًا بسيطًا على كيفية استخدام هذا الإطار للتنبؤ بالفئة الفرعية لورقة علوم الكمبيوتر من Arxiv.

التثبيت المقترح

1. استنساخ هذا المستودع.
2. إنشاء بيئة افتراضية.
3. تثبيت التبعيات من المتطلبات .
4. تثبيت البيئة الافتراضية باعتبارها kernel jupyter.

بناء مجموعة البيانات وقاعدة البيانات

مجموعة البيانات هي مجموعة مختارة من 150 ورقة Arxiv (بيانات التعريف + PDF) من فئة علوم الكمبيوتر.

لبناء قاعدة البيانات:

1. قم بتنزيل ملف JSON من Kaggle إلى دليل dspy-arxiv .
2. إعادة تسمية الملف إلى arxiv.json .
3. قم بتشغيل data.ipynb من أعلى إلى أسفل.

في النهاية ، يجب أن يكون لديك دليلان:

• DSPY-ARXIV/DATABASE
  • arxiv.json - ملف JSON الأصلي مع فئة علوم الكمبيوتر فقط
• DSPY-ARXIV/DATASET
  • TRAINSET - 50 ملف JSON مع نصوص + نص يستخدم لـ "التدريب"
  • Valset - 50 ملف JSON مع نص البيانات الوصفية + المستخدمة في "التحقق"
  • TestSet - 50 ملف JSON مع نص البيانات التعريفية + المستخدمة في "الاختبار"

إذا كنت ترغب في إضافة خرقة إلى خط الأنابيب ، فمن السهل الحصول على البيانات في قاعدة بيانات متجه لاسترجاعها السريع. تحقق من Database.py للحصول على مثال البرنامج النصي لإعداد ChromadB وملءه باستخدام بيانات تعريف Arxiv.

ميزات استخراج

يمكن اعتبار ميزات الدفتار.

يمكنك أيضًا إلقاء نظرة على الشرائح التي تم إنشاؤها من هذا الكمبيوتر الدفتري.