primeqa
v0.15.2-alpha: Merge pull request #508 from primeqa
المستودع الرئيسي للأسئلة المتعددة اللغات التي تجيب على البحث والتطوير.
PrimeQA هو مستودع عام مفتوح المصدر يمكّن الباحثين والمطورين من تدريب النماذج الحديثة للإجابة على الأسئلة (QA). باستخدام PrimeQA ، يمكن للباحث تكرار التجارب الموضحة في ورقة نشرت في أحدث مؤتمر NLP مع الاستمتاع أيضًا بالقدرة على تنزيل النماذج التي تم تدريبها مسبقًا (من مستودع عبر الإنترنت) وتشغيلها على بياناتها المخصصة. تم تصميم PrimeQA فوق مجموعة أدوات Transformers ويستخدم مجموعات البيانات والموديلات التي يمكن تنزيلها مباشرة.
تدعم النماذج داخل PrimeQA الإجابة على الأسئلة الشاملة. يجيب PrimeQa على الأسئلة عبر
بعض الأمثلة على النماذج (القابلة للتطبيق على مجموعات البيانات القياسية) المدعومة هي:
يقع PrimeQa على قمة العديد من المتصدرين: Xor-Tydi و Tydiqa-Main و OTT-QA و Hybridqa.
مستند التثبيت
# cd to project root
# If you want to run on GPU make sure to install torch appropriately
# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113
# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:
# Minimal install (non-editable)
pip install .
# GPU support
pip install .[gpu]
# Full install (editable)
pip install -e .[all]يرجى ملاحظة أن التبعيات (المحددة في setup.py) مثبتة لتوفير تجربة مستقرة. عند التثبيت من المصدر ، يمكن تعديل هذه ، ولكن هذا لا يتم دعمه رسميًا.
ملاحظة: في العديد من البيئات ، تؤدي مكتبات FAISS المستندة إلى Conda-Forge أفضل بكثير من المكتبات الافتراضية المثبتة مع PIP. لتثبيت مكتبات FAISS من كوندا فورج ، استخدم الخطوات التالية:
conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0
setup.py ، قم بإزالة الخطوط المتعلقة بـ FAISS: "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],
pip install كما هو موضح أعلاه.Java 11 مطلوب لاسترجاع BM25. تثبيت java على النحو التالي:
conda install -c conda-forge openjdk=11هناك العديد من منشورات المدونة من قبل أعضاء مجتمع المصدر المفتوح حول كيفية استخدامهم PrimeQA لتلبية احتياجاتهم. اقرأ بعضهم:
اختبار المستند
لتشغيل اختبارات الوحدة تحتاج أولاً إلى تثبيت PrimeQA. تأكد من التثبيت مع [tests] أو [all] الإضافات من PIP.
من هناك يمكنك إجراء الاختبارات عبر Pytest ، على سبيل المثال:
pytest --cov PrimeQA --cov-config .coveragerc tests/لمزيد من المعلومات ، راجع:
| قسم | وصف |
|---|---|
| ؟ الوثائق | وثائق API الكاملة والدروس التعليمية |
| ؟ جولة سريعة: نقاط دخول لـ PrimeQA | نقاط دخول مختلفة لـ PrimeQA: استرجاع المعلومات ، فهم القراءة ، TableQA وتوليد الأسئلة |
| ؟ البرامج التعليمية: دفاتر Jupyter | أجهزة الكمبيوتر المحمولة للبدء في مهام ضمان الجودة |
| ؟ GPT-3/Chatgpt Reader Notebooks | أجهزة الكمبيوتر المحمولة للبدء مع مكونات قارئ GPT-3/ChatGPT |
| أمثلة: تطبيق PrimeQA على مهام ضمان الجودة المختلفة | مثال على البرامج النصية لنماذج صياغة الأداء على مجموعة من مهام ضمان الجودة |
| ؟ مشاركة النماذج وتحميلها | تحميل ومشاركة النماذج التي تم ضبطها مع المجتمع |
| ✅ طلب سحب | طلب سحب primeqa |
| ؟ توليد الوثائق | كيف تعمل الوثائق |
| ؟ خدمة Orchestrator Prest Microservice | رمز إثبات المفهوم لخدمة الأوركستور الأوركستور primeqa |
| أدوات واجهة المستخدم | Demo UI |
 | ستانفورد NLP |  | جامعة إلينوي |
 | جامعة شتوتغارت |  | جامعة نوتردام |
 | جامعة ولاية أوهايو |  | جامعة كارنيجي ميلون |
 | جامعة ماساتشوستس |  | IBM Research |
