primeqa
v0.15.2-alpha: Merge pull request #508 from primeqa
พื้นที่เก็บข้อมูลที่สำคัญสำหรับคำถามหลายภาษาที่ทันสมัยตอบรับการวิจัยและพัฒนา
Primeqa เป็นพื้นที่เก็บข้อมูลโอเพนซอร์สสาธารณะที่ช่วยให้นักวิจัยและนักพัฒนาสามารถฝึกอบรมแบบจำลองที่ทันสมัยสำหรับการตอบคำถาม (QA) ด้วยการใช้ PrimeQa นักวิจัยสามารถทำซ้ำการทดลองที่ระบุไว้ในกระดาษที่ตีพิมพ์ในการประชุม NLP ล่าสุดในขณะเดียวกันก็เพลิดเพลินกับความสามารถในการดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมมาก่อน (จากที่เก็บออนไลน์) และเรียกใช้ข้อมูลที่กำหนดเอง PrimeQa ถูกสร้างขึ้นที่ด้านบนของชุดเครื่องมือ Transformers และใช้ชุดข้อมูลและรุ่นที่ดาวน์โหลดได้โดยตรง
โมเดลภายใน PrimeQa รองรับการตอบคำถามแบบครบวงจร Primeqa ตอบคำถามผ่าน
ตัวอย่างบางส่วนของโมเดล (ใช้ได้กับชุดข้อมูลมาตรฐาน) ที่รองรับคือ:
Primeqa อยู่ในอันดับต้น ๆ ของกระดานผู้นำหลายแห่ง: Xor-Tydi, Tydiqa-Main, Ott-Qa และ Hybridqa
เอกสารการติดตั้ง
# cd to project root
# If you want to run on GPU make sure to install torch appropriately
# E.g. for torch 1.11 + CUDA 11.3:
pip install ' torch~=1.11.0 ' --extra-index-url https://download.pytorch.org/whl/cu113
# Install as editable (-e) or non-editable using pip, with extras (e.g. tests) as desired
# Example installation commands:
# Minimal install (non-editable)
pip install .
# GPU support
pip install .[gpu]
# Full install (editable)
pip install -e .[all]โปรดทราบว่าการพึ่งพา (ระบุไว้ใน setup.py) ถูกตรึงเพื่อให้ประสบการณ์ที่มั่นคง เมื่อติดตั้งจากแหล่งที่มาเหล่านี้สามารถแก้ไขได้อย่างไรก็ตามสิ่งนี้ไม่ได้รับการสนับสนุนอย่างเป็นทางการ
หมายเหตุ: ในหลาย ๆ สภาพแวดล้อมไลบรารี FAISS ที่ใช้ Conda-Forge ทำงานได้ดีกว่าห้องพักเริ่มต้นที่ติดตั้งด้วย PIP ในการติดตั้งไลบรารี FAISS จาก Conda-Forge ให้ใช้ขั้นตอนต่อไปนี้:
conda install -c conda-forge faiss=1.7.0 faiss-gpu=1.7.0
setup.py ลบบรรทัดที่เกี่ยวข้องกับ FAISS: "faiss-cpu~=1.7.2": ["install", "gpu"],
"faiss-gpu~=1.7.2": ["gpu"],
pip install ตามที่อธิบายไว้ด้านบนJava 11 เป็นสิ่งจำเป็นสำหรับการเรียกคืน BM25 ติดตั้ง Java ดังนี้:
conda install -c conda-forge openjdk=11มีการโพสต์บล็อกหลายครั้งโดยสมาชิกของชุมชนโอเพ่นซอร์สเกี่ยวกับวิธีการใช้ PrimeQa สำหรับความต้องการของพวกเขา อ่านบางส่วน:
เอกสารทดสอบ
ในการเรียกใช้การทดสอบหน่วยคุณต้องติดตั้ง PrimeQa ก่อน ตรวจสอบให้แน่ใจว่าติดตั้งด้วย [tests] หรือ [all] พิเศษจาก PIP
จากนั้นคุณสามารถเรียกใช้การทดสอบผ่าน pytest เช่น:
pytest --cov PrimeQA --cov-config .coveragerc tests/สำหรับข้อมูลเพิ่มเติมโปรดดู:
| ส่วน | คำอธิบาย |
|---|---|
| - เอกสาร | เอกสารและบทเรียน API เต็มรูปแบบ |
| - ทัวร์ด่วน: จุดเข้าสำหรับ PrimeQa | จุดเริ่มต้นที่แตกต่างกันสำหรับ PrimeQa: การดึงข้อมูล, การอ่านความเข้าใจ, TableQa และการสร้างคำถาม |
| - บทเรียน: สมุดบันทึก Jupyter | สมุดบันทึกเพื่อเริ่มงาน QA |
| - สมุดบันทึก GPT-3/Chatgpt Reader | สมุดบันทึกที่จะเริ่มต้นด้วยส่วนประกอบเครื่องอ่าน GPT-3/CHATGPT |
| ตัวอย่าง: การใช้ PrimeQa กับงาน QA ต่างๆ | ตัวอย่างสคริปต์สำหรับโมเดล PrimeQa ที่ปรับแต่งอย่างละเอียดในช่วงของงาน QA |
| - การแชร์และอัปโหลดแบบจำลอง | อัปโหลดและแบ่งปันโมเดลที่ปรับจูนกับชุมชน |
| ✅คำขอดึง | คำขอ Primeqa Pull |
| - สร้างเอกสาร | เอกสารทำงานอย่างไร |
| - Microservice บริการ Orchestrator | รหัสพิสูจน์แนวคิดสำหรับ PrimeQa Orchestrator Microservice |
| เครื่องมือ UI | สาธิต UI |
 | Stanford NLP |  | มหาวิทยาลัยอิลลินอยส์ |
 | มหาวิทยาลัยสตุตการ์ต |  | University of Notre Dame |
 | มหาวิทยาลัยรัฐโอไฮโอ |  | มหาวิทยาลัย Carnegie Mellon |
 | มหาวิทยาลัยแมสซาชูเซตส์ |  | IBM Research |
