dspy arxiv

dspy-arxiv

สำรวจการใช้ DSPY สำหรับการแยกคุณสมบัติจาก PDF ที่เก็บนี้ให้ตัวอย่างง่ายๆของวิธีการใช้เฟรมเวิร์กนี้เพื่อทำนายหมวดหมู่ย่อยของกระดาษวิทยาศาสตร์คอมพิวเตอร์จาก arxiv

การติดตั้งที่แนะนำ

1. โคลนที่เก็บนี้
2. สร้างสภาพแวดล้อมเสมือนจริง
3. ติดตั้งการพึ่งพาจาก ข้อกำหนด . txt
4. ติดตั้งสภาพแวดล้อมเสมือนจริงเป็นเคอร์เนล Jupyter

สร้างชุดข้อมูลและฐานข้อมูล

ชุดข้อมูล คือการเลือกเอกสาร arxiv 150 รายการ (ข้อมูลเมตา + PDF) จากหมวดวิทยาศาสตร์คอมพิวเตอร์

เพื่อสร้างฐานข้อมูล:

1. ดาวน์โหลดไฟล์ JSON จาก Kaggle ไปยังไดเรกทอรี dspy-arxiv
2. เปลี่ยนชื่อไฟล์เป็น arxiv.json
3. เรียกใช้ notebook data.ipynb จากบนลงล่าง

ในตอนท้ายคุณควรมีสองไดเรกทอรี:

• dspy-arxiv/ฐานข้อมูล
  • arxiv.json - ไฟล์ json ดั้งเดิมที่มีเฉพาะหมวดหมู่วิทยาศาสตร์คอมพิวเตอร์
• ชุดข้อมูล dspy-arxiv/
  • Trainset - 50 ไฟล์ JSON พร้อมข้อมูลเมตา + ข้อความที่ใช้สำหรับ "การฝึกอบรม"
  • Valset - ไฟล์ JSON 50 รายการที่มีข้อมูลเมตา + ข้อความที่ใช้สำหรับ "การตรวจสอบ"
  • Testset - ไฟล์ JSON 50 ไฟล์พร้อมข้อมูลเมตา + ข้อความที่ใช้สำหรับ "การทดสอบ"

หากคุณต้องการเพิ่ม RAG ลงในท่อมันมีประโยชน์ที่จะมีข้อมูลในฐานข้อมูลเวกเตอร์สำหรับการดึงอย่างรวดเร็ว ตรวจสอบ Database.py สำหรับสคริปต์ตัวอย่างเพื่อตั้งค่า Chromadb และเติมด้วย arxiv metadata

คุณสมบัติการสกัด

คุณสมบัติ ของโน้ตบุ๊ก IPYNB สามารถมองเห็นได้อย่างง่าย ๆ เกี่ยวกับวิธีการใช้ DSPY เพื่อให้ LLM พร้อมโปรแกรมสำหรับการแยกฟีเจอร์ (ในกรณีนี้ทำนายหมวดหมู่ย่อยของกระดาษวิทยาศาสตร์คอมพิวเตอร์จาก Arxiv)

นอกจากนี้คุณยังสามารถดูสไลด์ที่สร้างขึ้นจากสมุดบันทึกนี้