dspy arxiv

dspy-arxiv

Jelajahi penggunaan DSPY untuk mengekstraksi fitur dari PDF. Repositori ini memberikan contoh sederhana tentang cara menggunakan kerangka kerja ini untuk memprediksi sub-kategori makalah ilmu komputer dari ARXIV.

Instalasi yang disarankan

1. Kloning repositori ini.
2. Menciptakan lingkungan virtual.
3. Instal dependensi dari persyaratan.txt .
4. Instal lingkungan virtual sebagai kernel Jupyter.

Bangun Dataset & Basis Data

Dataset adalah pilihan 150 makalah ARXIV (metadata + pdf) dari kategori ilmu komputer.

Untuk membangun database:

1. Unduh file JSON dari Kaggle ke direktori dspy-arxiv .
2. Ubah nama file ke arxiv.json .
3. Jalankan data.ipynb notebook.ipynb dari atas ke bawah.

Pada akhirnya, Anda harus memiliki dua direktori:

• DSPY-ARXIV/Database
  • arxiv.json - File JSON asli dengan hanya kategori ilmu komputer
• DSPY-ARXIV/DATASET
  • Trainset - 50 file json dengan metadata + teks yang digunakan untuk "pelatihan"
  • Valset - 50 file JSON dengan metadata + teks yang digunakan untuk "validasi"
  • Testset - 50 file JSON dengan metadata + teks yang digunakan untuk "pengujian"

Jika Anda ingin menambahkan kain ke dalam pipa, berguna untuk memiliki data dalam database vektor untuk pengambilan cepat. Lihat database.py untuk contoh skrip untuk mengatur chromadb dan mengisinya dengan arxiv metadata.

Fitur ekstraksi

Fitur notebook.ipynb dapat dilihat sebagai tutorial sederhana tentang cara menggunakan DSPY ke LLM yang secara terprogram untuk ekstraksi fitur (dalam hal ini, memprediksi sub-kategori makalah ilmu komputer dari ARXIV).

Anda juga dapat melihat slide yang dihasilkan dari buku catatan ini.