dspy arxiv

dspy-arxiv

探索使用DSPY從PDF中提取功能的使用。該存儲庫提供了一個簡單的示例，說明如何使用此框架來預測Arxiv的計算機科學紙的子類別。

建議的安裝

1. 克隆這個存儲庫。
2. 創建虛擬環境。
3. 從unignts.txt安裝依賴項。
4. 將虛擬環境作為jupyter內核安裝。

構建數據集和數據庫

該數據集是從計算機科學類別中選擇的150份ARXIV論文（元數據 + PDF）。

構建數據庫：

1. 將JSON文件從Kaggle下載到dspy-arxiv目錄中。
2. 將文件重命名為arxiv.json 。
3. 運行筆記本data.ipynb從上到下。

最後，您應該有兩個目錄：

• DSPY-ARXIV/數據庫
  • arxiv.json-僅具有計算機科學類別的原始JSON文件
• DSPY-ARXIV/數據集
  • 火車集-50個帶有元數據 +文本用於“訓練”的JSON文件
  • Valset -50個帶有元數據 +文本用於“驗證”的JSON文件
  • 測試集-50個帶有元數據 +文本用於“測試”的JSON文件

如果要在管道中添加抹布，則將數據放在矢量數據庫中以進行快速檢索很方便。查看Database.py ，以獲取一個示例腳本以設置Chromadb並用Arxiv Metadata填充它。

功能提取

筆記本功能。 IPYNB可以看作是一個簡單的教程，講述瞭如何使用DSPY來編程提示LLM進行功能提取（在這種情況下，預測ARXIV的計算機科學論文的子類別）。

您還可以查看此筆記本產生的幻燈片。