dspy arxiv

dspy-arxiv

探索使用DSPY从PDF中提取功能的使用。该存储库提供了一个简单的示例，说明如何使用此框架来预测Arxiv的计算机科学纸的子类别。

建议的安装

1. 克隆这个存储库。
2. 创建虚拟环境。
3. 从unignts.txt安装依赖项。
4. 将虚拟环境作为jupyter内核安装。

构建数据集和数据库

该数据集是从计算机科学类别中选择的150份ARXIV论文（元数据 + PDF）。

构建数据库：

1. 将JSON文件从Kaggle下载到dspy-arxiv目录中。
2. 将文件重命名为arxiv.json 。
3. 运行笔记本data.ipynb从上到下。

最后，您应该有两个目录：

• DSPY-ARXIV/数据库
  • arxiv.json-仅具有计算机科学类别的原始JSON文件
• DSPY-ARXIV/数据集
  • 火车集-50个带有元数据 +文本用于“训练”的JSON文件
  • Valset -50个带有元数据 +文本用于“验证”的JSON文件
  • 测试集-50个带有元数据 +文本用于“测试”的JSON文件

如果要在管道中添加抹布，则将数据放在矢量数据库中以进行快速检索很方便。查看Database.py ，以获取一个示例脚本以设置Chromadb并用Arxiv Metadata填充它。

功能提取

笔记本功能。IPYNB可以看作是一个简单的教程，讲述了如何使用DSPY来编程提示LLM进行功能提取（在这种情况下，预测ARXIV的计算机科学论文的子类别）。

您还可以查看此笔记本产生的幻灯片。