dspy arxiv

dspy-arxiv

PDFSから機能を抽出するためのDSPYの使用を調べてください。このリポジトリは、このフレームワークを使用してArxivのコンピューターサイエンスペーパーのサブカテゴリを予測する方法の簡単な例を提供します。

提案されたインストール

1. このリポジトリをクローンします。
2. 仮想環境を作成します。
3. requistry.txtから依存関係をインストールします。
4. 仮想環境をJupyterカーネルとしてインストールします。

データセットとデータベースを作成します

データセットは、コンピューターサイエンスカテゴリから150のArxiv論文（メタデータ + PDF）の選択です。

データベースを構築するには：

1. KaggleからJSONファイルをdspy-arxivディレクトリにダウンロードします。
2. ファイルの名前をarxiv.jsonに変更します。
3. ノートブックdata.ipynb上から下に実行します。

最後に、2つのディレクトリが必要です。

• DSPY-ARXIV/データベース
  • arxiv.json-コンピューターサイエンスカテゴリのみを備えた元のJSONファイル
• dspy-arxiv/dataset
  • Trainset -50のJSONファイル「トレーニング」に使用されるメタデータ +テキスト
  • valset -50のJSONファイル「検証」に使用されるメタデータ +テキストを使用します
  • テストセット-50 jsonファイル「テスト」に使用されるメタデータ +テキストを使用します

PipelineにRAGを追加する場合は、高速検索のためにVectorデータベースにデータを用意するのが便利です。 ChromAdbをセットアップしてArxivメタデータを入力するためのサンプルスクリプトについては、データベースをご覧ください。

特徴抽出

Notebook feature.ipynbは、DSPYを使用して機能抽出のためにLLMをプログラム的に促す方法に関する簡単なチュートリアルと見ることができます（この場合、ARXIVのコンピューターサイエンスペーパーのサブカテゴリを予測します）。

また、このノートブックから生成されたスライドをご覧ください。