JSTOR Semantic Searchダウンロード-JSTOR JSTOR Semantic Searchソースコードのダウンロード

JSTOR Semantic Search

その他のソースコード

1.0.0

ダウンロード

JSTORセマンティック検索‍♀️

JSTORオープンソース記事用に構築されたフルスタックベクトル検索 - キーワードではなく、意味による検索！

バックエンドは、Pinecone Vector Database、埋め込み用のHuggingface/Transformers、およびメタデータフィルターの有無にかかわらずクエリを作成するための2つのエンドポイントを備えたFastAPI APIで作成されています。 React.jsで作られたフロントエンド

プロジェクトの概要

このプロジェクトは、JSTORの公式データパートナーConstellateから構築されたローカルデータセットで、完全なデータダウンロードオプションからJSONL形式で使用されることを目的としています。

現在、記事のタイトルと字幕が組み合わされて組み込まれており、セマンティックな類似性がクエリからこれらの組み込みタイトルと字幕まで測定されます。記事に関するより詳細な情報は、メタデータの一部として返されます。

APIおよびFrontend Webアプリを介して、目的のトップKの結果を渡すことができ、Pineconeメタデータクエリ言語を使用してフィルター辞書の形で日付やページ数などのフィルターも渡すことができます。

APIを介して、メタデータフィルターの辞書は、Pineconeに渡すことができる辞書形式を直接反映する必要がありますが、Webアプリはキーの追加を処理し、ユーザーはフォームで値のみを入力できます。

セットアップと使用方法は？

バックエンドのセットアップ？

Pythonと依存関係のインストール？

このプロジェクトを実行するためのPythonと依存関係を使用してセットアップするには：

Pythonがインストールされていない場合は、このリンクからインストールしてください。
このリポジトリをクローンしてから、それがあるディレクトリと/バックエンドフォルダーに移動します。
以下を使用して仮想環境を設定します。
$ python -m venv <evironment_name>
仮想環境をアクティブにします。 Windows CMDの場合、これは以下を使用して行われます。
$ <evironment_name>Scriptsactivate.bat
このリンクは、他のオペレーティングシステムやシェルタイプに対してこれを行う方法を示しています。
以下を使用して依存関係をインストールします。
$ pip install -r requirements.txt
Pythonファイルの1つを使用して実行できます。
$ python <filename>.py

Pineconeセットアップ？

必要に応じて、Webサイトで松ぼっくりアカウントを作成します。各ユーザーは一度に1つの無料インデックスを作成でき、このインデックスを何度も削除およびリメイクできます。
「APIキー」ページからAPIキーと環境を取得します
これらを次の形式で、バックエンドフォルダーの.ENVと呼ばれるファイルに保存します。
```
 PINECONE_API_KEY='<YOUR API KEY>'
PINECONE_ENV='<YOUR ENVIRONMENT>'
```

データを追加しますか？

Pineconeインデックスにデータを追加するには：

最初にConstellateからデータセットまたは複数のデータセットをダウンロードします。各データセットにあるドキュメントの数には制限がありますが、複数を引き出すことができます。
データを抽出し、このクローン化されたプロジェクト、理想的には /backendディレクトリのデータフォルダー内のディレクトリに移動します。
db_writerr.pyファイルからdbwriterクラスのインスタンスを作成し、コンストラクターのpaths_to_dataのリストを更新して、データファイルを配置する場所に一致させ、index_nameをPineconeインデックスの名前に更新します（デフォルトでは「JSTOR-Semantic-Search」）。
新しいDBWriterインスタンスの.run（）メソッドを呼び出します。

これにより、データセット内のすべてのアイテムがPineconeインデックスに埋め込まれ、登録されます。これにより、現在のインデックスが追加されるため、新しいデータのみがインデックス内にある場合は、このリポジトリ内のDBClientクラスの._DELETE_INDEX（）メソッドで最初にインデックスを削除する必要があります。

APIを実行しますか？

/バックエンドフォルダーから、APIは次のいずれかで実行できます。

$ uvicorn main:appですが、端末にCTRL + Cで簡単にシャットダウンできます
$ uvicorn main:app --reloadは、開発の変更でAPIを更新しますが、Ctrl + Cでシャットダウンしません

APIエンドポイント

APIには2つのエンドポイントがあります。1つは簡単なクエリのみの検索用で、もう1つはクエリとメタデータフィルターを使用した検索用です。ただし、フィルターが処理される方法は、フィルタリングされたエンドポイントが空のDICTで動作することを意味し、したがってWebアプリから呼び出される唯一のエンドポイントです。

GET /api/v1/query/{query_string}/{top_n}

2つのパスパラメーターを取得します。 -query_string（データ型：文字列） - ユーザーが望む結果と意味的に類似するメイン検索クエリ-TOP_N（データ型：整数） - 返す一致数

POST /api/v1/filter-query/{query_string}/{top_n}

同じ2つのパスパラメーターを取得します。 -query_string（データ型：文字列） - ユーザーが望む結果と意味的に類似するメイン検索クエリ-TOP_N（データ型：整数） - 返すマッチ数

さらに、リクエスト本体のフィルターdictなど：

{
    "document_type" : { "$eq" : " document " },
    "word_count" : { "$gte" : 2000 }
}

どちらのエンドポイントも同じタイプの応答を返し、主な結果は「一致」キー内の配列として、たとえば次のようです。

{
  "matches" : [
    {
      "id" : " 123-abc-321 " ,
      "score" : 18.792 ,
      "values" : [],
      "metadata" : {
        "categories" : [
          " Language & Literature " ,
          " Humanities "
        ],
        "creator" : [
          " A. Creator "
        ],
        "date_published" : " 2020/04/01 " ,
        "document_sub_type" : " " ,
        "document_type" : " document " ,
        "issue_number" : " 1 " ,
        "language" : [
          " eng "
        ],
        "page_count" : 10.0 ,
        "parent_publication" : " A publication " ,
        "publisher" : " A publisher " ,
        "sub_title" : " " ,
        "title" : " An example " ,
        "url" : " http://www.jstor.org/stable/1234 " ,
        "volume_number" : " 2123 " ,
        "word_count" : 123.0
      }
    }
  ],
  "namespace" : " "
}