JSTOR Semantic Search下载JSTOR Semantic Search源代码下载

JSTOR Semantic Search

其他源码

1.0.0

下载

JSTOR语义搜索‍♀️

完整的堆栈矢量搜索是为JSTOR开源文章构建的 - 按含义而不是关键字搜索！

使用Pinecone Vector数据库，嵌入式的拥抱面/变压器和具有两个端点的FastAPI API制成的后端，可在有或没有元数据过滤器的情况下进行查询。用react.js制成的前端

项目摘要

该项目旨在与JSTOR官方数据合作伙伴星座构建的本地数据集一起使用JSONL格式从完整的数据下载选项中使用。

目前，将文章的标题和字幕组合在一起和嵌入，并从查询到这些嵌入式标题和字幕的语义相似性测量。有关文章的更多详细信息作为元数据的一部分返回。

通过API和Frontend Web应用程序，可以通过Pinecone Metadata查询语言以滤波器词典的形式传递所需的最高k数量结果，并且也可以以滤波器字典的形式传递诸如日期和页面计数之类的过滤器。

通过API，元数据滤波器的字典应直接反映可以传递给Pinecone的字典格式，尽管Web应用程序将处理添加键，并且用户可以将值仅以表单为单方。

设置以及如何使用？

后端设置？

Python和依赖性安装？

要与Python和依赖关系建立，以运行此项目：

如果未安装Python，请从此链接中安装它。
克隆此存储库，然后导航到其所在目录和/后端文件夹。
使用以下方式设置虚拟环境：
$ python -m venv <evironment_name>
激活虚拟环境。对于Windows CMD，这是使用以下方式完成的：
$ <evironment_name>Scriptsactivate.bat
此链接显示了如何针对其他操作系统和外壳类型执行此操作。
使用以下安装依赖项：
$ pip install -r requirements.txt
可以使用以下方式运行python文件之一：
$ python <filename>.py

Pinecone设置？

如果需要在他们的网站上创建Pinecone帐户。每个用户一次可以创建一个免费的索引，您可以根据需要删除和重新制作此索引。
从“ API键”页面获取API密钥和环境
将这些保存在后端文件夹中的名为.env的文件中，以以下格式：
```
 PINECONE_API_KEY='<YOUR API KEY>'
PINECONE_ENV='<YOUR ENVIRONMENT>'
```

添加数据？

为您的Pinecone索引添加数据：

首先从星座下载数据集或多个数据集。每个数据集中可以使用多少个文档，但是您可以拉多个文档。
提取您的数据并将其移至此克隆项目中的目录中，理想情况下是 /后端目录中的A /数据文件夹。
从db_writerr.py文件创建一个dbwriter类的实例，在构造函数中更新paths_to_data列表以匹配您放置数据文件的位置，并将index_name更新为Pinecone index的名称（默认为'jStor-emantic-search'的名称）。
调用新DBWriter实例的.run（）方法。

这应该嵌入并将数据集中的所有项目嵌入到您的松果索引中。请注意，这增加了当前索引，因此，如果仅希望新数据在索引内，则应首先删除索引，该索引可以使用该存储库中DBClclient类的._delete_index（）方法完成。

运行API？

从 /后端文件夹中，API可以由任何一个运行：

$ uvicorn main:app不会在任何开发更改中更新API，但可以在终端中使用CTRL + C轻松关闭API
$ uvicorn main:app --reload ，它将通过任何开发更改更新API，但不会使用CTRL + C关闭

API端点

API有两个端点，一个用于仅进行简单查询搜索，另一个用于查询加上元数据过滤器的搜索。但是，处理过滤器的方式意味着滤波后的端点将与空的dict一起使用，因此是从Web应用程序中调用的唯一端点。

GET /api/v1/query/{query_string}/{top_n}

采用两个路径参数： - query_string（数据类型：字符串） - 应该在语义上与用户想要的结果相似的主要搜索查询 - top_n（数据类型：整数） - 要返回的匹配数量

POST /api/v1/filter-query/{query_string}/{top_n}

采用相同的两个路径参数： - query_string（数据类型：字符串） - 应该与用户想要的结果相似的主要搜索查询 - top_n（数据类型：整数） - 要返回的匹配数

加上请求主体中的过滤器命令，例如：

{
    "document_type" : { "$eq" : " document " },
    "word_count" : { "$gte" : 2000 }
}

两个端点返回相同类型的响应，主要结果是“匹配”键中的数组，例如：

{
  "matches" : [
    {
      "id" : " 123-abc-321 " ,
      "score" : 18.792 ,
      "values" : [],
      "metadata" : {
        "categories" : [
          " Language & Literature " ,
          " Humanities "
        ],
        "creator" : [
          " A. Creator "
        ],
        "date_published" : " 2020/04/01 " ,
        "document_sub_type" : " " ,
        "document_type" : " document " ,
        "issue_number" : " 1 " ,
        "language" : [
          " eng "
        ],
        "page_count" : 10.0 ,
        "parent_publication" : " A publication " ,
        "publisher" : " A publisher " ,
        "sub_title" : " " ,
        "title" : " An example " ,
        "url" : " http://www.jstor.org/stable/1234 " ,
        "volume_number" : " 2123 " ,
        "word_count" : 123.0
      }
    }
  ],
  "namespace" : " "
}