stapi

Stapi：句子变形金刚API

OpenAI兼容嵌入API，使用句子变压器进行嵌入

容器图像： ghcr.io/substratusai/stapi

通过添加星星来支持该项目！ ❤️
加入我们的不和谐：

安装

有2种安装Stapi的选项：Docker或Local Python安装。

安装（Docker）

使用Docker在本地运行API：

docker run -p 8080:8080 -d ghcr.io/substratusai/stapi

安装（本地Python）

使用Python在本地安装并运行API服务器。仅支持Python 3.9、3.10和3.11。

克隆回购：

git clone https://github.com/substratusai/stapi
cd stapi

安装依赖项：

pip3 install -r requirements.txt

运行网络服务器：

uvicorn main:app --port 8080 --reload

用法

安装Stapi后，您可以通过http：// localhost访问API文档：8080/DOCS

您也可以使用卷曲来获取嵌入：

curl http://localhost:8080/v1/embeddings 
  -H " Content-Type: application/json " 
  -d ' {
    "input": "Your text string goes here",
    "model": "all-MiniLM-L6-v2"
  } '

即使是OpenAi Python客户端也可以用来获取嵌入：

 import openai
openai . api_base = "http://localhost:8080/v1"
openai . api_key = "this isn't used but openai client requires it"
model = "all-MiniLM-L6-v2"
embedding = openai . Embedding . create ( input = "Some text" , model = model )[ "data" ][ 0 ][ "embedding" ]
print ( embedding )

支持的模型

句子变形金刚支持的任何模型也应与Stapi一起使用。这是句子变形金刚可用的预训练模型的列表。

默认情况下，使用并在启动上使用了all-MiniLM-L6-v2模型。您可以通过设置MODEL环境变量来预加载任何支持的模型。

例如，如果您想预加载multi-qa-MiniLM-L6-cos-v1 ，则可以像这样调整docker run命令：

docker run -e MODEL=multi-qa-MiniLM-L6-cos-v1  -p 8080:8080 -d 
  ghcr.io/substratusai/sentence-transformers-api

请注意，Stapi只会服务于预装的模型。您应该创建另一个Stapi实例，以服务另一个模型。简单地忽略了作为请求主体的一部分的model参数。

集成

使用其他各种工具，很容易利用嵌入式服务器，因为API与OpenAI嵌入API兼容。

编织

您可以使用weaviate text2vec-openai模块，并使用stapi openai兼容端点。

在您的编织架构中，使用以下模块配置，假设Stapi端点可在http://stapi:8080 ：

  "vectorizer": "text2vec-openai",
  "moduleConfig": {
    "text2vec-openai": {
      "model": "davinci",
      "baseURL": "http://stapi:8080"
    }
  }

对于OpenAI API键，您可以使用任何密钥，不会检查它。

阅读《史蒂普编织指南》以获取更多详细信息。

创造者

随时与我们任何人联系：

• Sam Stoelinga又名Samos123
• 尼克·斯托格纳