stapi下載 - stapi源代碼下載

stapi

其他源碼

1.0.0

下載

Stapi：句子變形金剛API

OpenAI兼容嵌入API，使用句子變壓器進行嵌入

容器圖像： ghcr.io/substratusai/stapi

通過添加星星來支持該項目！ ❤️
加入我們的不和諧：

安裝

有2種安裝Stapi的選項：Docker或Local Python安裝。

安裝（Docker）

使用Docker在本地運行API：

docker run -p 8080:8080 -d ghcr.io/substratusai/stapi

安裝（本地Python）

使用Python在本地安裝並運行API服務器。僅支持Python 3.9、3.10和3.11。

克隆回購：

git clone https://github.com/substratusai/stapi
cd stapi

安裝依賴項：

pip3 install -r requirements.txt

運行網絡服務器：

uvicorn main:app --port 8080 --reload

用法

安裝Stapi後，您可以通過http：// localhost訪問API文檔：8080/DOCS

您也可以使用捲曲來獲取嵌入：

curl http://localhost:8080/v1/embeddings 
  -H " Content-Type: application/json " 
  -d ' {
    "input": "Your text string goes here",
    "model": "all-MiniLM-L6-v2"
  } '

即使是OpenAi Python客戶端也可以用來獲取嵌入：

 import openai
openai . api_base = "http://localhost:8080/v1"
openai . api_key = "this isn't used but openai client requires it"
model = "all-MiniLM-L6-v2"
embedding = openai . Embedding . create ( input = "Some text" , model = model )[ "data" ][ 0 ][ "embedding" ]
print ( embedding )

支持的模型

句子變形金剛支持的任何模型也應與Stapi一起使用。這是句子變形金剛可用的預訓練模型的列表。

默認情況下，使用並在啟動上使用了all-MiniLM-L6-v2模型。您可以通過設置MODEL環境變量來預加載任何支持的模型。

例如，如果您想預加載multi-qa-MiniLM-L6-cos-v1 ，則可以像這樣調整docker run命令：

docker run -e MODEL=multi-qa-MiniLM-L6-cos-v1  -p 8080:8080 -d 
  ghcr.io/substratusai/sentence-transformers-api

請注意，Stapi只會服務於預裝的模型。您應該創建另一個Stapi實例，以服務另一個模型。簡單地忽略了作為請求主體的一部分的model參數。

集成

使用其他各種工具，很容易利用嵌入式服務器，因為API與OpenAI嵌入API兼容。

編織

您可以使用weaviate text2vec-openai模塊，並使用stapi openai兼容端點。

在您的編織架構中，使用以下模塊配置，假設Stapi端點可在http://stapi:8080 ：

  "vectorizer": "text2vec-openai",
  "moduleConfig": {
    "text2vec-openai": {
      "model": "davinci",
      "baseURL": "http://stapi:8080"
    }
  }

對於OpenAI API鍵，您可以使用任何密鑰，不會檢查它。

閱讀《史蒂普編織指南》以獲取更多詳細信息。