ดาวน์โหลด stapi - ดาวน์โหลดซอร์สโค้ด stapi

stapi

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

stapi: ประโยค Transformers API

API ฝังตัวที่เข้ากันได้ของ OpenAI ที่ใช้หม้อแปลงประโยคสำหรับฝังตัว

ภาพคอนเทนเนอร์: ghcr.io/substratusai/stapi

สนับสนุนโครงการโดยการเพิ่มดาว!
เข้าร่วมกับเราใน Discord:

ติดตั้ง

มี 2 ตัวเลือกในการติดตั้ง Stapi: Docker หรือ Local Python ติดตั้ง

ติดตั้ง (นักเทียบท่า)

เรียกใช้ API ในพื้นที่โดยใช้ Docker:

docker run -p 8080:8080 -d ghcr.io/substratusai/stapi

ติดตั้ง (Python ท้องถิ่น)

ติดตั้งและเรียกใช้เซิร์ฟเวอร์ API ในเครื่องโดยใช้ Python รองรับ Python 3.9, 3.10 และ 3.11 เท่านั้น

โคลน repo:

git clone https://github.com/substratusai/stapi
cd stapi

ติดตั้งการพึ่งพา:

pip3 install -r requirements.txt

เรียกใช้เว็บเซิร์ฟเวอร์:

uvicorn main:app --port 8080 --reload

การใช้งาน

หลังจากติดตั้ง Stapi แล้วคุณสามารถเยี่ยมชมเอกสาร API ได้ที่ http: // localhost: 8080/เอกสาร

นอกจากนี้คุณยังสามารถใช้ Curl เพื่อรับ Embeddings:

curl http://localhost:8080/v1/embeddings 
  -H " Content-Type: application/json " 
  -d ' {
    "input": "Your text string goes here",
    "model": "all-MiniLM-L6-v2"
  } '

แม้แต่ไคลเอนต์ Openai Python ก็สามารถใช้เพื่อรับการฝังได้:

 import openai
openai . api_base = "http://localhost:8080/v1"
openai . api_key = "this isn't used but openai client requires it"
model = "all-MiniLM-L6-v2"
embedding = openai . Embedding . create ( input = "Some text" , model = model )[ "data" ][ 0 ][ "embedding" ]
print ( embedding )

รุ่นที่รองรับ

รูปแบบใด ๆ ที่ได้รับการสนับสนุนจากหม้อแปลงประโยคก็ควรทำงานตามที่ใช้กับ Stapi นี่คือรายการของโมเดลที่ผ่านการฝึกอบรมมาก่อนพร้อมกับหม้อแปลงประโยค

โดยค่าเริ่มต้นโมเดล all-MiniLM-L6-v2 จะถูกใช้และโหลดไว้ล่วงหน้าเมื่อเริ่มต้น คุณสามารถโหลดโมเดลที่รองรับใด ๆ ได้โดยการตั้งค่าตัวแปรสภาพแวดล้อม MODEL

ตัวอย่างเช่นหากคุณต้องการโหลด preload multi-qa-MiniLM-L6-cos-v1 คุณสามารถปรับแต่งคำสั่ง docker run เช่นนี้:

docker run -e MODEL=multi-qa-MiniLM-L6-cos-v1  -p 8080:8080 -d 
  ghcr.io/substratusai/sentence-transformers-api

โปรดทราบว่า Stapi จะให้บริการเฉพาะรุ่นที่โหลดไว้ล่วงหน้า คุณควรสร้างอินสแตนซ์อื่นของ Stapi เพื่อให้บริการรุ่นอื่น พารามิเตอร์ model ซึ่งเป็นส่วนหนึ่งของร่างกายคำขอจะถูกละเว้น

การรวมกัน

เป็นเรื่องง่ายที่จะใช้เซิร์ฟเวอร์การฝังด้วยเครื่องมืออื่น ๆ อีกมากมายเนื่องจาก API เข้ากันได้กับ OpenAI Embedding API

ทอผ้า

คุณสามารถใช้โมดูล Weaviate Text2Vec-Openai และใช้จุดสิ้นสุดที่เข้ากันได้ของ Stapi OpenAI

ในสคีมาทอผ้าของคุณใช้โมดูลการกำหนดค่าต่อไปนี้สมมติว่าจุดสิ้นสุดของ Stapi สามารถใช้ได้ที่ http://stapi:8080 :

  "vectorizer": "text2vec-openai",
  "moduleConfig": {
    "text2vec-openai": {
      "model": "davinci",
      "baseURL": "http://stapi:8080"
    }
  }

สำหรับคีย์ OpenAI API คุณสามารถใช้คีย์ใดก็ได้มันจะไม่ถูกตรวจสอบ

อ่านคู่มือ Stapi Weaviate สำหรับรายละเอียดเพิ่มเติม